數據專家必知必會的7款Python 工具

作者：oschina

如果你有志於做一個數據專家，你就應該保持一顆好奇心，總是不斷探索，學習，問各種問題。在線入門教程和視頻教程能幫你走出第一步，但是最好的方式就是通過熟悉各種已經在生產環境中使用的工具而為成為一個真正的數據專家做好充分準備。

我諮詢了我們真正的數據專家，收集整理了他們認為所有數據專家都應該會的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 課程注重讓學生們花大量的時間沉浸在這些技術里。當你找第一份工作的時候，你曾經投入的時間而獲得的對工具的深入理解將會使你有更大的優勢。下面就了解它們一下吧：

IPython

IPython 是一個在多種編程語言之間進行交互計算的命令行 shell，最開始是用 python 開發的，提供增強的內省，富媒體，擴展的 shell 語法，tab 補全，豐富的歷史等功能。IPython 提供了如下特性:

更強的交互 shell（基於 Qt 的終端）

一個基於瀏覽器的記事本，支持代碼，純文本，數學公式，內置圖表和其他富媒體

支持交互數據可視化和圖形界面工具

靈活，可嵌入解釋器載入到任意一個自有工程里

簡單易用，用於並行計算的高性能工具

由數據分析總監，Galvanize 專家 Nir Kaldero 提供。

GraphLab Greate

GraphLab Greate 是一個 Python 庫，由 C++ 引擎支持，可以快速構建大型高性能數據產品。

這有一些關於 GraphLab Greate 的特點：

可以在您的計算機上以交互的速度分析以 T 為計量單位的數據量。

在單一平台上可以分析表格數據、曲線、文字、圖像。

最新的機器學習演算法包括深度學習，進化樹和 factorization machines 理論。

可以用 Hadoop Yarn 或者 EC2 聚類在你的筆記本或者分布系統上運行同樣的代碼。

藉助於靈活的 API 函數專註於任務或者機器學習。

在雲上用預測服務便捷地配置數據產品。

為探索和產品監測創建可視化的數據。

由 Galvanize 數據科學家 Benjamin Skrainka 提供。

Pandas

pandas 是一個開源的軟體，它具有 BSD 的開源許可，為 Python 編程語言提供高性能，易用數據結構和數據分析工具。在數據改動和數據預處理方面，Python 早已名聲顯赫，但是在數據分析與建模方面，Python 是個短板。Pands 軟體就填補了這個空白，能讓你用 Python 方便地進行你所有數據的處理，而不用轉而選擇更主流的專業語言，例如 R 語言。

整合了勁爆的 IPyton 工具包和其他的庫，它在 Python 中進行數據分析的開發環境在處理性能，速度，和兼容方面都性能卓越。Pands 不會執行重要的建模函數超出線性回歸和面板回歸；對於這些，參考 statsmodel 統計建模工具和 scikit-learn 庫。為了把 Python 打造成頂級的統計建模分析環境，我們需要進一步努力，但是我們已經奮鬥在這條路上了。

由 Galvanize 專家，數據科學家 Nir Kaldero 提供。

PuLP

線性編程是一種優化，其中一個對象函數被最大程度地限制了。PuLP 是一個用 Python 編寫的線性編程模型。它能產生線性文件，能調用高度優化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，來求解這些線性問題。

由 Galvanize 數據科學家 Isaac Laughlin 提供

Matplotlib

matplotlib 是基於 Python 的 2D（數據）繪圖庫，它產生（輸出）出版級質量的圖表，用於各種列印紙質的原件格式和跨平台的互動式環境。matplotlib 既可以用在 python 腳本, python 和 ipython 的 shell 界面 (ala MATLAB 或 Mathematica)，web 應用伺服器，和6類 GUI 工具箱。

matplotlib 嘗試使容易事情變得更容易，使困難事情變為可能。你只需要少量幾行代碼，就可以生成圖表，直方圖，能量光譜（power spectra），柱狀圖，errorcharts，散點圖（scatterplots）等,。

為簡化數據繪圖，pyplot 提供一個類 MATLAB 的介面界面，尤其是它與 IPython 共同使用時。對於高級用戶，你可以完全定製包括線型，字體屬性，坐標屬性等，藉助面向對象介面界面，或項 MATLAB 用戶提供類似（MATLAB）的界面。

Galvanize 公司的首席科學官 Mike Tamir 供稿。

Scikit-Learn

Scikit-Learn 是一個簡單有效地數據挖掘和數據分析工具（庫）。關於最值得一提的是，它人人可用，重複用於多種語境。它基於 NumPy，SciPy 和 mathplotlib 等構建。Scikit 採用開源的 BSD 授權協議，同時也可用於商業。Scikit-Learn 具備如下特性:

分類（Classification） – 識別鑒定一個對象屬於哪一類別

回歸（Regression） – 預測對象關聯的連續值屬性

聚類（Clustering） – 類似對象自動分組集合

降維（Dimensionality Reduction） – 減少需要考慮的隨機變數數量

模型選擇（Model Selection） –比較、驗證和選擇參數和模型

預處理（Preprocessing） – 特徵提取和規範化

Galvanize 公司數據科學講師，Isaac Laughlin提供

Spark

Spark 由一個驅動程序構成，它運行用戶的 main 函數並在聚類上執行多個並行操作。Spark 最吸引人的地方在於它提供的彈性分布數據集（RDD），那是一個按照聚類的節點進行分區的元素的集合，它可以在並行計算中使用。RDDs 可以從一個 Hadoop 文件系統中的文件（或者其他的 Hadoop 支持的文件系統的文件）來創建，或者是驅動程序中其他的已經存在的標量數據集合，把它進行變換。用戶也許想要 Spark 在內存中永久保存 RDD，來通過並行操作有效地對 RDD 進行復用。最終，RDDs 無法從節點中自動復原。

Spark 中第二個吸引人的地方在並行操作中變數的共享。默認情況下，當 Spark 在並行情況下運行一個函數作為一組不同節點上的任務時，它把每一個函數中用到的變數拷貝一份送到每一任務。有時，一個變數需要被許多任務和驅動程序共享。Spark 支持兩種方式的共享變數：廣播變數，它可以用來在所有的節點上緩存數據。另一種方式是累加器，這是一種只能用作執行加法的變數，例如在計數器中和加法運算中。

由 Galvanize 數據科學家 Benjamin Skrainka 提供。

End.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！