pandas入門教程
pandas是一個Python語言的軟體包，在我們使用Python語言進行機器學習編程的時候，這是一個非常常用的基礎編程庫。本文是對它的一個入門教程。
pandas提供了快速，靈活和富有表現力的數據結構，目的是使「關係」或「標記」數據的工作既簡單又直觀。它旨在成為在Python中進行實際數據分析的高級構建塊。
入門介紹
pandas適合於許多不同類型的數據，包括：
具有異構類型列的表格數據，例如SQL表格或Excel數據
有序和無序（不一定是固定頻率）時間序列數據。
具有行列標籤的任意矩陣數據（均勻類型或不同類型）
任何其他形式的觀測/統計數據集。
由於這是一個Python語言的軟體包，因此需要你的機器上首先需要具備Python語言的環境。關於這一點，請自行在網路上搜索獲取方法。
關於如何獲取pandas請參閱官網上的說明：pandas Installation。
通常情況下，我們可以通過pip來執行安裝：
或者通過conda 來安裝pandas：
目前（2018年2月）pandas的最新版本是v0.22.0（發布時間：2017年12月29日）。
我已經將本文的源碼和測試數據放到Github上： pandas_tutorial ，讀者可以前往獲取。
另外，pandas常常和NumPy一起使用，本文中的源碼中也會用到NumPy。
建議讀者先對NumPy有一定的熟悉再來學習pandas，我之前也寫過一個NumPy的基礎教程，參見這裡：Python 機器學習庫 NumPy 教程
核心數據結構
pandas最核心的就是Series和DataFrame兩個數據結構。
這兩種類型的數據結構對比如下：
DataFrame可以看做是Series的容器，即：一個DataFrame中可以包含若干個Series。
註：在0.20.0版本之前，還有一個三維的數據結構，名稱為Panel。這也是pandas庫取名的原因：pan(el)-da(ta)-s。但這種數據結構由於很少被使用到，因此已經被廢棄了。
Series
由於Series是一維結構的數據，我們可以直接通過數組來創建這種數據，像這樣：
這段代碼輸出如下：
這段輸出說明如下：
輸出的最後一行是Series中數據的類型，這裡的數據都是int64類型的。
數據在第二列輸出，第一列是數據的索引，在pandas中稱之為Index。
我們可以分別列印出Series中的數據和索引：
這兩行代碼輸出如下：
如果不指定（像上面這樣），索引是[1, N-1]的形式。不過我們也可以在創建Series的時候指定索引。索引未必一定需要是整數，可以是任何類型的數據，例如字元串。例如我們以七個字母來映射七個音符。索引的目的是可以通過它來獲取對應的數據，例如下面這樣：
這段代碼輸出如下：
DataFrame
下面我們來看一下DataFrame的創建。我們可以通過NumPy的介面來創建一個4x4的矩陣，以此來創建一個DataFrame，像這樣：
這段代碼輸出如下：
從這個輸出我們可以看到，默認的索引和列名都是[0, N-1]的形式。
我們可以在創建DataFrame的時候指定列名和索引，像這樣：
這段代碼輸出如下：
我們也可以直接指定列數據來創建DataFrame：
這段代碼輸出如下：
請注意：
DataFrame的不同列可以是不同的數據類型
如果以Series數組來創建DataFrame，每個Series將成為一行，而不是一列
例如：
df4的輸出如下：
我們可以通過下面的形式給DataFrame添加或者刪除列數據：
這段代碼輸出如下：
Index對象與數據訪問
pandas的Index對象包含了描述軸的元數據信息。當創建Series或者DataFrame的時候，標籤的數組或者序列會被轉換成Index。可以通過下面的方式獲取到DataFrame的列和行的Index對象：
這兩行代碼輸出如下：
請注意：
Index並非集合，因此其中可以包含重複的數據
Index對象的值是不可以改變，因此可以通過它安全的訪問數據
DataFrame提供了下面兩個操作符來訪問其中的數據：
loc：通過行和列的索引來訪問數據
iloc：通過行和列的下標來訪問數據
例如這樣：
第一行代碼訪問了行索引為0和1，列索引為「note」的元素。第二行代碼訪問了行下標為0和1（對於df3來說，行索引和行下標剛好是一樣的，所以這裡都是0和1，但它們卻是不同的含義），列下標為0的元素。
這兩行代碼輸出如下：
文件操作
pandas庫提供了一系列的read_函數來讀取各種格式的文件，它們如下所示：
read_csv
read_table
read_fwf
read_clipboard
read_excel
read_hdf
read_html
read_json
read_msgpack
read_pickle
read_sas
read_sql
read_stata
read_feather
讀取Excel文件
註：要讀取Excel文件，還需要安裝另外一個庫：xlrd
通過pip可以這樣完成安裝：
安裝完之後可以通過pip查看這個庫的信息：
接下來我們看一個讀取Excel的簡單的例子：
這個Excel的內容如下：
註：本文的代碼和數據文件可以通過文章開頭提到的Github倉庫獲取。
讀取CSV文件
下面，我們再來看讀取CSV文件的例子。
第一個CSV文件內容如下：
讀取的方式也很簡單：
我們再來看第2個例子，這個文件的內容如下：
嚴格的來說，這並不是一個CSV文件了，因為它的數據並不是通過逗號分隔的。在這種情況下，我們可以通過指定分隔符的方式來讀取這個文件，像這樣：
實際上，read_csv支持非常多的參數用來調整讀取的參數，如下表所示：
詳細的read_csv函數說明請參見這裡：pandas.read_csv
處理無效值
現實世界並非完美，我們讀取到的數據常常會帶有一些無效值。如果沒有處理好這些無效值，將對程序造成很大的干擾。
對待無效值，主要有兩種處理方法：直接忽略這些無效值；或者將無效值替換成有效值。
下面我先創建一個包含無效值的數據結構。然後通過pandas.isna函數來確認哪些值是無效的：
這段代碼輸出如下：
忽略無效值
我們可以通過pandas.DataFrame.dropna函數拋棄無效值：
註：dropna默認不會改變原先的數據結構，而是返回了一個新的數據結構。如果想要直接更改數據本身，可以在調用這個函數的時候傳遞參數 inplace = True。
對於原先的結構，當無效值全部被拋棄之後，將不再是一個有效的DataFrame，因此這行代碼輸出如下：
我們也可以選擇拋棄整列都是無效值的那一列：
註：axis=1表示列的軸。how可以取值"any"或者"all"，默認是前者。
這行代碼輸出如下：
替換無效值
我們也可以通過fillna函數將無效值替換成為有效值。像這樣：
這段代碼輸出如下：
將無效值全部替換成同樣的數據可能意義不大，因此我們可以指定不同的數據來進行填充。為了便於操作，在填充之前，我們可以先通過rename方法修改行和列的名稱：
這段代碼輸出如下：
處理字元串
數據中常常牽涉到字元串的處理，接下來我們就看看pandas對於字元串操作。
Series的str欄位包含了一系列的函數用來處理字元串。並且，這些函數會自動處理無效值。
下面是一些實例，在第一組數據中，我們故意設置了一些包含空格字元串：
在這個實例中我們看到了對於字元串strip的處理以及判斷字元串本身是否是數字，這段代碼輸出如下：
下面是另外一些示例，展示了對於字元串大寫，小寫以及字元串長度的處理：
該段代碼輸出如下：
結束語
本文是pandas的入門教程，因此我們只介紹了最基本的操作。更深入的內容，以後有機會我們再來一起學習。
讀者也可以根據下面的鏈接獲取更多的知識。
來源 | 雲棲社區
推薦閱讀
史上最真實的行業鄙視鏈曝光
10 張令人噴飯的程序員漫畫
63頁【深度CNN-目標檢測】綜述【PDF下載】
我為什麼拒絕成為一名數據科學家，分享以為求職者的親身經歷...
【資源】機器學習演算法工程師手冊（PDF下載）
源碼 | Python爬蟲之網易雲音樂下載
548頁MIT強化學習教程，收藏備用【PDF下載】
