Pandas運算的效率探討以及如何選擇高效的運算方式

本文就Pandas的運行效率作一個對比的測試，來探討用哪些方式，會使得運行效率較好。

測試環境如下：

windows 7， 64位

python 3.5

pandas 0.19.2

numpy 1.11.3

jupyter notebook

需要說明的是，不同的系統，不同的電腦配置，不同的軟體環境，運行結果可能有些差異。就算是同一台電腦，每次運行時，運行結果也不完全一樣。

1 測試內容

測試的內容為，分別用三種方法來計算一個簡單的運算過程，即 a*a+b*b 。

三種方法分別是：

python的for循環

Pandas的Series

Numpy的ndarray

首先構造一個DataFrame，數據量的大小，即DataFrame的行數，分別為10， 100， 1000， ... ，直到10,000,000（一千萬）。

然後在jupyter notebook中，用下面的代碼分別去測試，來查看不同方法下的運行時間，做一個對比。

執行運算， a*a + b*b

Method 1: for循環

Method 2: Series

Method 3: ndarray

2 測試結果

運行結果如下：

從運行結果可以看出，for循環明顯比Series和ndarray要慢很多，並且數據量越大，差異越明顯。當數據量達到一千萬行時，for循環的表現也差一萬倍以上。而Series和ndarray之間的差異則沒有那麼大。

PS： 1000萬行時，for循環運行耗時特別長，各位如果要測試，需要注意下，請用%%time命令（只測試一次）。

下面通過圖表來對比下Series和ndarray之間的表現。

從上圖可以看出，當數據小於10萬行時，ndarray的表現要比Series好些。而當數據行數大於100萬行時，Series的表現要稍微好於ndarray。當然，兩者的差異不是特別明顯。

所以一般情況下，個人建議，for循環，能不用則不用，而當數量不是特別大時，建議使用ndarray（即df[ col ].values）來進行計算，運行效率相對來說要好些。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！