當前位置:
首頁 > 知識 > 使用Python加速數據分析的10個簡單技巧

使用Python加速數據分析的10個簡單技巧

使用Python加速數據分析的10個簡單技巧

打開今日頭條,查看更多圖片

提示和技巧,尤其是在編程領域,可能是非常有用的。有時,一個小技巧可以節省時間和生命。一個小的快捷方式或附加組件有時會被證明是天賜之物,並能真正提高生產力。因此,下面是我最喜歡的一些提示和技巧,我將它們以本文的形式一起使用和編譯。有些可能是我們相當熟悉的,有些可能是新的,但我確信它們將在你下一次處理數據分析項目時派上用場。


1.分析pandas數據幀

Profiling(分析)是一個幫助我們理解數據的過程,而Pandas Profiling就是執行這一過程的python包。這是一種對Pandas Dataframe(數據幀)進行探索性數據分析的簡便、快速的方法。Pandas的df.describe()和df.info()函數通常用作EDA過程的第一步。但是,它只提供了一個非常基本的數據概覽,對於大型數據集的情況並沒有多大幫助。另一方面,Pandas Profiling(分析)函數使用df.profile_report()對pandas數據幀進行了擴展,以便快速進行數據分析。它用一行代碼顯示了很多信息,在互動式HTML報告中也是如此。

對於一個給定的數據集,pandas profiling(分析)包會計算以下統計數據:

使用Python加速數據分析的10個簡單技巧

Pandas Profiling 包計算出的統計數據.

安裝

使用Python加速數據分析的10個簡單技巧

用法

我們來使用古老的titanic數據集來演示多功能python分析器的功能。

使用Python加速數據分析的10個簡單技巧

編者註:本文發布一周後,Pandas-Profiling發布了一個重大的升級版本——2.0.0。語法發生了一些變化,事實上,它的功能已經包含在pandas本身中了,並且報告也變得更加全面。下面是最新的用法語法:

Usage

要在 Jupyter notebook中顯示報告,請運行以下代碼:

使用Python加速數據分析的10個簡單技巧

你只需要這一行代碼就可以在一個Jupyter notebook中顯示數據分析報告。報告非常詳細,包括了必要的圖表。

使用Python加速數據分析的10個簡單技巧

你也可以使用以下代碼將這個報告輸出到一個互動式HTML文件中。

使用Python加速數據分析的10個簡單技巧

使用Python加速數據分析的10個簡單技巧

查閱文檔獲取更多細節和例子。


2.為pandas 圖錶帶來交互性

Pandas有一個內置的.plot()函數,它是DataFrame類的一部分。然而,使用該函數呈現的可視化效果並不具有交互性,這使得它的吸引力降低。相反,也不能排除使用pandas. datafram .plot()函數繪製圖表的方便性。如果我們不需要對代碼進行重大修改,就可以使用pandas繪製出像plotly那樣的互動式圖表,那會怎麼樣呢?實際上,你可以使用Cufflinks庫做到這一點。

Cufflinks庫結合了plotly的強大功能和pandas的靈活性,便於輕鬆繪圖。現在我們來看看如何安裝這個庫並讓它在pandas中運行。

安裝

使用Python加速數據分析的10個簡單技巧

用法

使用Python加速數據分析的10個簡單技巧

是時候看看使用Titanic數據集展開的神奇之處了。

使用Python加速數據分析的10個簡單技巧

使用Python加速數據分析的10個簡單技巧

df.iplot() 對比 df.plot()

右邊的可視化顯示的是靜態圖表,而左邊的圖表是互動式的,並且更加詳細,所有這些都沒有對語法進行任何重大更改。


3. 一點魔法

魔法命令是Jupyter Notebook中的一組方便的函數,旨在解決標準數據分析中的一些常見問題。你可以通過%lsmagic命令來查看所有可用的魔法命令。

使用Python加速數據分析的10個簡單技巧

所有可用魔法函數的列表

魔法命令有兩種類型: line magics(行魔法)和cell magics(單元魔法),前者以單個%字元作為前綴,並在一行輸入上進行操作;後者與兩個%%前綴關聯,並在多行輸入上進行操作。如果將魔法函數的選項設置為1時,不需要鍵入初始%就可調用它。

我們來看看在常見的數據分析任務中可能有用的一些魔法函數:

  • % pastebin

%pastebin將代碼上傳到Pastebin並返回其url。Pastebin是一個在線內容託管服務,我們可以在其中存儲純文本,如源代碼片段,然後可以將url與他人共享。事實上,Github gist也類似於Pastebin,儘管它有版本控制。

我們假設有一個包含以下內容的python腳本file.py:

使用Python加速數據分析的10個簡單技巧

在Jupyter Notebook中使用%pastebin生成一個pastebin的url地址.

使用Python加速數據分析的10個簡單技巧

  • %matplotlib notebook

%matplotlib inline函數用於在Jupyter notebook中呈現靜態matplotlib繪圖。嘗試用notebook替換inline部分,你就可以輕鬆獲得可縮放和可調整大小的繪圖。確保在導入matplotlib庫之前調用該函數。

使用Python加速數據分析的10個簡單技巧

%matplotlib inline 對比 %matplotlib notebook

  • %run

%run函數會在一個notebook中運行一個python腳本。

使用Python加速數據分析的10個簡單技巧

  • %%writefile

%%writefile 會將單元格的內容寫入文件。這裡的代碼將被寫入一個名為foo.py的文件,並保存在當前目錄中。

使用Python加速數據分析的10個簡單技巧

  • %%latex

%%latex函數會將單元格的內容呈現為LaTeX。它對在單元格中編寫數學公式和方程很有用。

使用Python加速數據分析的10個簡單技巧


4.發現和消除錯誤

Interactive debugger(互動式調試器)也是一個magic函數,但是我已經將它單獨歸為一類。如果在運行代碼單元格時出現異常,請在一個新行中鍵入%debug並運行它。這會打開一個互動式調試環境,它會將你帶到異常發生的位置。你還可以檢查程序中分配的變數的值,並在這裡執行操作。要退出這個調試器,請按q。

使用Python加速數據分析的10個簡單技巧


5. 列印輸出也可以很漂亮

如果你想為你的數據結構生成美觀的表示形式,pprint是首選模塊。它在列印字典或JSON數據時特別有用。我們來看一個同時使用print和pprint顯示輸出的例子。

使用Python加速數據分析的10個簡單技巧

使用Python加速數據分析的10個簡單技巧


6. 讓注釋突出顯示。

我們可以在Jupyter Notebook中使用信息提示/備註框來醒目顯示一些重要的或任何需要突出的東西。注釋的顏色取決於你指定的提示類型。你只需在需要高亮顯示的單元格中添加以下任何或所有代碼即可。

  • 藍色信息提示框: 信息

使用Python加速數據分析的10個簡單技巧

  • 黃色信息提示框: 警告

使用Python加速數據分析的10個簡單技巧

  • 綠色提示框: 成功

使用Python加速數據分析的10個簡單技巧

  • 紅色提示框: 危險

使用Python加速數據分析的10個簡單技巧


7.列印一個單元格中的所有輸出

假設有一個含有以下代碼行的Jupyter Notebook單元格:

使用Python加速數據分析的10個簡單技巧

只列印最後一個輸出是單元格的一個正常屬性,而對於其他輸出,我們需要添加print()函數。事實上,我們只要在notebook的頂部添加以下代碼片段,就可以列印出所有輸出。

使用Python加速數據分析的10個簡單技巧

現在所有的輸出一個接一個的被列印出。

使用Python加速數據分析的10個簡單技巧

還原到原始設置:

使用Python加速數據分析的10個簡單技巧


8.使用『i』選項運行python腳本.

從命令行運行python腳本的一種典型方法是: python hello.py。但是,如果你在運行相同的腳本時添加一個附加的-i,例如python -i hello.py,它會提供更多的優點。我們來一探究竟。

  • 首先,一旦程序結束,python並不會退出解釋器。因此,我們可以檢查變數的值和程序中定義的函數的正確性。

使用Python加速數據分析的10個簡單技巧

  • 其次,我們可以很容易地使用以下代碼調用python調試器,因為我們仍然在解釋器中:

使用Python加速數據分析的10個簡單技巧

這會將我們帶到異常發生的位置,然後我們就可以處理代碼。

使用Python加速數據分析的10個簡單技巧

這個技巧的初始來源。(http://www.bnikolic.co.uk/blog/python-running-cline.html )

9.自動對代碼進行注釋

Ctrl/Cmd + / 會自動注釋單元格中選定的行。再次敲擊該組合鍵將取消對同一行代碼的注釋。

使用Python加速數據分析的10個簡單技巧


10.能刪除是人,能恢復是神。

你是否曾經不小心刪除了Jupyter Notebook中的一個單元格?如果是,那麼這裡有一個快捷方式可以撤消此刪除操作。

  • 如果你刪除了一個單元格的內容,按CTRL/CMD+Z可以很容易地恢復它
  • 如果你需要恢復一個全部刪除的單元格,請點擊ESC+Z或EDIT > Undo Delete Cells

使用Python加速數據分析的10個簡單技巧


結論

在本文中,我列出了在使用Python和JupyterNotebook時收集到的主要技巧。我相信它們會對你有用,你也會從這篇文章中學到一些東西,從而實現輕鬆編碼!


英文原文:https://qiniumedia.freelycode.com/vcdn/1/%E4%BC%98%E8%B4%A8%E6%96%87%E7%AB%A0%E9%95%BF%E5%9B%BE3/10-simple-hacks-to-speed-up-your-data-analysis.pdf

譯者:野生大熊貓

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 Python部落 的精彩文章:

Python成為所有這些銀行職位的首要條件
比較各種Python求冪方法的性能

TAG:Python部落 |