數據分析從業者必看，10 個加速 python 數據分析的簡單的小技巧

雷鋒網 AI 科技評論按，一些小的技巧在編程領域可能會非常有用，在數據科學領域同樣如此。數據科學愛好者 Parul Pandey 在近日發表了一篇博文，分享了在數據科學中非常實用的 10 個小技巧。雷鋒網 AI 科技評論將他的文章編譯整理如下。

有時候，一點小小的黑客行為可以節省時間，挽救生命。一個小小的快捷方式或附加組件有時會被證明是天賜之物，並且可以真正提高生產力。所以，下面是我最喜歡的一些技巧，我以本文的形式一起使用和編譯它們。其中，有些可能是相當有名的，有些可能是新的，但我相信下次您從事數據分析項目時，它們會非常有用。

1.Profiling the pandas dataframe

Profiling 是一個幫助我們理解數據的程序，而 Pandas Profiling 正是實現這一點的一個 python 包。這是對 pandas 數據幀進行探索性數據分析的一種簡單快速的方法。pandas df.describe和 df.info函數通常用作 EDA 過程的第一步。但是，它只提供了非常基本的數據概述，對於大型數據集沒有太大幫助。另一方面，pandas 分析函數使用 df.profile_report擴展 pandas 數據幀，以便快速進行數據分析。它用一行代碼顯示了大量信息，在互動式 HTML 報告中也顯示了這些信息。

對於給定的數據集，pandas 分析包計算以下統計信息：

Pandas Profiling 包計算統計信息

安裝

pip install pandas-profiling

or

conda install -c anaconda pandas-profiling

使用

讓我們使用古老的 Titanic 數據集來演示通用的 Python 分析器的功能。

#importing the necessary packages

import pandas as pd

import pandas_profiling

# Depreciated: pre 2.0.0 version

df = pd.read_csv("titanic/train.csv")

pandas_profiling.ProfileReport(df)

註：在這篇文章發表一周後，Pandas-Profiling 發布了一個升級版本 2.0.0。其語法發生了一些變化，事實上，功能已經包含在 pandas 中，報告也變得更加全面。以下是最新的語法用法：

使用

要在 Jupyter notebook 中顯示報告，請運行：

#Pandas-Profiling 2.0.0

df.profile_report

這一行代碼就是在 Jupyter notebook 中顯示數據分析報告所需的全部代碼。報告非常詳細，必要時包括圖表。

還可以將報告導出到具有以下代碼的互動式 HTML 文件中。

profile = df.profile_report(title="Pandas Profiling Report")profile.to_file(outputfile="Titanic data profiling.html")

有關更多詳細信息和示例，請參閱這個文檔。

2.第二步，為 pandas plots 帶來交互性

pandas 有一個內置的.plot函數作為數據幀類的一部分。然而，用這個函數呈現的可視化並不是互動式的，這使得它不那麼吸引人。相反，也不能排除使用 pandas.dataframe.plot函數繪製圖表的易用性。如果我們不需要對代碼進行重大修改，就可以像繪製 pandas plots 那樣繪出互動式圖表呢？你可以在 Cufflinks 庫的幫助下做到這一點。

Cufflinks 將 plotly 的力量與 pandas 的靈活性結合起來，便於繪製。現在讓我們來看看如何安裝這個庫並讓它在 pandas 中工作。

安裝

pip install plotly # Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

使用

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline

cf.set_config_file(offline=False, world_readable=True)

是時候用 Titanic 數據集來展示它的魔法了。

df.iplot

df.iplot vs df.plot

右視圖顯示的是靜態圖表，左圖表是互動式的，更詳細地說，所有這一切在語法上都沒有重大變化。

點擊這裡獲取更多的示例。

3.一點點 Magic

Magic 命令是 Jupyter notebook 中的一組方便的函數，旨在解決標準數據分析中的一些常見問題。在%lsmagic 的幫助下，您可以看到所有可用的 magic。

所有可用的 magic 函數列表

magic 命令有兩種：行 magics（前綴為一個% 字元並在一行輸入上操作）和單元 magics（用%% 前綴關聯並在多行輸入上操作）。如果設置為 1，則可以調用 magic 函數，而無需鍵入初始百分比。

讓我們看看其中一些在常見數據分析任務中可能有用的功能：

% pastebin

%Pastebin 將代碼上載到 Pastebin 並返回 URL。Pastebin 是一種在線內容託管服務，我們可以在其中存儲純文本（如源代碼片段），然後可以與其他人共享 URL。事實上，Github gist 也類似於 Pastebin，儘管有版本控制。

考慮使用包含以下內容的 python script file.py：

#file.py

def foo(x):

return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函數用於呈現 Jupyter noteboo 中的靜態 matplotlib 繪圖。嘗試用 notebook 替換內嵌部件，以輕鬆獲得可縮放和可調整大小的繪圖。確保在導入 Matplotlib 庫之前調用了函數。

%matplotlib inline vs %matplotlib notebook

%run

%run 函數在 notebook 內運行 python 腳本。

%run file.py

%%writefile

%WriteFile 將單元格的內容寫入文件。在這裡，代碼將被寫入一個名為 foo 的文件，並保存在當前目錄中。

%%latex

%%latex 函數將單元格內容呈現為 LaTeX。它可用於在單元中編寫數學公式和方程。

4.發現和消除錯誤

interactive debugger 也是一個神奇的函數，但我已經為它提供了自己的一個類別。如果在運行代碼單元時遇到異常，請在新行中鍵入%debug 並運行它。這將打開一個互動式調試環境，將您帶到發生異常的位置。您還可以檢查程序中分配的變數值，並在此處執行操作。要退出調試器，請單擊 q。

5.輸出也可以很漂亮

如果您想為數據結構生成美觀的表示，pprint 是你想要的模塊，它在列印字典或 JSON 數據時特別有用。讓我們來看一個使用 print 和 pprint 顯示輸出的示例。

6.突出報警框

我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內容或任何需要突出顯示的內容。注釋的顏色取決於警報的類型。只需在需要突出顯示的單元格中添加以下代碼。

藍色警報框：信息提示

Tip:Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word「Note」.

黃色警報框：警告

Example:Yellow Boxes are generally used to include additional examples or mathematical formulas.

綠色警報框：成功

Use green box only when necessary like to display links to related content.

紅色警報框：危險

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7.列印單元格的所有輸出

考慮一個包含以下代碼行的 Jupyter notebook 單元：

In [1]: 10+5 11+6

Out [1]: 17

通常情況下，單元格中只有最後一個輸出會被列印出來，對於其他輸出，我們需要添加 print函數。好吧，其實我們只需在 notebook 頂部添加以下代碼片段就可以列印所有輸出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

現在所有的輸出都被一個接一個地列印出來

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

要恢復到原始設置：

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用「i」文件運行 python 腳本

從命令行運行 python 腳本的一種典型方法是：python hello.py。但是，如果您在運行同一腳本（如 python）時添加了一個額外的-i hello.py，那麼它提供了更多的優勢。讓我們看看怎麼做。

首先，只要程序不結束，python 就不會退出解釋器。因此，我們可以檢查變數的值以及程序中定義的函數的正確性。

其次，我們可以通過以下方式輕鬆調用 Python 調試器，因為我們仍在解釋器中：

import pdb

pdb.pm

這將使我們進入異常發生的位置，然後我們可以處理代碼。

查看來源可以點擊這裡。

9.自動注釋代碼

ctrl/cmd+/自動將單元格中選定的行注釋掉，再次點擊組合將取消對同一行代碼的注釋。

10.刪除容易恢復難

你有沒有不小心刪除了 Jupyter notebook 上的一個單元的經歷？如果有，那麼這裡有一個快捷方式可以撤消刪除操作。

如果刪除了單元格的內容，則可以通過按 ctrl/cmd+z 輕鬆恢復該內容。

如果需要恢復整個已刪除單元格，請按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。

結論

在本文中，我列出了在使用 Python 和 Jupyter notebook 時收集到的主要技巧。我相信它們會對你有用，你會從這篇文章中收回一些東西。好了，開始快樂的編碼之旅吧！.

via：https://www.kdnuggets.com/2019/07/10-simple-hacks-speed-data-analysis-python.html

雷鋒網雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！