用Python做中文分詞就是這麼簡單！

歡迎大家參與在留言區交流

AI研習社兩大福利就在文末！

不可錯過~

AI研習社按：本文作者王樹義，原載於微信公眾號玉樹芝蘭（nkwangshuyi），AI研習社經授權發布。

打算繪製中文詞雲圖？那你得先學會如何做中文文本分詞。跟著我們的教程，一步步用 Python 來動手實踐吧。

需求

在此前發布的文章《從零開始教你用 Python 做詞雲》一文中，我們介紹了英文文本的詞雲製作方法。大家玩兒得可還高興？

文中提過，選擇英文文本作為示例，是因為處理起來最簡單。但是很快就有讀者嘗試用中文文本做詞雲了。按照前文的方法，你成功了嗎？

估計是不成功的。因為這裡面缺了一個重要的步驟。

觀察你的英文文本。你會發現英文單詞之間採用空格作為強制分隔符。

例如：

Yes Minister is a satirical British sitcom written by Sir Antony Jay and Jonathan Lynn that was first transmitted by BBC Television between 1980 and 1984, split over three seven-episode series.

但是，中文的文本就沒有這種空格區隔了。為了做詞雲，我們首先需要知道中文文本裡面都有哪些 「詞」。

你可能覺得這根本不是問題——我一眼就能看出詞和詞之間的邊界！

對，你當然可以。你可以人工處理 1 句、100 句，甚至是 10000 句話。但是如果給你 100 萬句話呢？

這就是人工處理和電腦自動化處理的最顯著區別——規模。

別那麼急著放棄啊，你可以用電腦來幫忙。

你的問題應該是：如何用電腦把中文文本正確拆分為一個個的單詞呢？

這種工作，專業術語叫做分詞。

在介紹分詞工具及其安裝之前，請確認你已經閱讀過《從零開始教你用 Python 做詞雲》一文，並且按照其中的步驟做了相關的準備工作，然後再繼續依照本文的介紹一步步實踐。

分詞

中文分詞的工具有很多種。有的免費，有的收費。有的在你的筆記本電腦里就能安裝使用，有的卻需要聯網做雲計算。

今天給大家介紹的，是如何利用 Python，在你的筆記本電腦上，免費做中文分詞。

我們採用的工具，名稱很有特點，叫做 「結巴分詞」，具體鏈接如下：

https://github.com/fxsjy/jieba

為什麼叫這麼奇怪的名字？

讀完本文，你自己應該就能想明白了。

我們先來安裝這款分詞工具。回到你的 「終端」 或者 「命令提示符」 下。

進入你之前建立好的 demo 文件夾。

輸入以下命令：

pip install jieba

好了，現在你電腦里的 Python 已經知道該如何給中文分詞了。

數據

在《從零開始教你用 Python 做詞雲》一文中，我們使用了英劇」Yes, minister「的維基百科介紹文本。這次我們又從維基百科上找到了這部英劇對應的中文頁面。翻譯名稱叫做《是，大臣》。

將網頁正文拷貝下來之後，存入文本文件 yes-minister-cn.txt，並且將這個文件移動到我們的工作目錄 demo 下面。

好了，我們有了用於分析的中文文本數據了。

http://t.cn/RKuSeLl

下載後，將這個 ttf 字體文件也移動到 demo 目錄下，跟文本文件放在一起。

代碼

在命令行下，執行：

jupyter notebook

瀏覽器會自動開啟，並且顯示如下界面。

這裡還有上一次詞雲製作時咱們的勞動成果。此時目錄下多了一個文本文件，是 "Yes, Minister" 的中文介紹信息。

打開這個文件，瀏覽一下內容。

我們確認中文文本內容已經正確存儲。

回到 Jupyter 筆記本的主頁面。點擊 New 按鈕，新建一個筆記本 (Notebook)。在 Notebooks 裡面，請選擇 Python 2 選項。

系統會提示我們輸入 Notebook 的名稱。為了和上次的英文詞雲製作筆記本區別，就叫它 wordcloud-cn 好了。

我們在網頁里唯一的代碼文本框里，輸入以下 3 條語句。輸入後，按 Shift+Enter 鍵執行。

filename = "yes-minister-cn.txt"

with open(filename) as f:

mytext = f.read()

然後我們嘗試顯示 mytext 的內容。輸入以下語句之後，還是得按 Shift+Enter 鍵執行。

print(mytext)

顯示的結果如下圖所示。

既然中文文本內容讀取沒有問題，我們就開始分詞吧。輸入以下兩行語句：

import jieba

mytext = " ".join(jieba.cut(mytext))

系統會提示一些信息，那是結巴分詞第一次啟用的時候需要做的準備工作。忽略就可以了。

分詞的結果如何？我們來看看。輸入：

print(mytext)

你就可以看到下圖所示的分詞結果了。

單詞之間已經不再緊緊相連，而是用空格做了區隔，就如同英文單詞間的自然劃分一樣。

你是不是迫不及待要用分詞後的中文文本作詞雲了？

可以，輸入以下語句：

from wordcloud import WordCloud

wordcloud = WordCloud().generate(mytext)

%pylab inlineimport matplotlib.pyplot as plt

plt.imshow(wordcloud, interpolation= bilinear )

plt.axis("off"

激動地期待著中文詞雲的出現？

可惜，你看到的詞雲是這個樣子的。

你是不是非常憤怒，覺得這次又掉坑裡了？

別著急，出現這樣的結果，並不是分詞或者詞雲繪製工具有問題，更不是因為咱們的教程步驟有誤，只是因為字體缺失。詞雲繪製工具 wordcloud 默認使用的字體是英文的，不包含中文編碼，所以才會方框一片。解決的辦法，就是把你之前下載的 simsun.ttf，作為指定輸出字體。

輸入以下語句：

from wordcloud import WordCloud

wordcloud = WordCloud(font_path="simsun.ttf").generate(mytext)

%pylab inlineimport matplotlib.pyplot as plt

plt.imshow(wordcloud, interpolation= bilinear )

plt.axis("off")

這次你看到的輸出圖形就變成了這個樣子：

這樣一來，我們就通過中文詞雲的製作過程，體會到了中文分詞的必要性了。

這裡給你留個思考題，對比一下此次生成的中文詞雲，和上次做出的英文詞云：

這兩個詞雲對應的文本都來自維基百科，描述的是同樣一部劇，它們有什麼異同？從這種對比中，你可以發現維基百科中英文介紹內容之間，有哪些有趣的規律？

討論

掌握了本方法後，你自己做出了一張什麼樣的中文詞雲圖？除了做詞雲以外，你還知道中文分詞的哪些其他應用場景？歡迎留言，分享給大家。我們共同交流討論。

新人福利

【超過 1000G 神經網路／AI／大數據、教程、論文！】

福利二：本周內（截止至 7 月 23 日晚 24 點）

本公眾號本周發布的所有文章

在文章底部留言評論，獲得最多贊的社友，

社長將送出西瓜書（《機器學習》周志華）1 本

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！