Python 爬取愛奇藝 52432 條數據分析誰才是《奇葩說》的焦點人物？
作者 | 羅昭成
責編 | 唐小引
出品 | CSDN（ID：CSDNNews）
五年前，《奇葩說》在愛奇藝開始播出，第一次將辯論賽引入了綜藝節目。雖然專業性很強，但他們努力去凸顯自己與眾不同的個性，展現出自己「奇葩」的一面。每一個辯題，最後結果並不表示官方的意見，而是希望大家在看到節目過後，能夠讓觀眾朋友們思考一些以前沒有考慮過的問題，讓觀眾朋友們看到世界的多元性，而筆者作為一個日常與代碼為伍的程序員，在家中寫代碼之時也總喜歡一邊播放著。
經過 5 年的發展，奇葩說已經更新到了第五季，這一季，節目內容還是很精彩。但是很多辯論的時候，「耍無賴」好像比講道理更能贏得觀眾的喜愛。生活不止有眼前苟且，還有詩和遠方。節目組應該沒有去干擾比賽結果，但是筆者不喜歡「耍無賴」就這麼贏得比賽，因為他對「老實人」不公平。在筆者的眼中，奇葩說變了，不再是我喜歡的那個奇葩說了（以上，僅為作者個人觀點）。
不管如何，奇葩說還是很精彩，每一個辯題，都值得去深入思考。在奇葩說第五季即將完結之際，筆者突發奇想，作為程序員，是不是可以換一種角度來看奇葩說？在本文中，筆者以技術手段對奇葩說官方數據進行了分析，希望能夠有一點幫助。
爬取數據
奇葩說是愛奇藝獨播視頻，所以這一次，筆者選取官方評論數據作為資源庫，來進行數據分析。
使用 Chrome 查看源代碼模式，在「奇葩說」播放頁面往下面滑動，有一個get_comments的請求，經過分析，這個介面就是獲取評論數據的介面。
看一下介面地址和請求參數：
其中last_id是用來進行分頁的。
使用 Python 獲取數據
上面的請求使用的 GET 方式，請求代碼如下：
請求返回的數據是 JSON ，這裡筆者就不貼返回數據，直接解析存儲。本處，筆者使用SQLite3進行數據存儲。
解析數據
為了更方便後續進行數據分析，所以將拉下來的評論數據全部進行存儲，防止多次去爬取數據。
數據存儲在資料庫中非常簡單，一個簡單的insert語句就可以搞定。代碼如下：
本次總共從愛奇藝抓取了52432條評論數據。
數據清洗與整理
從愛奇藝抓取的數據，並不是所有的數據我們都需要，這裡，只需將我們想要的數據提取出來。
提取數據
此處將用戶的個人信息、評論、評論時間、性別等數據提取出來，存儲到另一張表中。後續數據分析就從新的表中拿取就可以了，處理邏輯如下：
分析數據
在海量的數據中，我們可以分析出我們想看到的結果。為了更好的數據處理和可視化展示，筆者使用了Pandas 和 Pyecharts 這兩個庫，很好用。
因愛奇藝用戶數據維度有限，所以只能簡單地分析性別。來綜合看一下，奇葩說用戶的男女比例。話不多說，先放代碼：
使用 Pyecharts 畫了一個簡單的餅圖：
男女比例圖
從圖中可以看出來，男女比例差不多到 1：2，看奇葩說的女性用戶，比男性用戶要多很多。也許，這也是這一季奇葩說情感話題比較多的一大原因。
接下來，我們再來看一下，每一期的評論數量，看是否能夠得出一些不一樣的數據。
還是先上代碼：
跑出來的數據如下：
每期評論數量
從圖中的數據我們可以看到，評論數量並不會因為更新早而變得更多。所以可以看出，奇葩說的用戶群體是相對穩定的。不僅如此，我們也可以看出，在第 17 期評論數量比其他都要多，很有可能是這一期節目的話題更讓用戶關注。
分析了上面的兩個數據，下面再分析一下評論時間分布，本次分析是按照星期來分析的，所以，還需要對數據進行一定的處理。將每一條評論所在星期更新到資料庫中，代碼如下：
使用折線圖分析如下：
評論周期
可以看出，奇葩說的忠實用戶基本是在更新當天就看，並且周五、周六、周日的評論數量遠大於其他天。其實我們還可以分析，更新當天的 4 個小時內評論量有多大，感興趣的讀者可以嘗試去跑一下數據。
而作為一名程序員，筆者平時基本是不寫評論的，在這裡，我們特地分析了一下評論字數的分布，不看不知道，一看嚇一跳。先上代碼：
分析結果如下：
評論字數分析
實在是沒有想到，100 字以上的評論居然有 1/4，在這個移動端已成視頻播放主要平台的時代，用戶還能夠花費較多精力寫下評論，筆者還是比較震驚的。
最後，筆者將通過 jieba 把評論進行分詞，然後再以 wordcloud 製作詞雲來看看，觀眾朋友的整體評價：
詞雲圖：
詞雲
通過上面的詞雲可以很明顯地看出，李誕、（薛）教授、（詹）青雲、馬薇薇、（傅）首爾等人物名稱高頻地出現在了評論裡面，他們才是這部綜藝的焦點人物。
本文為作者原創投稿，版權歸 CSDN 所有。
微信改版了，
想快速看到CSDN的熱乎文章，
趕快把CSDN公眾號設為星標吧，
打開公眾號，點擊「設為星標」就可以啦！
※Google 的隱私噩夢來了……
※小米要用 AI + IoT 做年輕人的第一套智能家居
TAG:CSDN |