Python爬蟲有什麼用，網友紛紛給出自己的答案，爬蟲能做的還是很多的

爬蟲可以從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。

難道爬蟲真的只是這樣么？

小編特地詢問很多網友Python有什麼用，大家給出答案也是五花八門。

@冰藍

之前在北京買房，誰想房價開始瘋長，鏈家的房價等數據分析只給了一小部分，遠遠不能滿足自己的需求。於是晚上花了幾個小時的時間寫了個爬蟲，爬下了北京所有的小區信息及北京所有小區的所有歷史成交記錄。

@陳樂群

上次發現Android QQ和iOS QQ可以顯示網路狀態(2G/WiFi)之後，突然想到，這樣子好像可以監視某人的出行和作息規律。簡單的來說，在家裡或者工作的地方，一般是有WiFi的，然後出門了，WiFi就斷掉了。如果監測頻率足夠頻繁，那麼結合一定的推理，可以大致推測出一個人的行動。如果長期監視，那麼可以大致推出一個人的作息時間。

因為只有Android QQ和iOS QQ有這個功能，所以要得到一個人的網路狀態比較麻煩。我的做法是跑 Android 模擬器。然後用按鍵精靈模擬，並把網路狀態截圖，用 curl post到伺服器上。伺服器會把每次發送的時間、截圖保存下來。因為是用程序截圖的，所以只要網路狀態是一樣的，那麼截圖就是一樣的，這樣伺服器就只會保存2~3張圖片而已，其餘的發現是相同的圖片，資料庫做個標記就好了。然後人工做OCR，還是注意到只有2~3張圖片，所以工作量很少。

得到數據後，要做各種統計就可以自己搞了……

@森羴

在用Python寫網頁爬蟲之前，我只用來寫過了一個駕校約車的腳本，讓當時的我不懼上萬的學車同僚，在約車環節沒有輸在起跑線上。

接著那段時間，我女朋友的領導每天下班都會下任務，要收集100條有招聘需求的信息，第二天檢查。看到她熬夜百度+複製粘貼到半夜，心疼死了。

想到了某個牛人說:一切重複性的工作都可以用程序來完成。於是偷偷花了些時間研究了下她經常查的某些同類業務網站的頁面數據，培育了這隻爬蟲。主要技能就是爬這些網站的招聘公司信息及聯繫方式，保存到Excel中。

在我將戰鬥成果----1000多個客戶資料的Excel表格發給她的時候，先驚喜，後審問，再感慨!依稀記得那天她發了一條朋友圈，內容是：「有個程序員男朋友，感覺好幸福啊!!」成就感走直線啊，都能讓她感到幸福，你說這隻爬蟲是不是做了很酷很有趣的事情呢?

@柳易寒

我用爬蟲爬了我愛白菜網、超值分享匯、發現值得買、惠惠購物、今日聚超值、留住你、買手黨、沒得比、慢慢買、牛雜網、買個便宜貨、什麼值得買、天上掉餡餅、一分網、折800值得買、值值值等網站的折扣信息。

這些網站都是提供的一些及時的、性價比較高的商品，很多時候要一個一個網站的看(重度用戶)，很容易就會錯過一些很划算的商品。

@小白

大二學生一枚，前段時間中期考試，成績一直不出來，又不想每次都登錄，突然就像用以下所學的東西來干點事情。

說干就干，花了我將近4個小時完成成績提醒功能。主要是用Python定時抓取數據(定時用Ubuntu的crontab)，分析數據是否變化，然後發送簡訊。其實大部分時間是花在分析學校模擬登陸那一塊了，畢竟要提取各種值，還有url重定向，本來就才學Python，對一些東西也不是很熟悉。

運行起來之後還是效果還不錯，10分鐘抓一次，第一時間知道了我的概率論。。。

@顧旻瑋

在學校的時候做過一個項目，通過爬微博的文字，分析國內各個地區的用戶收聽蝦米的熱度和最受歡迎的歌手。當然也沒有用什麼很複雜的技術，就是寫基本的TF-IDF。

做完的時候覺得自己好有想法啊，能實現這麼有意思的東西。後來發現早就有公司做過了。當然別人做的是美國版的。

於是現在，我就在這家公司工作。

@晨晨

朋友交易了一套房子，手機號流落到了各種中介手裡，隔幾天就有中介電話騷擾，不勝其煩。每接一個電話都加黑名單，但還是有新號碼打過來，so??問我咋辦!

Android 手機的攔截倒不是問題，但需要房產經紀人的號碼資料庫，就只能去網上爬了!

各個房產站的廣州站點加上58什麼的，一個多小時爬了快兩萬個號碼，去重之後還有一萬五千多??

一時興起，又去爬了深圳、北京和上海，現在都不知道拿這些號碼去幹嘛了??

PS：貌似活躍房產經紀的數量能反應市場活躍度?

PS：我覺得我可以把全國城市的都爬下來。

@孟德超

非計算機系。所以我做的比起其他人來說要簡單的多，但是卻解決了一些很實用的問題，也讓我認識到各行各業的人都需要學一點編程。

我一個同學做數學建模，需要57個城市兩兩之間的距離。他們本來想在百度查，可是57*56/2=1596，也就是說他們光查數據就要百度1596次。剛好我那個時候接觸了一點爬蟲，就找到一個可以查詢距離的網站，大概寫了幾十行代碼，兩分鐘就解決問題了。

@餘生夢

說個簡單實用的例子吧。昨晚突然發現我在某培訓網站的的會員馬上就要過期了，於是趕緊寫了個爬蟲，把沒看完的教學視頻全下載下來了……

@ animalize

用爬蟲技術做了個個人信息收集系統，部署在卡片式電腦(如樹莓派、Cubieboard)上。

為什麼Python更適合爬蟲

C，C++。高效率，快速，適合通用搜索引擎做全網爬取。缺點，開發慢，寫起來又臭又長

腳本語言：Perl, Python, Java, Ruby。簡單，易學，良好的文本處理能方便網頁內容的細緻提取，但效率往往不高，適合對少量網站的聚焦爬取

C#？（貌似信息管理的人比較喜歡的語言）

因為寫爬蟲是一邊寫，一邊測試。測試不過再改改。這個過程用 python 寫起來最方便。

Python 有 scrapy 這樣成熟的框架，我們大可不必自己從0開始

即使從0開始，以 Python 簡潔的語法和一大波成熟的庫，寫起來相當的快。

如何學習Python爬蟲

學習爬蟲的原因

學習爬蟲，可以私人訂製一個搜索引擎，並且可以對搜索引擎的數據採集工作原理進行更深層次地理解。

學習爬蟲可以獲取更多的數據源。這些數據源可以按我們的目的進行採集，去掉很多無關數據。

對於很多SEO從業者來說，學習爬蟲，可以更深層次地理解搜索引擎爬蟲的工作原理，從而可以更好地進行搜索引擎優化。

學習爬蟲更有錢景。爬蟲工程師是當前緊缺人才，並且薪資待遇普遍較高，所以，深層次地掌握這門技術，對於就業來說，是非常有利的。

除了以上為大家總結的4種常見的學習爬蟲的原因，在下方留言評論說說你學習Python爬蟲的原因

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！