大數據時代，數據就是金錢，很多企業都為自己的網站運用了反爬蟲機制，防止網頁上的數據被爬蟲爬走。簡單低級的爬蟲速度快，偽裝度低，如果沒有反爬機制，它們可以很快的抓取大量數據，甚至因為請求過多，造成伺服器不能正常工作。而偽裝度高的爬蟲爬取速度慢，對伺服器造成的負擔也相對較小。所以反爬的重點先是把那種簡單粗暴危害大的爬蟲先阻擊在門外，然後再來對付那些偽裝度高的爬蟲。

大型網站，門戶網站都會有自己的反爬蟲制約機制。爬蟲不是以瀏覽器方式來訪問頁面的，爬蟲只下載網頁的源代碼這是區分爬蟲與否的一個關鍵。

反爬蟲思路要考慮以下幾點：

1、能被google、百度等正規搜索引擎爬蟲抓取，不限流量和並發數；

2、阻止山寨爬蟲的抓取；

3、反爬蟲策略應該是實時檢測的，而不是通過一段時間後的訪問統計分析得出；

4、誤判後的人性化處理；

反爬蟲的實用方法：

1、驗證檢查User-Agent；

2、增加圖形驗證、拖動、拼圖等人機驗證；

3、前端js script 實時計算 parameter 加給請求在後端進行驗證；

4、檢測 Cookie 中 session_id 的使用次數，如果超過限制，就阻止訪問；

5、IP計數器，在 redis下給每個IP做計數，利用redis key的過期機制，每次計數累加時將key設定在一定的時間內過期。

6、動態生成url的key；

7、增加異地手機設備更換登錄時需要動態驗證手機簡訊；

8、非同步載入嵌套在iframe裡面的，並且 src="about:blank" ；

9、修改字體庫讓爬蟲得到的數據不準確或者無用的數據（電商較多）；

10、ajax載入數據。

總結

如果反爬機制過於嚴格，可能會誤傷到真正的用戶。如果既要和爬蟲死磕，又要保證很低的誤傷率，那麼又會增加研發的成本。爬蟲與反爬蟲的鬥爭從未停止，反爬蟲程序員一直在與爬蟲程序員做鬥爭。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！