一個全球最大成人網站的爬蟲

簡介

項目主要是爬取全球最大成人網站PornHub的視頻標題、時長、mp4鏈接、封面URL和具體的PornHub鏈接

項目爬的是PornHub.com，結構簡單，速度飛快

爬取PornHub視頻的速度可以達到500萬/天以上。具體視個人網路情況,因為我是家庭網路，所以相對慢一點。

10個線程同時請求，可達到如上速度。若個人網路環境更好，可啟動更多線程來請求，具體配置方法見 [啟動前配置]

環境、架構

開發環境: MacOS系統、4G內存

資料庫: MongoDB

主要使用 scrapy 爬蟲框架

從Cookie池和UA池中隨機抽取一個加入到Spider

start_requests 根據 PorbHub 的分類，啟動了5個Request，同時對五個分類進行爬取。

並支持分頁爬取數據，並加入到待爬隊列。

使用說明啟動前配置

安裝MongoDB，並啟動，不需要配置

安裝Python的依賴模塊：Scrapy, pymongo, requests 或

根據自己需要修改 Scrapy 中關於 間隔時間、啟動Requests線程數等得配置

啟動

python PornHub/quickstart.py

運行截圖

資料庫說明

資料庫中保存數據的表是 PhRes。以下是欄位說明:

PhRes 表：

項目地址：https://github.com/xiyouMc/WebHubBot/

題圖：pexels，CC0 授權。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！