colly-go語言編寫的CPU單核超過1k次請求的web採集利器

項目主頁

https://github.com/asciimoo/colly

項目文檔

https://godoc.org/github.com/asciimoo/colly

項目簡介

一款給gopher準備的快速、優雅的高性能網頁採集框架。

它提供了一個寫任何爬蟲/採集器/蜘蛛的清爽模板。

它還可以幫你從網站上抽取結構化的數據，

而這些數據可以用於數據挖掘，數據處理或歸檔。

項目功能

清爽的API

快速（CPU單核超過了1K次請求）

管理了每個域名的請求延遲和最大並發數

cookie和session自動處理

同步/非同步/並行爬取

代碼示例

1.採集維基百科英文首頁上的所有鏈接

2.採集cursera上的課程信息

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 PHP技術大全 的精彩文章: