網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從Internet網上下載網頁數據，是搜索引擎的重要組成部分。映射到現實中就是：用戶打開瀏覽器，輸入URL，打開源網頁。選取想要的內容，包括標題，摘要，正文等信息，存儲到硬碟中的過程。在程序技術層面上就是：網路請求，抓取結構化數據，數據存儲這三步。

爬蟲分類

通用爬蟲又稱全網爬蟲（Scalable Web Crawler）；

聚焦爬蟲（Focused Crawler）；

增量式爬蟲（Incremental Web Crawler）爬行儘可能新的頁面；

Deep Web 爬蟲（Deep Web，也稱 Invisible Web Pages 或 Hidden Web）。

爬蟲抓取和更新的策略

隨著網路的迅速發展，大量信息的體和數量不斷增加的網站，爬蟲效率不足等問題。如何高效率的提取精準信息便是搜索引擎急需解決的一項棘手問題，於是爬蟲策略便應用而生：

1.深度優先策略

2.寬度優先策略

3.反向鏈接數策略

4.Partial PageRank策略

5.OPIC策略策略

6.大站優先策略

由於互聯網是實時變化的，具有很強的動態性。策略的更新也是重中之重：

1.歷史參考策略

2.用戶體驗策略

3.聚類抽樣策略

分布式抓取

一般來說，抓取系統需要面對的是整個互聯網上數以億計的網頁。單個抓取程序不可能完成這樣的任務。往往需要多個抓取程序一起來處理。一般來說抓取系統往往是一個分布式的結構。

1.主從式（Master-Slave）

有一台專門的Master伺服器來維護待抓取URL隊列，它負責每次將URL分發到不同的Slave伺服器，而Slave伺服器則負責實際的網頁下載工作。Master伺服器除了維護待抓取URL隊列以及分發URL之外，還要負責調解各個Slave伺服器的負載情況。以免某些Slave伺服器過於清閑或者勞累。這種模式下，Master往往容易成為系統瓶頸。

2.對等式（Peer to Peer）

所有的抓取伺服器在分工上沒有不同。每一台抓取伺服器都可以從待抓取在URL隊列中獲取URL，然後對該URL的主域名的hash值H，然後計算H mod m（其中m是伺服器的數量，以上圖為例，m為3），計算得到的數就是處理該URL的主機編號。

robots協議

robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文本文件，它告訴網路蜘蛛，網站中的哪些內容是不應被網路蜘蛛獲取的，哪些是可以被取的。因為一些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜索引擎的漫遊器訪問子目錄時的行為，那麼可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據（Metadata，又稱元數據）。robots.txt協議並不是一個規範，而只是約定俗成的，所以並不能保證網站的隱私。

網站地圖

Sitemap指令被很多搜索引擎支持，指定了網站Sitemaps文件的位置。Sitemaps文件包含了網站頁面所在的URL的一個列表。Sitemap指令並不受User-agent指令的限制，所以它可以放在robots.txt文件中的任意位置。要注意的就是要使用網站地圖指令，,並將URL的"location"值換成網站地圖的地址。

例：Sitemap:

總結：

robots.txt只防君子不防小人。通常大的搜索引擎會識別這個元數據，不索引這個頁面，以及這個頁面的鏈出頁面。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！