互聯網上的腳印，竟然是爬蟲留下的？

互聯網上的腳印，竟然是爬蟲留下的？.mp3

00:00

下載音頻

睡前聊一會兒，夢中有世界，大家好。利用搶票軟體購買火車票，去比價平台看各家報價，購物前先看看網友留言，置身互聯網時代，這些或許再普通不過的生活場景，實際上背後都有一個繞不開的技術，叫做「爬蟲」。受黨報評論君邀請，今天我們來聊一聊這個話題。

爬蟲，是一種「自動化瀏覽網路」的程序，在互聯網上變出萬千隱形分身，造訪各個網站，辛勤地做著信息的謄寫者和搬運工，就像一隻蟲子在一幢樓里不知疲倦地爬來爬去。最早應用這類技術的是搜索引擎，為的是給用戶提供更快更精準的搜索結果。然而近年來，隨著技術發展，爬蟲不僅游弋到互聯網金融、電商、社交等等更加枝蔓的樹藤上，也在不斷進化自身的能力。獲取網站數據、監控同類商品價格、甚至模仿人類行為點贊留言、輸入驗證碼，身手越來越敏捷的爬蟲在互聯網上可謂無孔不入。

客觀來說，在幫助人們從海量信息中快速獲取有效信息方面，爬蟲技術功不可沒，但也給互聯網籠罩上真假難辨的迷霧。程序員界有一句話，整個互聯網50%以上的流量其實來自於「爬蟲」。也就是說，互聯網上的大量點擊、瀏覽行為來源於爬蟲，而非人類。有人說互聯網世界裡，「你永遠不知道屏幕後面坐的是一個人還是一條狗」，如今可能還要加上一條，「你永遠不知道互聯網上的那隻腳印是人還是蟲留下的」。

爬蟲也分善惡，惡意的爬蟲往往讓被爬的網站渾身不自在，自從爬蟲誕生的那一刻起，反爬的戰爭就無可避免。比如爬蟲最愛光顧的出行領域，據了解，89.2%的流量沖著12306訂票網站而去，不僅給網站伺服器造成巨大壓力，也擾亂了正常的訂票秩序。「請在王珞丹和白百何中選出所有的白百何」「請點擊下圖中所有的郭敬明」，近年來12306訂票網站的圖形驗證碼備受吐槽，它的設計初衷恰恰是為了防止惡意爬蟲刷票。再比如一些聚合電商、比價平台自動把各大電商的商品扒下來，這可不是出於好心幫助賣貨，而是為了分奪流量這杯羹，正因如此，一些電商不斷升級應用防火牆，把爬蟲擋在門外。

如果說爬蟲與反爬蟲是圍繞利益的爭奪戰，那麼對我們普通人來說，最應該關心的是，面對惡意爬蟲，如何保護個人隱私不被竊取。幾年前，就曾有互聯網公司因為違規使用爬蟲技術而對簿公堂，未經允許、擅自抓取、違規複製，極有可能導致用戶信息泄露。今天，網路場景應用早已成為日常生活的一部分，我們的身份信息、消費賬單、人脈關係通過爬蟲技術都不難被獲取，一篇報道就曾經解密數據公司，是如何利用爬蟲獲取用戶在社交軟體上的行為軌跡，進而繪製出完整的用戶畫像，進行隱私販賣。凡此種種，違背了互聯網的宗旨，更觸犯法律的底線。

實際上，爬蟲技術誕生之初，就有過「君子協定」，約定了禁爬的區域、隱私的保障，但當爬蟲與利益勾連得越來越緊密時，這些協定能否維持下去？當前堵截互聯網上密密麻麻、行蹤詭譎的惡意爬蟲，如果只是依靠「魔高一尺、道高一丈」的技術競速，又何時是個盡頭？由此來看，破除爬蟲使用上的亂象、讓技術造福用戶，一方面需要重申互聯網規則，將多維交織的行業規則化為身體力行的從業守則，減少市場主體惡意使用爬蟲技術的情況；另一方面也需要治理跟上發展的腳步，用制度和法規划出技術應用的合理軌道，避免技術發展中方向走偏、價值走失。

這正是：技術從來雙刃劍，揚善抑惡最考驗。

（人民日報中央廚房·思聊工作室·楊 旭）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！