揭秘：Google人工智慧背後的「人工」

下圍棋、玩德州撲克，大家看到的往往是AI風光的一面。殊不知訓練AI往往卻要靠人工提供獨特的數據給它學習。由於最近YouTube爆發了在宣揚暴力的視頻旁邊放置廣告的風波，使得《連線》把目光瞄準了訓練AI的一個幕後的臨時工群體。而這個群體的處境有可能會對AI的品質造成不好的影響。

翻譯 | boxi

每天，在美國各地，那些替Google工作的人都會登錄進自己的計算機開始觀看YouTube，為的是找出視頻裡面的暴力。他們從視頻標題里找出帶有仇恨的語言。他們決定某個視頻剪輯應該分類為「攻擊性」的還是「敏感性」的。他們是Google所謂的「廣告質量評估師」，是由外部代理商僱傭的臨時工，作為判斷機器還沒有辦法自行做出判斷的彌補措施。現在Google顯然迫切需要這些人的幫忙。

YouTube，這個Google旗下的視頻巨頭，每天都要在網站播放的數百萬視頻當中穿插廣告。自動系統確定這些廣告在什麼地方出現，廣告主往往並不知道自己的廣告會出現在哪一個視頻的旁邊。最近這種不確定性已經給Google惹來了大麻煩。在多份報告披露Google允許在宣傳仇恨和恐怖主義的視頻邊上放置廣告之後，該公司已經在接受審查。諸如沃爾瑪、百事可樂、Verizon等廣告主以及範圍更廣的Google廣告網路已經摒棄了這個平台。

Google極力淡化這次事件，說媒體誇張了攻擊性視頻旁邊放置廣告問題的嚴重性。該公司說：標記視頻收到的「印象佔比還不到廣告商總印象的1/1000」。Google的CBO Philipp Schindler則強調問題僅影響到「非常非常少量」的視頻。但廣告評估師說公司正在集結他們以防問題變糟。

「我們非常清楚在評估內容的時候，人類的眼睛，還有大腦都需要審慎的思考。」

由於Google 90%的收入來自廣告主，所以它需要防止定向廣告到攻擊性視頻造成更多的損失。但用戶每天上傳的新視頻長達60萬小時，這需要一座小型城市規模的人夜以繼日的處理才能看完。所以搜索巨頭才會強調，開發出可標記日益增多的攻擊性視頻的人工智慧內容過濾器是很難的。

Schindler說：「這個問題無法由人來解決，也不應該由人來解決。」

問題是公司仍然要靠人來訓練AI。於是Google仍然要依賴一群工人去識別和標記攻擊性材料，然後把這些作為AI的訓練數據。但據一些廣告評估師透露，由於Google跟他們的溝通不暢，再加上這份工作的不穩定性，導致了他們沒有辦法把工作做好。而這個就會影響到AI識別的精確度。

人類任務

技術公司僱傭內容版主由來已久，隨著大家上傳和分享的內容越來越多，這項工作對於互聯網巨頭也變得愈發重要。Google的廣告評估師工作可不僅僅是監控視頻。他們還要讀評論區標記出用戶爆粗的言語。要檢查Google廣告網路服務的各種網站，確保符合公司的質量標準。他們還要按照零售、新聞等目錄對網站進分類，並且點擊廣告鏈接看看是否有效。同時正如他們的名字所示那樣，他們還得對廣告本身的質量進行評價。

今年3月，在廣告商的抵制下，Google讓評估師把其他工作都先放到一邊，去執行一個「高優先順序的評估項目」。新項目意味著這群評估師幾乎所有的精力都要集中在YouTube上面——檢查視頻內容，或者整個頻道，看看有沒有一系列可能因此廣告主反感的東西。這是一個很大的變化。

而且評估師稱，從自己手頭的工作量來看，數量和速度的優先順序要比準確性更高。在某些情況，這幫人甚至要在2分鐘內審核時長數小時的視頻。在一個匿名的在線論壇上，評估師相互交流省時的辦法——比方說，說唱視頻就快速瀏覽一下歌詞看看有沒有褻瀆的話就行了，或者用10秒鐘粗略看看視頻剪輯而不是完全看完。會有計時器記錄每個視頻審查所需的時間，儘管這只是建議的期限，但評估師說這給他們增加了壓力。有人擔心積壓的視頻過多會害得自己被炒。

廣告評估師的工作不僅僅只是把視頻標記為不合適。他們還被要求對視頻標題和內容進行細顆粒度的評估——要進行分類，比方說，是否包含「不合適語言」，如「褻瀆」、「仇恨發言」或者「其他」等；或者是否屬於「暴力」，子類包括「恐怖主義」、「戰爭和衝突」、「死亡和悲劇」等等。此外還有黃毒方面的分類。系統還為廣告評估師提供「其他敏感內容」選項——這在比方說有人分享了極端政治言論的時候可以用得上。（AdAge 最近報道稱Google現在允許客戶取消在「性暗示」、「轟動、聳人聽聞」以及包含「褻瀆、粗俗」的內容旁展示廣告。）

但廣告評估師說，有些內容未必就能找到合適的位置歸類。這種情況下，評估師就會把材料標記為「無法歸類」。一位現任評估師講述了自己是如何評估兩個講西班牙語的人進行說唱大戰的。「我把材料歸類為無法歸類是因為他們講外語。同時我還添加了一段評論，稱視頻裡面的人似乎在用外語相互辱罵，但無法確定他們是否說了髒話。」（一位前評估師說，從最近的招聘判斷，Google似乎更青睞懂雙語的評估師。當視頻語言自己不懂時，評估師還可以勾選某個選項。）

多名廣告評估師稱自己被要求觀看內容令人震驚的視頻。有一位評估師說，有人試圖發布自殺的視頻。有一個人把自己的轎卡點燃，然後把槍對準自己自殺了。在廣告評估師頻繁訪問的一個論壇上，匿名發帖者稱自己曾經見過虐待婦女、兒童以及動物的視頻。有幾個發帖者稱，在連續看了好幾個類似視頻之後，自己被迫休息才能緩過來。廣告評估師稱自己並不清楚Google是如何給自己挑選需要觀看的視頻的——在評估前自己只能看到視頻的標題和縮略圖。此外，評估師經常觀看的視頻還包括有人講話的視頻遊戲、政治類視頻，以及陰謀論等。

綜合來看，評估視頻所需的工作範疇和對微妙之處的把握說明Google仍然需要人的幫助來處理YouTube的廣告問題。Google在一份像廣告評估師說明評估工作目的的文檔中說：「我們有很多信息來源，但你們是我們最重要的來源之一。」但儘管只有機器智能才能處理YouTube的內容規模，就像Google高管和代表反覆強調的那樣，除非Google的機器已經聰明到能夠分辨真正的攻擊性言論與其他表達形式的不同，此類努力就仍然需要靠人來幫助完成。

Google發言人Chi Hea Cho說：「我們一直都在靠技術與人工審核的結合來審分析標記內容，因為對視頻內容的理解是非常主觀的。最近我們增加了更多人手來加速審核。這些審核幫助訓練我們的演算法，讓它們能不斷改善。」

人力資源

據兩個消息來源透露，Google的廣告質量評估師計劃始於2004年。計劃參照了Google的搜索質量評估計劃，一開始主要服務於Google核心的廣告活動：根據搜索結果產生相應廣告的AdWords，以及通過Google把廣告放置到網站上的AdSense。原先的廣告評估師招聘代理ABE給他們的時薪是20美元。一位前評估師說，他們可以全職工作甚至加班工作。2006年，在評估師稱工作條件變得不那麼令人滿意之後，WorkForceLogic收購了ABE。然後到了2012年，一家名為ZeroChaos 的公司收購了WorkForceLogic，前者就變成了跟評估師簽合同的甲方至今。

廣告評估工作往往能吸引喜歡工作條件更靈活的人，比如剛剛進入工作的大學畢業生，接近退休年齡的工人，家庭主婦，以及身體有殘障的個人。只要能滿足每周10小時的最低工作要求，廣告評估師可以隨時隨地開展工作。評估師只需要有自己的桌面計算機和移動設備就能開始工作。

但這項工作天生的不穩定會對許多工人造成傷害。一位廣告評估師說，我們當中大部分的人都喜歡這份工作，但不會有機會成為永久性的全職員工。

儘管Google廣告評估師合同工大部分都是跟ZeroChaos簽署的合同，但代理的機構並不只有這一家。ZeroChaos的合同是1年1簽，而且直到最近他們的規矩還是連續工作2年後就不再聘用。一些工人認為這一限制導致Google無法找到最適合這份工作的有經驗的評估師。（不過在4月初的時候ZeroChaos通知廣告評估師稱這一規定已經取消）。廣告評估師的薪酬也沒有得到提高——他們的時薪是15美元，一周最多可以工作29小時，但是並不能保證有足夠任務達到這一閾值。工人稱自己突然就會被解僱，既沒有事先警告或者給出理由——有多位員工證實了這一點，甚至其中一位才工作了一周。公司會用一封敷衍了事的電子郵件通知工人被辭退。

Cho說：「在提供好的的工作條件方面，Google致力於跟有著良好履歷的供應商合作。一旦問題引起我們的注意，我們就會提醒這些供應商關注員工訴求，要求雙方協作來解決問題。我們會進一步關注此事。」

跟Google缺乏清晰的溝通本身也放大了廣告評估師對就業的不安全感。他們從來都沒有見過自己服務的那些人，包括在面試過程期間，他們唯一的聯絡方式就是一個名為「廣告評估管理團隊」的郵件地址，Google告訴評估師只有遇到任務相關問題時才能使用。評估師發送郵件給對方時，只會收到自動回復。對此Google回應稱：「鑒於接收到的報告規模，管理者並不會對個別問題作出響應：相反，我們監控收到的報告以儘快偵測出系統範圍內的問題。如果你需要單獨回應，或者採取特殊行動，請聯絡你的合同管理員。」

一位前廣告評估師說：「山景城那一頭的人就像是幕布背後的巫師。我們非常想像真正的同事那樣跟他們溝通，但結果卻沒有。」

至於Google，搜索巨頭的確告訴評估師說他們做的工作很重要，即便並沒有說清楚重要的原因是什麼。

公司在一份培訓材料中解釋說：「我們未必能告訴你每一項任務是幹什麼用的，但肯定都是我們認為重要的東西。你不會經常聽到自己工作的成果是什麼。實際上，有時候你的工作看起來就像流進黑洞一樣……儘管你未必總能看到自己工作的影響，但你的工作是重要的，而且Google有很多人在非常非常仔細地進行審核。」

這種仔細有時候甚至到了令一些工人感到不舒服的程度。Google會將一些已經過審核的內容混進分配給廣告評估師的任務當中來考察他們的表現。Google給廣告評估師的一封郵件中寫道：「這些測試以正常的任務出現，你會像正常工作一樣收到這些題目。但是我們不會告訴哪些是測試題目……我們會利用考試分數來評估你的表現。得分很低的話可能會導致分配給你的任務終止。」

把已經知道答案的問題嵌入進來是眾包調研的一樁常見做法。這種策略往往用來確定調研人員是不是隨便亂點東西，往往被玩笑為從業者的圖靈測試。

但Georgia Tech AI的研究人員Mark Riedl不認同這種做法：「眾包工人不應該被視為是機器，相反我們需要認識到眾包工人是人，對於這些人我們有著倫理道德方面的責任，在設計任務的時候應該意識到他們的尊嚴。」

當然，對於部分同事提出的這些問題，並不是所有的廣告評估師都吹毛求疵。15美元的時薪仍然高於大多數城市的最小工資。一位廣告評估師仍然對ZeroChaos提供的機會表示感謝：「甚至連麥當勞都拒絕我的情況下ZeroChaos卻不關心我有沒有犯罪背景。」多位評估師說在拿到這份工作前自己已經接近無家可歸或者需要領食物救濟券的地步。

但也有人說這種靈活性往往最終對他們並不有利，即便他們需要依賴這份工作。可以在家工作並且選擇自己的工作時間算是一種特殊待遇。但據一份ZeroChaos FAQ，廣告評估師被禁止同時為其他公司工作。一位前廣告評估師說因為這項禁令自己無法同時打兩份工，所以現在她每周也就比失業的時候多拿40美元。這樣是撐不下去的。

人機連接

技術界的大公司往往都會僱用臨時工參與到訓練AI系統的重複性任務。一位廣告評估師提到自己幾年前曾經替微軟評估Bing的搜索結果，這種工作的強度很大，每小時大概要審查多達80頁的搜索結果。LinkedIn和Facebook也僱用人來執行類似的工作，LinkedIn主要是做數據注釋，而Facebook則是評估粉絲頁面的「贊助帖子」。

臨時工作的不安全感以及普遍的人員流動性令新老員工感到不安，這些人認為Google正失去在這份工作上花費時間更多的老員工才具備的系統知識。一位前廣告評估師表示：「他們把錢浪費在了培訓新人上面然後又把人攆出大門。」

但是廣告評估師的人員流失也許正好反映出讓AI變得更聰明的最佳實踐。人工智慧研究人員和行業專家說，輸入數據的人類培訓師的定期輪換對於訓練AI更好。AI初創企業Nara Logics的CEO Jana Eggers說：「AI需要許多看法，尤其是在類似攻擊性內容方面。」儘管最高法院並未就什麼是猥褻做出描述，但是「當我看到時就能做出判斷」這種極限值測定依然有效。「給機器更多觀察的眼睛有望得到更好的結果。」

但儘管AI研究人員通常同意人低落的士氣未必就會導致糟糕的機器學習，但也許會產生源自其工作環境和體驗的，更為微妙的影響。康奈爾大學AI教授Bart Selman說：「經常有觀點認為獲取大量不同輸入是訓練AI模型的好辦法。這個作為一般指南來說是好的，但在道德判斷上，眾所周知，大多數群體都存在著根深蒂固的嚴重偏見。」 Selman舉例說，比如大家的普遍看法是男性在特定類型的工作方面要優於女性，反之亦然。「那麼，如果你基於普通組觀點或者過去的招聘決定來訓練AI招聘模型，你就會得到代表一般人群觀念的隱藏偏見。」而如果結果表明你主要靠一群焦慮的臨時工的認知來訓練AI的話，他們最終可能會把自己獨特的偏見帶進那些系統裡面。

Selman說：「你不會想通過讓AI倫理模塊觀察普通人群日常所為來訓練這種AI。你應該從那些更加審慎地考慮了潛在偏見以及道德問題的人那裡獲取輸入才對。」

在山景城的Google人享受著別緻的園區，免費的美食，以及撞球、桌上足球等娛樂手段。這些跟典型的廣告評估師得到的待遇實在是差得太遠。現在替全球最有價值的公司工作可以意味著奢侈的福利以及豐厚的工資。也可以意味著作為臨時工機械地執行那些重複性的任務，好訓練公司的機器執行相同的工作。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！