揭秘｜那些隱藏在 YouTube 人工智慧背後的「臨時工」

科技 04-30

還記得《暴走大事件》里看太陽都是綠色的唐馬儒嗎？在美國也有做類似工作的臨時工。他們中有很多人非常喜歡這份工作，甚至渴望轉正，成為「職業看片師」。

編者按：

一個多月前，Google 旗下的 YouTube 視頻網站爆發了廣告危機，多家知名公司發現自己的廣告被放在一些宣傳恐怖主義和反猶太主義的視頻中。這些大公司因此發起了抵制 Google 的行動，紛紛撤下自己投放給 Google 的廣告，Google 也因此損失了上億美元的收入。

廣告的分發是交給人工智慧來完成的，因此在山景城的 Google 總部，人工智慧研究員們最近的日子不大好過，他們加緊了對人工智慧的優化。但除了他們以外，還有一群人的工作也因此緊張了許多，他們就是在人工智慧背後訓練程序模型的工人們。

本文編譯自

WIRED

（https://www.wired.com/2017/04/zerochaos-google-ads-quality-raters/），原文標題為

「The Hidden Laborers Training AI to Keep Ads Off Hateful YouTube Videos」

，略有刪減。

在美國，有那麼一些 Google 的員工，他們每天的任務就是打開電腦上 YouTube 看視頻。這些人在視頻里尋找暴力元素，在標題里尋找不堪入目的文字。他們有權決定一個視頻片段是否帶有「人身攻擊」或者「敏感信息」。

他們被稱為

「廣告評估員」

，是 Google 從外包公司聘用的臨時工，主要負責處理一些機器無法獨立完成的判斷。而現在，Google 似乎亟需這些人的幫助。

Google 旗下的視頻網站 YouTube 憑藉其海量的用戶和視頻資源，吸引了無數廣告主。廣告貼在哪些視頻上全靠人工智慧的演算法決定，因此廣告商也不清楚他們的廣告具體會出現在哪些視頻中。最近，這種廣告投放的不確定性成了 Google 的一個大麻煩。多家報告顯示，Google 允許廣告出現在提倡仇恨和恐怖主義的 YouTube 視頻中，這家公司因此而受到了審查。像沃爾瑪、百事可樂以及電信運營商 Verizon 這樣的廣告商漸漸選擇離開 YouTube 廣告平台，甚至整個 Google 的廣告網路，這讓主要依靠廣告營收的 Google 一度日子很不好過。

從 Google 平台上撤下廣告的大公司

Google 一直在努力打壓這種說法，它表示媒體過分誇大了在不恰當視頻中展示廣告帶來的問題，「這些視頻的觀看量還不及所有廣告商的十萬分之一。」Google 的首席營銷官 Philipp Schindler 表示，這個問題隻影響到了「非常非常非常少」的視頻。但廣告評估員們卻說 Google 正在大量招募他們以防止問題進一步惡化。

由於 Google 總收入的 90% 都來自廣告商，所以他需要迅速定位不合適的內容以防止廣告商的流失。但每天在 YouTube 上，用戶會上傳接近 60 萬小時的視頻，這幾乎需要大半個城市的人晝夜不停地觀看才能完成審核。這也就是為什麼這家科技巨頭強調開發人工智慧的內容審查系統，這種審查系統可以一次標出非常多的視頻。「這個問題無法由人類來解決，也不應該由人類來解決。」Schindler 說道。

問題是，他們仍然需要有人來訓練 AI。因此，Google 仍然需要僱人來識別並標記那些敏感內容，以此來構建供 AI 學習的數據。但有八名現任及前任的廣告評估員在接受《連線》雜誌採訪時說，有一段時間 Google 非常依賴廣告評估員的工作，但缺少良好溝通以及工作的不穩定性等原因使他們很難做好這份工作。

「我不是說這是目前危機的全部原因，」一位前 Google 廣告評估員說道，Google 並沒有授權他在媒體面前談論這份工作。「但我相信不穩定性是一個原因。我們評估員訓練 AI，但人類在做內容評估時是需要深思熟慮的，這一點我們非常清楚。」

工作強度太大

科技公司長期僱傭內容管理員，並且隨著用戶上傳與分享越來越多的內容，這份工作對這些互聯網巨頭來說就顯得越來越重要。接受採訪的廣告評估員表示他們的工作不僅僅是監管視頻內容，他們還要閱讀評論區，標出用戶不恰當的語言，還要檢查所有支持 Google 廣告網路的網站，保證他們達到了 Google 設立的質量標準，並將這些網站分類整理，比如零售網站或者新聞網站，然後點擊站內廣告來檢查是否合格。並且，正如他們的職業名稱一樣，他們還要評估廣告的質量。

然而在今年三月份，Google 在受到廣告客戶的抵制以後發送了一封郵件給評估員們，要求他們暫時放棄其他工作，先處理「高優先順序評估項目」。這個新的方案意味著他們幾乎要完全專註在 YouTube 上，他們要把所有 YouTube 視頻都梳理一遍，找出廣告客戶反感的內容。「這是一個巨大的變化。」一位評估員說道。

據評論員們所說，他們龐大的工作量導致在工作時，比起準確性他們會更注重效率和速度。在一些情況下，Google 要求他們在不到兩分鐘的時間裡檢查長達數小時的視頻內容。在匿名的論壇上，這些評估員相互交流節省時間的方法——比如，查看饒舌音樂視頻的歌詞來快速查找咒罵性的語言，或者 10 秒 10 秒地快進看一個視頻片段，這會比完全看完整個視頻快很多。Google 給他們弄了一個計時器來監視他們在每個視頻上花了多少的時間。雖然這種時間要求並不是硬性的，但評估者說計時器給他們增添了一層壓力。「我很擔心如果我在一連串的視頻上耽誤過多的時間，我會因此而被炒魷魚。」一位評估員對《連線》如是說。

廣告評估員不只是簡單地把視頻標記為不適。Google 要求他們對視頻的標題和內容進行細緻的評估和分類。比如，包含像「褻瀆」、「仇恨言論」以及「其他」等「不恰當的語言」，又或者「暴力」分類下包括「恐怖主義」、「戰爭和衝突」、「死亡和悲劇」以及「其他」等分類，同時還有「毒品」和「性/裸露」（包含「虐待」、「裸體」和「其他」等下級標題）。該系統還為廣告評估員提供了「其他敏感內容」的選項——假如說，有人分享了極端的政治觀點。（AdAge 最近報道說，Google 現在支持客戶選擇是否要避免在包含「性暗示」、「褻瀆和粗俗語言」和「危言聳聽」的內容上顯示廣告。）

評估員們說，有些內容不適合已有的分類。在這種情況下，評估員會給這些內容標上「不可評估」的標籤。一位在任的評估員說他不得不評估一場西班牙語的饒舌大戰。「我把它分類為『不可評估』，因為它是個外語視頻。」他這麼告訴《連線》。「我同時也評論說這看起來像是個人們用外語互相侮辱的視頻，但我不確定他們是否在說髒話。」（從最近的廣告評估的職位招聘來看，Google 正在優先聘用雙語評估員。員工們也可以在聽不懂視頻語言時選擇相應的選項。）

視頻內容不堪入目

多位評估員表示，他們被要求觀看的視頻里會有一些觸目驚心的內容。「有人在開卡車時嘗試自殺，」一個評估員說道，「那個人把卡車發動了，然後下車對著自己的腦袋開了一槍。」在廣告評估員經常瀏覽的論壇上，匿名發帖者說他們已經看了許多對婦女、兒童以及動物施暴的視頻。幾個帖子上還說他們需要在連續觀看這些視頻後休息一下。廣告評估員說他們不知道 Google 怎樣選擇需要審查的視頻，他們在評估視頻之前只能看到視頻的標題和縮略圖，並沒有評估的理由。除此之外，還有一些人們談論遊戲、政治以及陰謀論的視頻也需要評估員們觀看審查。

總而言之，從 Google 對 YouTube 網站內容審查的範圍以及審查工作的細緻可以看出，在處理廣告投放的問題時，Google 仍然需要人力的幫助。「我們有許多數據來源，但最重要的來源之一就是你們這些員工。」Google 在給評估員的工作描述文件中這麼說道。但是，只有人工智慧才能解決 YouTube 如此大的體量，正如該公司的高管們一遍又一遍強調的，在 Google 的人工智慧——或者其他任何一家的——足夠聰明之前，這些令人反感的內容還是得依靠人力來進行辨別和標識。

Google 的發言人 Chi HeaCho 說道：「一直以來，我們都在依靠科技和人力的結合來分析已被標識的內容，因為要理解視頻中的信息是非常主觀的。最近我們聘用了許多評估員來加速評估。這些評估結果將會幫助改進我們的機器演算法。」

評估員上哪招？

廣告質量評估的項目始建於 2004 年。它最初是模仿 Google 的搜索質量評估項目建立的。早期它被用於 Google 的核心廣告項目：AdWords 和 AdSense，前者可以生成與搜索結果相符的廣告，後者則是在其他網站上分發廣告。最初僱傭廣告評估員的代理機構是 ABE 公司，他們給評估員開出的薪水是每小時 20 美元。評估員可以全職工作甚至加班。到了 2006 年，WorkForceLogic 收購了 ABE，這之後評估員的工作待遇就沒那麼好了。一家叫做 ZeroChaos 的公司又在 2012 年收購了 WorkForceLogic，並接管了廣告評估員。

廣告評估的工作經常吸引一些喜歡工作時間靈活的人，其中包括剛剛畢業步入社會的大學畢業生，退休工人，在家看孩子的父母，還有一些身體殘疾的工人。廣告評估員可以隨時隨地的工作，只要他們完成每星期 10 個小時的最低工時即可。評估員們只需要使用自己的台式電腦或者移動設備就可以工作。

但這項工作的不確定性可能會對很多工人造成傷害。「我們大多數人很喜歡這份工作，」一個廣告評估員說道，「但我們沒機會成為全職或者正式的員工。」

大多數接受《連線》雜誌採訪的廣告評估員都是由 ZeroChaos 招聘的。ZeroChaos 只是眾多向科技公司提供臨時工的代理機構的其中一家，它給廣告評估員開出一年的合同，目前來看，還沒人能夠連續超過兩年干這份工作。一些員工認為這種限制會導致有經驗的老員工的流失。（四月初，在我們報道這個故事的時候，ZeroChaos 宣布他們取消了兩年的工期限制。）

廣告評估員沒有漲薪水的待遇，他們每小時賺 15 美金，一周最多可以工作 29 小時。如果他們每周至少工作 25 個小時，就可以申請福利，但他們是否能有足夠的任務來達到這個門檻還沒有保障。員工們表示他們會發現自己突然就被解僱了，沒有提前通知也沒給個說法。有好幾個員工證實了這種情況的存在，其中一個只幹了一個星期。據評估員們所說，這家公司只是發封電子郵件就把他們解僱了。

「Google 會盡量與記錄良好的代理商合作，」Cho 說道，「當情況嚴重到引起我們注意時，我們會將員工的顧慮傳達給代理商，並同他們一起解決問題。我們會進一步研究這個問題。」然而對於這個問題，ZeroChaos 拒絕置評。

工作不靠譜，沒有安全感

評估員們表示，與 Google 之間缺乏明確的溝通使得評估者對這份工作產生了更加強烈的不安全感。他們不會和 Google 的人見面——就算在面試的時候——而 Google 也只會給評估員們一個署名「廣告評估管理團隊」的普通 Google 郵箱作為聯繫方式，用以通知他們與工作相關的問題。評估員發郵件到這個郵箱，卻只能收到一封自動回復的郵件。「由於收到報告的數量龐大，管理員不會一一回應問題報告：相反，我們會監控收到的報告，以儘快發現系統級的問題。」Google 的回複信里寫道。「如果你需要單獨回復，或者對你的賬戶採取特定的操作，請聯繫你的合同管理員。」

「同 Google 的溝通是完全不存在的，」一個前評估員說道。「Google 的不溝通是出了名的。」

另一位評估員說道：「在山景城的另一端，這些人就像巫師一樣躲在幕後。我們當然非常希望能同他們交流，成為真正的同事，可惜沒門。」

就 Google 而言，它確實有告訴評估員們他們正在做的事很重要，雖然它沒說明原因。

「我們不是總能告訴你每一個任務是為了什麼，但一定都是我們認為重要的事情。」該公司在指導教材中向廣告評估員解釋。「你不會經常聽到你工作的反饋。事實上，你可能會覺得你的工作成果被丟進了黑洞里。就算如此，你的工作仍然非常重要，這與很多 Google 員工息息相關。」

但有時卻息息相關過頭了。Google 將已經評估過的內容列入廣告評估員的績效審查中。「這些考驗將與普通的任務沒什麼區別，你將在常規工作中完成它們。」Google 在給廣告評估員的信中說道。「你們不會知道哪些工作內容是要作為考核的。我們通過考核的成績來評估你的表現。分數過低可能會導致合同的終止。」

根據喬治亞理工大學的研究員 Mark Riedl 的說法，嵌入已知答案的任務是眾包方案的常用審查方法。研究員們通過這個方法來確定每一個評估員的工作是否有效，這也經常被開玩笑地稱為評估員的圖靈測試。

但 Riedl 說他並認為這個圖靈測試有多大的參考價值，他說道：「要知道到我們的基層工作者們也是人類，我們有道義上的責任為他們布置有尊嚴的工作。」

但也不是所有廣告評估員都有這些問題。每小時 15 美元的工資仍然會比大多數城市的最低工資要高不少。一位評估員告訴《連線》它很感激 ZeroChaos 給他這份機會。「因為有犯罪背景，麥當勞都會拒絕我，但 ZeroChaos 並不在意。」許多評估員表示，在找到這份工作前，他們已經接近無家可歸或者需要靠領政府食物券生活的狀態了。

然而也有人說，就算他們依靠這份工作生活，靈活性也不是他們需要的特點。隨時隨地的工作確實是一種福利，但根據 ZeroChaos 的「常見問題」，廣告評估員是禁止同時在其他公司工作的。一位前廣告評估員說她現在正在另一家公司工作，但她很想繼續做廣告評估員的工作來賺點外快，然而因為這項規定她不得不放棄。「如果我可以同時工作，那我將能拿到更多的薪水改善生活。」她說道，「現在，我每周比失業時多掙 40 美元。但這收入很不穩定。」

高流動性其實是訓練 AI 的需要

科技行業的大公司常常僱傭臨時員工通過重複性的工作來幫助他們訓練 AI 系統。一位廣告評估員說起多年以前在微軟必應的評估工作，那時他們需要在一個小時內閱讀多達 80 頁的搜索結果。評估員們告訴《連線》，領英和 Facebook 也在僱人做同樣的事情——領英需要人為地為數據標註，Facebook 需要評估粉絲頁面的「贊助內容」。（對此，微軟拒絕評論，而領英無法證實這個項目的存在。Facebook 沒有做出回應。）

工作的臨時性和龐大的工作量讓這些員工感到不安，他們認為 Google 無視了他們的工作經驗。「花時間訓練新人然後再把他們趕走，這完全是在浪費錢。」一位前廣告評估員說道。

但不斷地變更評估員也許正好是訓練 AI 的最佳方法。「AI 需要更多的視角，尤其是在如何定義令人不適的內容這方面，」人工智慧創業公司 NaraLogics 的 CEO Jana Eggers 表示，「就連最高法庭也無法用語言來概述下流行為。賦予機器更多的視角會產生一個更好的結果。」

然而 AI 研究人員普遍認為，員工士氣不好不一定會影響機器學習的效果，一個人的工作環境和經驗可能會產生更多微妙的影響。「人們經常聽到這種說法，大量輸入不同的信息是訓練 AI 模型的最佳方式，」康奈爾大學的人工智慧教授 Bart Selman 說道，「這通常是個不錯的辦法，但當涉及到道德判斷時，不同的人群有著差異明顯的偏見，這些偏見根深蒂固。」比如說，男人在某些類型的工作上要比女人擅長一些，反之也是一樣。「因此如果你在訓練 AI 時使用的是同一組樣本，僱傭的是同一類人，那麼你將得到的結果也必定有一種潛在的偏見。」並且如果在訓練 AI 時使用的全是充滿焦慮的臨時工，你的 AI 系統恐怕也會被植入這些人獨有的偏見。

「讓人工智慧通過固定的一群人來訓練 AI 學習人類的道德是不妥當的。你應該從那些對潛在偏見和道德問題有更深刻思考的人那裡獲取判斷。」Selman 說道。

在 Google 的山景城總部，正式員工們享受著風景如畫的校園，免費的自助餐美食，以及壁球和桌上足球這樣的室內遊戲。但這一切與廣告評估員的生活天差地別。現在說起在世界上最值錢的科技公司上班，並不一定會有奢侈的福利和羨煞旁人的薪水，它可能僅僅代表著無休止的工作，機械性地訓練著這些大公司的人工智慧——直到它們學會做同樣的事情，在將來的某一天完全地代替掉自己。

頭圖來源：tubefilter（http://www.tubefilter.com/）

本文由極客公園原創

轉載聯繫 xiangyunqi@geekpark.net