Facebook：AI正在長大，對抗暴力視頻直播仍需人海戰術？

人工智慧（AI）演算法對Facebook較為成熟的內容安全系統貢獻巨大，然而隨著Facebook業務的擴張，不斷進步的AI也不免尷尬 – Facebook開放的直播功能，被謀殺、自殺等暴力視頻困擾，而AI未能幫助Facebook及時阻止這些視頻，這將Facebook推到風口浪尖。這家擁有無數AI大神、貢獻大量開源工具及優質論文的互聯網巨頭，不得不宣布招募3000多名內容審核人員，用最傳統的辦法對抗這類暴力視頻。

AI技術在暴力視頻面前究竟能發揮多大的用處？Facebook針對AI失效的狀況啟動了哪些應對措施？對抗暴力視頻，真的只能靠人海戰術嗎？

對抗暴力視頻，Facebook

的兩難選擇

時間退回到美國東部時間4月16日（周日），從美國男子史蒂芬·史蒂芬斯（Steve Stephens）上傳一段57秒他拍攝的自己殺人視頻到Facebook上，到Facebook接到舉報並關閉他的Facebook主頁，這個視頻在他的Facebook主頁上停留了2個多小時。如此長的一段時間，足以讓成千上萬的Facebook用戶觀看和分享這段殺人視頻，讓第三方網站將視頻下載並重新上傳到自己的伺服器。由此，以Facebook為代表的社交媒體公司面臨一個重大難題：如何才能讓這些令人毛骨悚然的內容遠離網站？應該如何刪除這些有害的內容？這起謀殺案還提醒我們，一旦這類東西被傳上網和分享出去，它們將很難被從網路中完全刪除。那麼，企業應該為預防這些內容出現付出多少？

防止視頻被人看到的最好辦法，是讓它永無上傳之地。Facebook可以採取這樣的措施：堅持讓某人（或某物）先審查用戶嘗試發布的每個視頻，並且只允許通過審核的視頻能夠被上傳。然而，如果用戶想要發布一個關於吸塵器上的貓的視頻，也不得不等待Facebook的批准，他很可能就會在其他網站上發布這個視頻。這等於放棄一大批渴望立即、輕鬆分享生活的用戶，這是Facebook難以承受的。

另外一個建議是，Facebook在令人反感的視頻被發布後立即將其刪除，但問題是這不具備可操作性- 演算法自動刪除這類視頻的技術還不成熟，而僱傭足夠的員工手動執行也不切實際。如果Facebook允許演算法刪除視頻，出錯將是不可避免的。退一萬步說，即便Facebook的服務條款把這項權力給演算法，Facebook也將被指控。那會有一個令人沮喪的結果，因為沒有人會接受演算法錯誤地刪除他們的視頻的可能性。這也是Facebook不能承受的。

因此，Facebook現在採用多管齊下的應對方式。前端是用戶，Facebook依賴觀看視頻的用戶標記出像斯蒂芬斯上傳那樣的暴力視頻。用戶的背後是人工智慧演算法，它可以找出與已知兒童色情相關的ID的視頻。當視頻被標記後，它們被發送給Facebook的內容審核人員，他們的工作是觀看這些視頻並確定是否應該刪除。這個系統是不完美的，但是現在人類審核人員比AI更為聰明。

然而，最終，AI將能夠有效地標記史蒂芬斯上傳的那類視頻，屆時，AI將可協助人類，增強人類的技能。Facebook的AI研究院主管Yann LeCun表示：「坦率地說，我相信這是一項可以完成的任務，如果有足夠的追蹤數據。」雖然LeCun拒絕回答如何應對這類特定視頻的問題，但他表示AI很快就能做到更多。毫無疑問Facebook將能夠使用AI來實時監控視頻並標記謀殺視頻，問題是什麼時候實現。

AI

黃金時期尚遠

理想狀態下，Facebook如此處理斯蒂芬斯的視頻：當他第一次上傳自稱打算殺人的視頻時，AI賦能的軟體會立即「觀看」該視頻，並將其標記為高優先順序。這個標記會提醒Facebook人工審核團隊，看到直接和可怕的威脅，刪除視頻，關閉斯蒂芬斯的帳戶，並通報當局。

這並未發生。根據Facebook全球業務副總裁Justin Osofsky的聲明，根本沒有人標記第一個預告殺人的視頻，而第二個謀殺視頻在斯蒂芬斯上傳超過一個半小時之後才被標記。Osofsky還表示，從該視頻用戶標記出來，Facebook審核人員花了23分鐘就把它拿下。

但問題仍然是當前的工作流程。AI還不夠聰明，無法識別第一個視頻中的危險因素，甚至第二個視頻顯示的謀殺案。AI需要處理斯蒂芬斯的語言，解析其言論和語調，以區別於玩笑或表演，並認真對待威脅。「有這方面的技術，但不清楚它們整合深度學習框架並能高效運行。而且由於缺乏常識，系統還犯一些愚蠢的錯誤，」LeCun說，「所有人和動物都在都學習常識，但機器現在還搞不懂。」

Facebook知道他們需要AI學習這些，他們在這方面投入巨資，並已在計算機視覺更適合的領域- 即兒童色情、裸露和版權侵犯，採用演算法來幫助他們標記可疑的內容。Facebook CEO馬克·扎克伯格（Mark Zuckerberg）表示，現在Facebook上有一半的標記來自AI而不是人，Facebook正在開發新技術，增加社區的能力。

但扎克伯格也意識到，審核人員現在必須繼續與AI合作，斯蒂芬斯上傳的視頻就是一個很好的警示。扎克伯格在舊金山F8開發者大會上直接提到了這一爭議。「我們還有更多的事要做。我們被克利夫蘭的悲劇提醒了這一點，」他告訴參會者，「我們有很多的工作，我們將繼續竭盡全力防止這樣的悲劇發生。」

訓練一台電腦識別此類暴力比要求它發現一個赤裸裸的身體要困難得多。這很像假消息的鑒別：它需要對上下文暗示和格式的複雜理解。

當前實用選項

由於訓練能夠簡化流程的神經網路尚需時日，Facebook需要立即對其審核流程進行調整，否則公司在近期與暴力視頻的對抗中仍將被動。Osofsky在斯蒂芬斯事件後發表聲明說：

由於這一可怕的系列事件，我們正在審查我們的舉報流程，以確保人們能夠儘可能容易地、快速地舉報違反我們標準的視頻或其他內容。

這意味著更容易地標記高優先順序的內容，增加更多的審核人力，和更快的工作節奏。而這些人的審核人員將不得不繼續訓練AI，這本身就需要很長時間。訓練AI有效識別令人反感的內容，需要大量的樣本來學習。所以Facebook首先需要給機器提供足夠的打標籤的數據，而這需要很多審核人員觀看無數次的暴力畫面和威脅語言，這個艱巨的工作也需要時間。事實上，扎克伯格已經宣布計劃明年僱傭超過3000人來審核和刪除Facebook上包含殺人、自殺以及其他暴力行為在內的內容。並且Facebook設立了黑名單，4500個違反Facebook反暴力規則的用戶，將不能進入這個招聘流程。

當考慮到Facebook Live時，挑戰會更大。直播視頻很難控制，這就是為什麼有些人要求Facebook徹底放棄其Live功能。但這不現實，該公司去年推出此功能的本意就是與其他直播服務競爭。此外，這項服務已經具有對抗暴力事件的另一面。去年，在美國警方槍殺黑人菲蘭多·卡斯蒂利亞（Philando Castile）之後，後者的女朋友用Facebook Live來捕捉射殺的後果，本質上是使用流媒體服務作為發送全球SOS的一種方式。

利哈伊大學新聞與傳播助理教授傑里米·萊托（Jeremy Littau）表示，不管出於好的或是不好的原因，即時視頻和直播視頻已被廣泛接受。

Facebook必須與這個現實競爭。

除了放棄Live之外，Facebook可以像對待其他功能如廣播網路一樣對待Live，堅持所有視頻都要延遲。然而由於上述原因，除非有人或某些東西來監控每個視頻，否則這種延遲將不會有太大的用處，而這目前還不可能。

Facebook可以做的一件事是使得從Facebook下載視頻變得更加困難，類似於Instagram（已被Facebook收購）的機制。這能阻止第三方網站抓取並重新分發像斯蒂芬斯4月16日上傳的視頻。這樣一個小小的調整，不會影響Facebook成為網友首選的上傳視頻平台，但可以防止視頻被上傳到其他地方，並成為互聯網上永遠難以消除的記憶。

總結

社交媒體公司和用戶在收穫視頻尤其是直播功能帶來愉悅的同時，也面臨不守規則的用戶濫用平台功能傳播暴力內容的嚴重威脅。由於問題的複雜性，以及缺乏足夠的樣本數據，目前先進的人工智慧技術水平也還不能很好地幫助社交平台自動發現和移除暴力內容，Facebook除了優化舉報流程，限制視頻內容的二次分發，必須採用人肉的方式對抗這種威脅。這也意味著數目龐大的運營成本。毫無疑問企業未來需要訓練人工智慧演算法來配合審核團隊更高效地完成這項工作，Facebook正在為此努力。人工智慧確實具有這樣的潛力，然而沒有人能預測這會發生在什麼時間。為了讓這一天早日來臨，人工審核團隊還需要儘快餵給機器足夠多的標記數據。

素材來源：

AI Isn』t Smart Enough (Yet) to SpotHorrific Facebook Videos

本文由網易雲安全（易盾）團隊根據Wired網站素材AI Isn』t Smart Enough (Yet) to Spot Horrific Facebook Videos 原創編譯，轉載請註明出處。

*本文作者：網易雲安全（易盾）團隊，轉載請註明FreeBuf.COM

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！