谷歌、微軟、亞馬遜，哪家圖像API鑒黃能力強？

新智元報道

來源：Dataturks

編譯：三石

【新智元導讀】如今，網路中每天會產生海量的圖像文件，而對於這些圖片進行安全性鑒定是非常有必要的。很多公司都會使用圖像鑒定API對裸露或違法照片進行自動過濾和修改。本文便實現並比較了谷歌、微軟、亞馬遜等公司的鑒定API能力。

掃黃打非，刻不容緩！

在智能手機時代，手機上裝有一個、兩個甚至更多的攝像頭，圖像(和視頻)已經成為用戶與社交媒體互動的最常見方式。

幾乎所有用戶生成的內容，比如Yelp或TripAdvisor上的評論、Instagram和Facebook上的帖子、WhatsApp上的轉發等等，所有內容的圖片數量都在不斷增加。最近一項2017年的數據顯示，僅Facebook每天就會上傳大約3.5億張圖片。這個數量是非常龐大的。

如果你的網站或者APP允許用戶生成內容（UGC），例如評論、上傳可能帶圖片的帖子等等。但目前很現實的一個問題是，一個troll可以將帶有色情或者可怕的照片在你的網站上公開顯示，必定會帶來許多用戶的譴責，甚至可能會承擔相應的法律責任。

掃黃打非—手段是關鍵

公司處理這一類問題常見的方式是審核，在審核過程中，UGC的每個細節內容都要通過人工操作，然後才能在網站或應用中展示出來。許多公司僱用了數十名工作人員，他們日復一日地過濾這些UGC。然後公司聘用這樣的團隊，實際上不僅花費大量的金錢，而且效率也是很低的。

在過去的幾年裡，科技公司通過機器學習和使用ML演算法來檢測「有害」的內容，並自動調節UGC來應對這種威脅。最後機器無法自動分類或判別的內容，將交於員工進行人工操作。這就大幅度提高了效率。

開發、構建上述ML解決方案是一件非常困難的任務，所以像谷歌、微軟這樣的大型技術公司或Clarifai這樣的小公司都會提供api來幫助用戶完成這項工作。 由於大多數這些API提供了類似的功能，我們希望相互測試這些API的有效性，特別是用於檢測圖像中的成人或色情內容。我們比較了AWS rekognition、Microsoft moderation services、Google vision 和Clarifai的鑒黃API的性能。

明確任務—邁向成功的關鍵

將用戶上傳的「有害」圖片標記為含有成人或色情內容，以便僅批准安全圖像；

裸照等圖片會被自動刪除；

沒有明確分類的圖片會被發送給人工評估。

數據集介紹

我們使用了YACVID數據集的180幅圖像，其中90張圖像人工標記為非裸照，90張圖像為裸照。我們用這4個API分別去測試這180張圖像，並記錄它們的分類的情況。

數據集中的一個示例數據項

數據集中安全的示例圖像

實驗結果一覽

在測試這些API時，主要關注以下這些值：

真陽性（True Positive，TP）：給定一個安全照片，API鑒定結果也是安全的；

假陽性（False Positive，FP）：給定一個色情照片，API鑒定結果是安全的；

假陰性（False Negative，FN）：給定一個安全照片，API鑒定結果是色情的；

真陰性（True Negative，TN）：給定一個色情照片，API鑒定結果也是色情的；

理想情況下，人們肯定希望100% TP率和0% FP率。無論FP的值是多少，都是有害的，因為這有可能會在你的應用或網站上展現一些色情的圖像。而FN的值若是過高，則說明這個系統是無效的，便會導致一個企業投入更多的人力資源。

實驗結果如下表所示：

星標的表示集成使用API

最好的獨立API來自谷歌，精度為99%，召回率為94%。從表中可以看到，大部分API實驗結果都非常良好，數值都達到了90以上。但是考慮到問題的實際背景情況，即使準確率如此之高，但對於許多情況也並非是萬無一失的。

我們還試圖結合使用兩個或多個API來尋找解決問題的最佳方案。在我們的數據集中，似乎將Google和AWS API結合起來可以提供最佳性能。即便如此，仍有10%的安全圖片需要人工驗證才能共同構建出一個萬無一失的系統。

各個API介紹

Microsoft image moderation

這個API將色情圖像分類為「成人」或「猥瑣」，我們將這兩類都視為NSFW類。以下是一些錯誤地將安全圖片分類為色情類的圖片:

Google cloud vision

這個API將一個色情圖像分類為「也許」、「可能」、「非常可能」，這三類都被視作NSFW類。以下是一些錯誤地將安全圖片分類為色情類的圖片:

AWS Rekognition

這個API將一個色情圖像分類為「明顯裸露」、「裸露」、「暗示」，這三類都被視作NSFW類。以下是一些錯誤地將安全圖片分類為色情類的圖片:

Clarifai nudity moderation

這個API返回一個NSFW/SFW類的置信度值。該API將NSFW值大於或等於0.85的圖像分類為NSFW, NSFW值小於或等於0.15的圖像分類為SFW。而處於0.15到0.85範圍之間的圖像被視為未知狀態（因為召回率非常低）。以下是一些錯誤地將安全圖片分類為色情類的圖片:

The Black Swan

下面這張圖片，無論哪個API，都將其分類為NSFW，但都被人工分類為SFW。那麼問題來了，各位讀者，你們認為它應該屬於哪類呢？

其它因素

我們還測量了API響應時間，這是決定用戶選擇使用哪個API的一個因素。由於響應時間可能受很多因素的影響，因此下表的值只是一個大概數字，而不是實際值。下表的統計數據是在Ubuntu系統的筆記本運行試驗而得到的（每個API調用180次）。

需要注意的一點是，所有這些API都訪問了在Amazon S3上傳的圖像，AWS API在訪問S3映像時會有一定不公平的優勢，因此響應時間可能較短。

https://dataturks.com/blog/image-moderation-api-comparison.php

新智元AI WORLD 2018大會【早鳥票】

開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018 大會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

即日起到8月19日，新智元限量發售若干早鳥票，與全球AI領袖近距離交流，見證全球人工智慧產業跨越發展。

活動行購票鏈接：

http://www.huodongxing.com/event/6449053775000

活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！