谷歌新競賽：在歐美長大的AI，也要認識亞非拉的生活
郭一璞 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
兩年前，谷歌的視覺識別AI曾經把黑人標成大猩猩，被世人diss了一番。
可見，當時那隻AI是多麼的眼光狹隘、沒見過世面。
於是，谷歌今年決定要「眾籌」一隻天生思維開闊、想像力豐富的AI，即使它只見過歐美人的生活，也要擴展到全球各地各種文化中去。
「眾籌」的方式是——辦一場包容性圖像挑戰賽（Inclusive Images Challenge），參賽隊伍只用北美的圖像數據集來訓練，之後來識別亞非拉等各國的照片，判斷照片上的事物。
這場比賽是谷歌和Kaggle及NIPS一起合辦的，是NIPS 2018 Competition Track的八場比賽（下圖）之一，比賽報名通道在Kaggle上，前五名優勝者可以參加NIPS的workshop環節，搶不到NIPS票的盆友可以考慮一下，還可以獲得每個團隊5000美元的參會基金，冠軍方法會被寫進NIPS出的書中。
如何「包容」？
這場比賽的「包容性」在於，訓練集和測試集來自來自不同的國家，不同的地方，有不同的文化背景。因此，能勝出的模型一定具有足夠的地理包容性。
參賽者可用的訓練集是Open Images數據集的一個子集，包含1,743,042個圖像，主要來自北美和歐洲。不允許使用外部數據，除了圖像之外，參賽者還可以利用維基百科文本數據來改進訓練。
而測試集則是來自谷歌的眾包項目，圖片由Crowdsource APP用戶全球各地拍攝並捐贈，另外還有一些付費承包商提供額外的圖像。因為訓練集圖像基本都來自歐洲和北美，所以測試集主要會是來自亞洲非洲和南美的圖像，至於是哪些國家嘛，比賽結束後會公布。
不過，由於需要在Kaggle上顯示實時的排名，這項比賽準備了Challenge Stage 1和Challenge Stage 2兩個測試集，前者用來給出Kaggle的排行榜，後者會留到最後才派上用場，作為最終成績的測試集，以此給出比賽排名，兩個不同數據集的地理分布會有所差別。
另外，為了保護個人隱私，測試集里所有的人臉都是打了馬賽克的。由於打了碼，模型在測試中的成績可能會略低，不過好在，所有參賽隊伍的模型都會受到馬賽克的影響，所以相對排名不變，不影響比賽公平性。
比賽規則
這場比賽可以組隊參加，每個團隊最多8個人，每天可以提交最多5個模型，不過最終只能用1個模型參加評比。
評估方式
比賽的成績評估是按照Mean F2分數來計算的，也就是beta值為2的F-score。
時間表
9月5日，比賽正式開始；
10月29日停止報名，同時停止組隊；
11月5日，比賽第一階段結束，上傳模型截止，未能在第一階段截止日期前上傳模型或模型不符合比賽規則的提交者可能會被取消第二階段的資格並從最終排行榜中刪除；
11月6日，比賽第二階段開始，新測試集登場；
11月12日，比賽第二階段結束，最終提交DDL；
11月26日，出結果；
12月3日-8日，前五名優勝者可以去參加NIPS了，另外關於本比賽的workshop會在NIPS的最後兩天舉辦。
注意這些截止日期都是UTC時間，比北京時間要晚八個小時。
模型資格要求
根據競賽規則，參賽隊伍提交的模型必須遵守這些要求，主辦方會驗證模型是否符合要求：
提交的唯一貢獻必須是建模技術（與新的輔助標記圖像數據集相對）；
最終提交必須僅包含機器生成的標籤；
具有最高提交要求的參賽隊伍將被要求提供使用其鎖定模型和允許的訓練數據來重現其結果的方法；
參賽隊伍可以使用比賽頁面上介紹的數據，不可使用其他數據訓練；
參賽隊伍不可以使用預訓練模型來熱啟動模型，或直接使用預訓練模型來訓練；
模型必須僅基於圖像輸入進行預測。在推理時，不允許將關聯的元數據（例如圖像ID或創建者的名稱）用作輸入。
500美元的計算資源福利
為了不讓貧窮的團隊被拒之門外，主辦方會給符合資格的前500名參賽者提供價值500美元的Google Cloud積分，可以作為本次比賽的計算資源。
只限前500哦，想參加的盆友抓緊時間。
傳送門
谷歌博客：
https://ai.googleblog.com/2018/09/introducing-inclusive-images-competition.html
Kaggle：
https://www.Kaggle.com/c/inclusive-images-challenge
NIPS比賽頁面：
https://nips.cc/Conferences/2018/CompetitionTrack
—完—
活動推薦
加入社群
量子位AI社群19群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；
此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。
進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。
TAG:量子位 |