這麼多人，AI怎麼知道你說的是哪個？

夏乙 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

保安，保安！抓住那個砸玻璃的人！

對於人類保安來說，理解這個指令是自然而然毫無難度的事。但機器就不一樣了：它們能從畫面中認出人人人人人，但究竟哪一個才是「砸玻璃的人」呢？

李飛飛領導的斯坦福視覺實驗室即將在CVPR 2018上發表的一篇論文Referring Relationships，研究的就是這個問題。

這篇論文提出的「指稱關係」任務，是給計算機一個「主-謂-賓」結構的「關係」描述和一張圖，讓它能將主體（主語對應的那個東西）和客體（賓語對應的那個東西）定位出來。

比如說：

他們要讓計算機在這樣一個場景中，根據「person - kicking - ball（人在踢球）」這個描述，定位出「踢球的人」和「球」，根據「person - guarding - goal（人在守門）」這個描述，定位出「守門的人」和「球門」。

要正確圈出主體和客體，計算機內心需要經歷這樣一個過程：

如上圖所示，整個過程的第一步是用CNN提取圖像特徵，供演算法用來對主體和客體分別進行初步定位。

不過，不是所有的主體和客體都那麼容易找出來，比如說人很好識別，但球門就不一定了。幾位研究員所用的方法，是先找到主客體之間的關係，這樣只要定位出其中一個，就很容易找到另一個。

在這個過程中需要對謂語建模，也就是搞清楚 對主客體關係的描述。他們把謂語看作主體和客體之間的注意力移動，藉此找出主客體之間的關係。

從上面的流程圖我們也可以看出，根據主體和構建出來的關係描述，可以推斷出來注意力轉移到的區域，找到客體應該在的位置，並據此修改圖像特徵。也可以根據注意力轉移，從客體推斷出主體位置。這個過程，稱為predicate shift。

運用predicate shift過程在主體和客體之間反覆傳遞消息，最終就能將這兩個實體定位出來。

「某人在另一個某人的左邊」，這種描述中的兩個人，也可以用這種方法定位出來。

「拿著杯子的人」、「站在滑板上的人」等等也都沒問題。

李飛飛團隊在CLEVR、VRD和Visual Genome三個視覺關係數據集上評估了自己的模型，成績如下：

想要了解更多細節，請進入親自讀論文擼代碼環節~

論文：https://arxiv.org/abs/1803.10362

Keras+TensorFlow實現：https://github.com/StanfordVL/ReferringRelationships

根據斯坦福視覺實驗室主頁介紹，他們在CVPR 2018上總共發表了三篇論文，除了量子位今天介紹的這一篇之外，還有：

What Makes a Video a Video: Analyzing Temporal Information in Video Understanding Models and Datasets

De-An Huang, Vignesh Ramanathan, Dhruv Mahajan, Lorenzo Torresani, Manohar Paluri, Li Fei-Fei, and Juan Carlos Niebles

CVPR 2018 (spotlight)

Finding 「It」: Weakly-Supervised Reference-Aware Visual Grounding in Instructional Video

De-An Huang, Shyamal Buch, Lucio Dery, Animesh Garg, Li Fei-Fei, and Juan Carlos Niebles

CVPR 2018 (oral)

這兩篇論文的PDF版還未放出，量子位還會繼續關注噠。

作者系網易新聞·網易號「各有態度」簽約作者

—完—

活動推薦

點擊圖片或閱讀原文

即可獲取更多詳情

聯想高校AI精英挑戰賽，覆蓋全國28個省份、8大賽區和260所高校，經過在中科大、華中科技大學、清華大學、上海交通大學等8所AI領域具有頂尖優勢的理工科高校的半決賽路演，產生最終入圍總決賽的十支參賽隊伍，於3月29日在北京中國科學院計算技術研究所舉行全國總決賽。

加入社群

量子位AI社群15群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot6入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微信號qbitbot6，並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！