一個八卦的AI，嗅到了你和TA之間基情滿滿

郭一璞 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

人類，天生就有八卦嗅覺。

比如匡扶正義的偵探組合：

就非要YY成CP。

明明是亞瑟王和梅林大法師的中古傳奇：

還是要YY成忠僕小法師保護二缺王子的基情故事。

明明是江戶時代正經武士：

還是要臆測人家的性取向。

可能是遺傳了人類父母的八卦天分，機器們也學會八卦了。一項中山大學人機物智能融合實驗室與商湯科技合作的研究，就讓機器學會了判斷照片中人物的社交關係。

換句話說，把你和你基友或女友的合照拿給AI看，它就可以判斷出：

這兩個人，關係不一般呦。

同學哪個班的？早戀要叫家長的哦

比如下面這張圖：

這三個男人是什麼關係？

他們系著領帶，旁邊拜訪著書籍資料，一側還有電腦的鍵盤，中間那位笑的那麼不自信，肯定是傳說中的乙方跪舔甲方了。

AI沒有那麼加戲，淡定的說：professional，職業關係。

畢竟，萬一它把老闆認錯了，那就十分尷尬了。

而在這幅照片中，AI發現主角是兩女一男，他們面前有酒瓶，有酒杯，彷彿是朋友在聊天。

但後面不同了，背景居然是一張大床，看來，三位主角是在卧室旁邊的陽台上了。

所以AI很淡定的給出了判斷：family。

無知者無畏，也不知道這兩位女士和一位男士組成了怎樣的一個family。不過，AI同學開放的心態值得我們這些車技不好的人類學習。

數據集：人類社交啟蒙

既然要讓機器理解人類的「基情」，首先就需要一位啟蒙者告訴機器：

什麼是基情？

鑒於這是一個讓人十分難以開口的哲學問題，那我們就把這個問題交給數據集老師，反正它們沒有意識，下限比較低。

所幸的是，在這項研究之前，就有許多AI和心理學界的老司機對「人與人的關係」這一話題進行過探討，給我們留下了許多充斥著哲理的社交關係探討，還有成千上萬的數據。

比如，心理學研究者Daphne Blunt Bugental在2000年就將人與人的社會關係分為了五個大類和16種關係，並且貢獻了社交關係數據集PIPA，請注意，是PIPA，不是papi醬。

在後來研究者們的努力後，PIPA有了26915個帶注釋的人物關係數據。

除了PIPA之外，另一個主要的數據集叫PISC，這可是上世紀的祖傳數據集了，是一位名叫艾倫·菲斯克的心理學家，在1992年根據人類的社會層級寫了一本書，叫做《社會性的四種基本形式：統一的社會關係理論框架》。

書中定義了3種粗略的社會關係和6種細分的社會關係，作者還順便搞了PISC數據集，包含22670個圖像，標註了覆蓋以上九種社交關係的96568對社交關係數據。

感謝這些心理學前輩，讓可愛的數據們「教壞」懵懂的AI。

讀懂關係：GRM+GGNN

現在，就該模型與神經網路登場了。

研究者們訓練了一個圖推理模型（Graph Reasoning Model，GRM），由該模型結合門控圖神經網路（Gated Graph Neural Network，GGNN）對社會關係進行處理。

研究者們設計了這樣一個流程：

GRM根據圖上人物區域的特徵來初始化關係節點，然後用預先訓練的Faster-RCNN探測器搜索圖像中的語義對象，並提取其特徵，初始化相應的對象節點；

之後GGNN負責計算節點特徵，通過圖傳播節點消息以充分探索人與上下文對象的交互，並採用圖注意機制自適應地選擇信息量最大的節點，以通過測量每個對象節點的重要性來促進識別。

把物品和關係編織在知識圖譜上

最終的研究成果需要變成知識圖譜上的結構化數據。

這份知識圖譜需要包含兩種內容：

社交節點，即酒瓶、床、書籍有社交場景意義的道具；還有社交關係，家人、朋友、同事還是情侶。

通過特徵向量計算後，逐步優化，在PISC數據集的基礎上，研究者得出了類似下面這樣知識圖譜：

可以看得出，該示例中的社交關係主要涵蓋夫妻/情侶、家庭、朋友、職場四種，而照片中可能出現的不同物品則對應著不同的社交關係，比如：

當烤箱出現，那八成是家庭關係；

當鍵盤出現，那肯定是在辦公室；

當汪星人出現，那要麼是一家人一起遛狗，要麼就是和朋友一起擼狗了；

……

效果

準備好了知識圖譜，就可以開始測試研究成果了。

這張圖上我們可以看到，人們身邊有電腦、水杯、背包、桌椅等物品；

經過知識圖譜判斷，電腦和背包兩個物品十分強烈的指向了工作場景，因此這張圖上人們的社交關係被判定為prefessional，像是年輕人像年長的專家請教問題。

而下面這張圖上，兒童與成人之間放慢了披薩和碗碟，雖然也有水杯、桌椅、書籍這些非明顯家庭特徵的物品存在，但憑藉披薩和碗碟，還有桌子上的肥宅快樂水，圖上的三個人這麼能吃，一定是一家人。

後來研究者們把測試數據做了一下匯總，整體的成績高過了此前的研究。

研究者用每類召回率（per-class recall）和平均精度（mAP）來判斷效果，從數據上來看效果不錯。

在PISC數據集上，根據各類的recall，在親密、非親密、沒關係3個社交關係大類上，研究者的新方法對比舊方法2:1勝；在6種細分社交關係上，新舊方法3:3平手。

與原來的方法相比，這種新方法更擅長識別「朋友」、「職業關係」和「不不不我們什麼關係都沒有」。

而根據mAP數據，新方法完勝。

PIPA數據集的效果也不差，比該數據集上此前的兩個方法都高。

研究者：林倞教授團隊

這篇論文有6位作者，其中5位來自中山大學數據科學與計算機學院下屬的人機物智能融合實驗室，另一位作者是商湯科技研究院研發總監任思捷博士。

論文的共同一作陳添水博士是林倞教授的學生，在實驗室官網的人員名單中，他被排在了第一位，估計也是林教授的得意門生了。

其實另一位共同一作Zhouxia Wang也在上面

這已經是陳添水博士的第三篇IJCAI了，此前他還發過兩篇AAAI和一篇ICCV，還拿過ICME 2017 World』s FIRST 10K Best Paper Award—Diamond Award。

另外，陳添水博士還在h-index排名183的香港理工大學張磊教授手下做了一年的研究助理。

說到這裡，就不得不提一下人機物智能融合實驗室教授林倞了，他不僅是這個實驗室的負責人，還是商湯科技首席研發總監，入選了第三批國家「萬人計劃」青年拔尖人才建議人選名單。

林倞教授，圖片來自中山大學網站

論文傳送門

Deep Reasoning with Knowledge Graph for Social Relationship Understanding

作者：Zhouxia Wang, 陳添水, 任思捷, 余偉浩, 成慧, 林倞

發表於IJCAI 2018

arXiv: https://arxiv.org/abs/1807.00504

github: https://github.com/HCPLab-SYSU/SR

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！