MIT研究：開發機器學習模型使計算機更自然地解釋人類情緒

編譯：chux

出品：ATYUN訂閱號

麻省理工學院媒體實驗室的研究人員開發了一種機器學習模型，它使計算機更接近於像人類一樣自然地解釋我們的情緒。

在「情感計算」這個不斷發展的領域，研究人員正在開發機器人和計算機來分析面部表情，解釋我們的情緒，並做出相應的反應。例如，應用程序包括監控個人的健康和福祉，衡量學生對課堂的興趣，幫助診斷某些疾病的跡象，以及開發機器人伴侶。

然而，面臨的挑戰是人們根據許多因素表達情緒的方式完全不同。在文化，性別和年齡組中可以看到一般差異。但是其他差異甚至更細微：一天中的時間，你睡了多少，甚至你對會話夥伴的熟悉程度都會導致你在某一特定時刻表達的快樂或悲傷的微妙變化。

人類的大腦本能地捕捉到這些偏差，但機器卻很困難。近年來開發了深度學習技術以幫助捕捉微妙之處，但它們仍然不儘可能準確或適應不同人群。

媒體實驗室的研究人員開發了一種機器學習模型，該模型在捕捉這些小的面部表情變化方面優於傳統系統，可以在經過數千張面部圖像訓練後更好地衡量情緒。此外，通過使用一些額外的訓練數據，這個模型可以被改編成一個全新的群體，具有同樣的功效。其目的是改進現有的情感計算技術。

媒體實驗室研究員兼合作者Oggi Rudovic在一篇描述該模型的論文中提出，「這是監控我們心情的一種不引人注目的方式，如果你想要具有社交機器人，你必須讓它們聰明，像人類自然地回應我們的情緒和情緒。」該論文於上周在機器學習與數據挖掘會議上發表。

該論文的共同作者是：第一作者Michael Feffer，電氣工程和計算機科學的本科生；Rosalind Picard，媒體藝術和科學教授，情感計算研究小組的創始主任。

個性化專家

傳統的情感計算模型使用「一刀切」的概念。他們訓練一組圖像描繪各種面部表情，優化功能，例如唇部在微笑時如何捲曲-並將這些一般特徵優化映射到整個新圖像集。

相反，研究人員將一種稱為「專家混合」（MoE）的技術與模型個性化技術相結合，這種技術幫助從個體中挖掘出更細粒度的面部表情數據。Rudovic說，這是第一次將這兩種技術結合起來用於情感計算。

在MoE中，許多稱為「專家」的神經網路模型都經過訓練，專門從事單獨的處理任務併產生一個輸出。研究人員還納入了一個「gating network」，它可以計算出哪位專家能夠最好地檢測看不見的目標的情緒。「基本上，網路可以在個體之間辨別並判斷"這是給定圖像的最合適的專家"，」Feffer說。

對於他們的模型，研究人員通過將每個專家與RECOLA資料庫中的18個單獨視頻錄製中的一個進行匹配來對MoE進行個性化，RECOLA資料庫是人們在為情感計算應用設計的視頻聊天平台上進行交談的公共資料庫。他們使用9個科目訓練模型，並在其他9個科目上對其進行評估，所有視頻都分解為單獨的幀。

每個專家和gating network在剩餘網路（「ResNet」）的幫助下跟蹤每個人的面部表情，在這樣做時，模型基於效價水平（愉快或不愉快）和喚醒（興奮）對每個幀進行評分，常用度量來編碼不同的情緒狀態。另外，六名人類專家根據-1（低水平）到1（高水平）的等級標記每個框架的價值和喚醒，該模型也用於訓練。

然後研究人員進行了進一步的模型個性化，他們從剩餘的主題視頻的一些幀中提供訓練的模型數據，然後在這些視頻的所有看不見的幀上測試模型。結果顯示，只有5％到10％的數據來自新的人口，該模型大大優於傳統模型，這意味著它在看不見的圖像上獲得了價值和喚醒，更接近人類專家的解釋。

Rudovic說，這表明模型有可能從人口到人口，或從個人到個人，只有極少的數據。「這是關鍵，當你有新的人口時，你必須有辦法解釋數據分布的變化（如微妙的面部變化）。設想一個模型集來分析一種文化中需要適應不同文化的面部表情。如果不考慮這種數據轉移，那些模型將會表現不佳。但是，如果您只是從新文化中抽取一點來調整我們的模型，這些模型可以做得更好，特別是在個人層面。這是最能體現模型個性化重要性的地方。」

目前可用於這種情感計算研究的數據在膚色方面並不是很多樣，因此研究人員的訓練數據是有限的。但是，當這些數據可用時，可以訓練模型以用於更多不同的人群。Feffer說，下一步是將模型用更加多元化文化的更大數據集訓練。

更好的人機交互

研究人員說，另一個目標是訓練模型，幫助計算機和機器人自動從少量變化的數據中學習，以更自然地檢測我們的感受並更好地滿足人類的需求。

例如，它可以在計算機或移動設備的背景中運行，以跟蹤用戶的基於視頻的對話，並在不同的環境下學習細微的面部表情變化。「你可以讓智能手機應用程序或網站之類的東西能夠分辨出人們的感受，並提出應對壓力或疼痛的方法，以及其他對他們的生活產生負面影響的事情，」Feffer說。

Rudovic表示，「這也可能有助於監測抑鬱症或痴呆症，因為人們的面部表情往往因這些條件而微妙地改變。它能夠被動地監控我們的面部表情，隨著時間的推移，我們可以向用戶個性化這些模型，並監控他們每天有多少偏差偏離平均表情水平，並使用它關於福祉和健康的指標。」

Rudovic說，一個很有前途的應用是人機交互，例如用於教育目的的個人機器人或機器人，機器人需要適應這些機器人來評估許多不同人的情緒狀態。例如，有一個版本已被用於幫助機器人更好地解釋自閉症兒童的情緒。

貝爾法斯特女王大學心理學榮譽退休教授，情感計算學者Roddy Cowie,表示，麻省理工學院的工作說明了我們在這個領域的實際位置。「我們正發展可以開始使用的系統，包含人們的臉部圖片，從非常積極到非常消極，從非常活躍到非常被動的等級。一個人給出的情感符號與另一個人給出的符號不一樣，這很直觀，因此情感識別在個性化時效果更好是很有意義的。個性化的方法反映了另一個有趣的觀點，即訓練多個專家並匯總他們的判斷比訓練單個超級專家更有效。兩者結合在一起更令人滿意。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！