認知心理學與人工智慧的交叉：情感計算綜述

科技 06-17

人工智慧學家

作者：劉偉博士

認知科學與心理學->認知科學

摘要

情感計算作為一個全世界範圍內的學術熱點，研究方向遍及心理學、生理學、神經科學、語言學、醫學、社會學等學科。情感計算的研究使形式化的機器更加形象化，是實現自然人機交互的前提。本文結合近幾年情感計算的國內外研究，基於新的層面對主要研究以及最新應用進行了歸納總結，並就情感計算進行深度探究，使更多研究人員了解情感計算最新研究方向。

一．引言

大約半個世紀前，美國心理學家「認知心理學之父」奈瑟爾（Neisser Ulrich）描述了人類思維的三個基本和相互聯繫的特徵，這些特徵在計算機程序中也明顯存在著：「1.人類的思維總是隨著成長和發展過程積累，並且能對該過程產生積極作用；2.人的思想開始於情緒和情感的永遠不會完全消失的密切關係中；3.幾乎所有的人類活動，包括思維，在同一時間的動機具有多樣性而不是單一的」。Herbert A. Simon在表達了相似的觀點。儘管情緒和情感是人類日常生活中的基本組成部分，但缺乏情感交互的技術是另人沮喪的，它在技術層面實現自然的人機交互仍是一個亟需解決的問題。目前，情感計算越來越受到研究者的重視。類似研究，有人工情感（artificial emotion，AE）、感性工學（kanseiengineering, KE）、情感神經學（affectiveneuroscience）等。明斯基在他的著作和論文中強調了情感方面，大量關於數據手冊涉及情感神經科學、情感心理學等方面。IEEE Transactionon Affective Computing（TAC）跨學科、國際化期刊、Affective Computing and IntelligentInteraction (ACII) 學術會議等學術支持鼓勵研究者們對識別、詮釋、模擬人類情緒和相關情感方面的研究的突破和創新。

二．情感及情感計算

2.1 情感相關概念的界定

情感( emotion) 一詞源於希臘文「pathos」，最早用來表達人們對悲劇的感傷之情。達爾文（Darwin）認為，情感源於自然，存活於身體中，它是熱烈的、非理性的衝動和直覺，遵循生物學的法則。理智則源於文明，存活於心理。《心理學大辭典》中定義「情感是人對客觀事物是否滿足自己的需要而產生的態度體驗」。馬文明斯基認為情感是思維的一部分。史蒂芬平克也持有這樣的觀點，即「情感是被當作非適應的包袱而被過早的註銷的另一部分心智」。Damasio 在他的神經生物學的研究結果的基礎上將情感至少分為兩類，即原發性情感和繼發性情感。原發性情感這類情感被認為是與生俱來的，被理解為一歲兒童情感這種典型的情感類型，繼發性情感被假設為從更高的認知過程中產生。而Russell則從兩個方面構造情感：核心情感和心理建構，前者表示神經系統的狀態，如昏昏欲睡；後者錶行動，如面部表情、音調，以及行動之間的關聯。由於情感的複雜性，研究情感的相關學者對情感的定義至今也未達成一致，記載的相關理論就有150多種。

而「emotion」一詞由前綴「e」和動詞「move」結合而來，直觀含義是從一個地方移動到另一個地方，後來逐漸被引申為擾動、活動，直到近代心理學確立之後，才最終被詹姆斯（William James）用來表述個人精神狀態所發生的一系列變動過程。Picard曾在其書中專門對情感和情緒方面術語進行了區分，她認為相對情感而言，情緒表示一個比較長的情感狀態。情感影響我們的態度、情緒和其他感覺、認知功能、行為以及心理。同時情感容易在多次情緒體驗的基礎上實現，當人們多次覺得完成一項任務很高興，就會愛上這個任務。相比情緒而言情感更具有深刻性和穩定性。在自然語言處理中，Myriam D等人結合韋氏字典以及他們的相關研究得到的結論是，在語言中情感是無意識的，並且很難將其定義，從文本中可以檢測到的是有意識的情感，是情緒表徵。而情緒這一複雜心理學現象幾乎不能從文本中全部檢測出，能檢測到的是情緒的構成因素。許多關於情感計算的研究並沒有完全區分情緒和情感（包括本文引用的大部分論文），為與情感計算研究領域保持一致，本文除在此處對情感和情緒進行區別說明外，儘可能的統一使用情感一詞。

2.2 情感計算

情感計算最早起源於美國MIT 媒體實驗室皮卡德（Picard）了解Richard Cytowic的一本關於聯覺的書《The Man Who Tasted Shapes》。Cytowic在書中提出感知一定程度上由大腦邊緣系統處理，這個部分處理注意、記憶和情感。1995年情感計算的概念由Picard提出，並於1997年正式出版《Affective Computing（情感計算）》。在書中，她指出「情感計算就是針對人類的外在表現，能夠進行測量和分析並能對情感施加影響的計算」，開闢了計算機科學的新領域，其思想是使計算機擁有情感，能夠像人一樣識別和表達情感，從而使人機交互更自然。

當然，和眾多的科學研究領域一樣，並不是所有的研究者都同意Picard的想法。這些支持者Sengers、Gaver、Dourish和Kristina Hook借鑒現象學並且把情感看作人與人、人與機互動中的成分。情感互動方法認為應從一個對情感建設性的、人文決定性視角展開，而非從認知和生物學這一更傳統的角度出發，這種方法將重點放在使人們獲得可以反映情感的體驗並以某種方式來修改他們的反應。

三．情感計算的探究

3.1 情感複雜性的探究

（1）. 外在複雜性的探討。

相比其他情感表徵（手勢、步伐、聲音等）面部表情是最容易控制的。面部表情是人臉上不同情緒的反應，實際上表達情緒時是臉部、眼睛或皮膚肌肉位置的變化。對情感最容易理解的是坦率的面部表情，然而不同國家的人面部表情各不相同。相對於其他國家，亞洲人民的面部表情強度比較低。因為在亞洲文化中，臉上表現出一些特殊情緒是不禮貌的。展現出消極情緒會影響社會的和諧。這也印證了早期埃克曼證明了文化的最大不同在於，如何在公共場合表達情緒。他偷偷拍攝了美國留學生和日本學生觀看一次原始成年人禮的可怕畫面的表情。如果穿白大褂的實驗人員對他們進行集體訪談，日本學生會在看到令美國學生嚇得往後退縮的場景時仍禮貌的面帶微笑。當被試們單獨呆在房間里時，日本留學生與美國學生面部表情都是同樣恐懼的。對於外在複雜性，研究者採用的方法多為多模態結合，額外信息疊加、以及結合與時代同步的科技產品方法等來提高識別率。

Beaudry, Olivia等人的設計實驗澄清六種基本情感識別中眼睛（眉毛）和嘴巴區域的作用，並得出的結論是對於所有的情緒，面部表情識別過程不能被簡化為簡單的特徵或整體處理。新加坡國立大學電氣工程系的Gu W等人利用人類視覺皮層（HVC）和徑向編碼來提高性能，並提出混合面部表情識別框架。此面部表情的識別框架也可以應用到體態識別，並且還可以從圖像提取出一些額外的信息如：用戶的年齡、性別。

但是人與人之間的情感交互是複雜的，單一的感官得到的數據是模糊的、不確定的、不完備的。因此研究人員們應用多種方式識別情感狀態，20世紀90年代最初的方式是融合視覺（面部表情）和音頻（音頻信號）的數據，多種方式整合提高識別精度，使情感計算相關研究更可靠、更有效。陳等人嘗試身體姿勢和面部表情識別混合模型，基於澳大利亞悉尼科技大學的人臉和身體姿勢（FABO）雙模資料庫，實驗中選擇了284個視頻，這些視頻包含了基本表達（嫌惡、害怕、高興、驚訝、悲傷、生氣）和非基本的表達（焦慮、無聊、困惑、不確定）。實驗框架主要分為五部分：面部特徵提取和表示，身體姿態特徵提取和表示，表達時間分割，時間歸一化，表達分類。

身體姿勢交流同面部表情都屬於非語言交流的方式。越來越多不同學科的研究已經表明，在傳達情感方面，身體的表達像面部表情一樣強大。40個用戶通過三個不同的界面（介面）觀看智能電視，遠程控制器、姿勢識別、語音識別系統和表情識別系統。情感計算提取人體手勢的特徵來識別用戶的情緒。同時，虛擬現實（Virtual Reality，VR）技術的發展，人機交互中肢體的參與度也逐漸增大，身體姿勢不僅控制我們和遊戲之間的互動，還會影響我們自己的情緒。藍眼睛（BLUE EYES）技術，「藍」代表實現可靠的無線通信的藍牙，「眼睛」是由於眼睛運動是我們獲得更多有趣和重要的信息。藍眼睛技術主要用於：視覺注意監測；生理狀態監測（脈搏率，血氧）；操作者的位置檢測（站立，卧，坐）。在這項技術中，檢測到人的表情，捕獲圖像，並且提取顯示眼睛的部分。

（2）內在複雜性的探討

文本句子中每一個形容詞、動詞、或者僅僅是一個字都可以表達情感狀態。筆記分析技術不僅可以通過書寫者的情感輸出分析筆記特徵如：基線、傾斜、筆壓、大小、邊緣區。它還可以揭示書寫者的健康問題、道德問題、過去的經歷、精神問題以及隱藏的才能。Sofianita Mutalib等人發現筆記分析在某種程度上幫助我們理解書寫者本人的行為、動機、慾望、恐懼、情感投入等多方面。史偉等通過構建情感模糊本體,計算文本影響力等,對微博公眾情感進行一系列分析,發現公眾對於突發事件的情感表達與政府對於事件處理方式和手段有密切關係。使用任何文字表達情感是受文化影響的，文化在情感文本表達中的作用這一問題需要自然語言研究者們創造更強大的檢測演算法。

戴維森（R J Davidson ）在2002年領導的團隊，情感體驗並不是簡單地發生在我們的頭腦中，我們的整個身體都在感知著它們。例如，我們的血液中激素變化，傳達到肌肉的神經信號緊張或放鬆，血液流到身體的不同部位，改變了身體的姿勢、動作和面部表情。我們身體的反應也會反饋到我們的大腦中，創造了可以反過來調節我們思維的經驗，這也反饋到我們的身體上。隨著科技的發展，許多數據可以從互聯網和智能手機獲得。一個典型的智能手機包含多個感測器等內部運動（加速度計）、環境光、陀螺、手勢、磁強計、溫度和濕度和氣壓計。常見於智能手機的通信介面，Wi-Fi、GPS、近場通信（NFC）、藍牙和紅外（IR）的LED。許多額外的感測器可用於生理測量。Jorge Alvarez-Lozano等研究人員通過捕獲包括輸入和輸出呼叫頻率、持續時間和聯繫人的詳細信息等智能手機的活動，分析患者的行為變化。測量上網活動包括：搜索查詢、瀏覽網頁、網站類型、廣告選擇和電子商務史等。用戶創建的數據，如電子郵件，簡訊（簡訊），社會媒體，或博客的內容可以分析[。此外，元數據（信息的信息）是由一個智能手機或互聯網，其中包括帳戶號碼，登錄用戶名，密碼，瀏覽器類型，網路地址，網頁訪問，日期，時間，電子郵件發送者和接收者，餅乾，設備的指紋。Kaveh Bakhtiyari等人認為在處理面部表情、人的聲音或人的姿勢時，有些權衡識別精度和實時性能的方法，像自然語言處理（NLP）和腦電圖信號（EEG）這些方法在實際應用中缺乏效率和可用性。因此提出了使用方便和低成本的輸入設備，包括鍵盤、滑鼠（觸摸板、單觸摸）和觸屏顯示器[45]。該系統通過人工神經網路（ANN）和支持向量機（SVM）技術開發和訓練監督模式。結果表明，與現有方法相比，該方法通過svm增長6%的準確度（93.20%）。對於情感識別、用戶建模和情感智能都起到了突出貢獻。

3.2 情感計算的最新應用探究

近幾年研究者們嘗試了各種各樣的方法和技術來識別用戶的情感，一些主要的方法和技術有：面部表情識別、姿態識別、自然語言處理、人體生理信號識別、多模情感識別、語音識別。人機情感交互則包括人臉表情交互、語音情感交互、肢體行為情感交互、文本信息情感交互、情感仿生代理、多模情感交互。情感仿生代理使計算機增強表現力和親和力，情感智能系統可以根據人的情感進行回饋，並且使人和計算機的交互更加自然。

全世界學多實驗室都在積極的對情感計算相關技術進行研究，本部分總結近三年國內外情感計算主要的應用研究。2014年MIT實驗室的AutoEmotivethe通過安置在機器比如汽車上的硬體設備（如相機等）結合基於程序語言的語音識別應用、可穿戴設備（對當前情緒進行實時調節），尤其是面部識別演算法，獲取一系列情緒指標，彌補獲取生理信號類的感測器的不足，探索情感感知與機器連接的潛力。Affectiva公司的Affectiva使用計算機視覺和深度學習技術分析面部（微）表情或網路上視覺內容中非語言的線索，基於積累的龐大數據存儲庫，學習識別更複雜的系統，將情感人工智慧引入到新的科技領域，尤其是機器人、醫療、教育和娛樂，並展望將此系統用於通過檢測癲癇病患者的情感信號來做好發病前的預測以進行防護準備等。2015年閱面科技推出了情感認知引擎：ReadFace。由雲（利用數學模型和大數據來理解情感）和端（SDK）共同組成，嵌入任何具有攝像頭的設備來感知並識別表情，輸出人類基本的表情運動單元，情感顆粒和人的認知狀態，廣泛應用於互動遊戲智能機器人（或智能硬體）、視頻廣告效果分析、智能汽車、人工情感陪伴等。國內大學中哈爾濱工業大學機器人技術與系統國家重點實驗室實現語音情感交互系統，提出了智能情感機器人進行情感交互的框架,設計實現了智能服務機器人的情感交互系統。北京航空航天大學基於特徵參數的語音情感識別並能有效識別語音情感。中國科學技術大學基於特權信息的情感識別，提出了融合用戶腦電信號和視頻內容的情感視頻標註方法,以某一模態特徵為特權信息的情感識別和視頻情感標註方法。清華信息科學與技術國家實驗室，中國科學院心理研究所行為科學院重點實驗室基於生理大數據的情緒識別研究進展，針對使用DEAP資料庫(用音樂視頻誘發情緒並採集腦電及外周生理信號的公開資料庫)進行情緒識別的16篇文章做了梳理;對特徵提取、數據標準化、降維、情緒分類、交叉檢驗等方法做了詳細的解釋和比較。

四．情感計算的深度探究

現在已實現的情感計算大部分原型情感的識別來源單一。資料庫本身存在短板[54]，如訓練分類的樣本數少，體態識別大多依賴於一組有限的肢體表達（跳舞、手勢、步態等），只關注內部效度而缺少外部效度的認可效。因此識別方面，未來研究應在情感分類方面繼續努力，創建新的資料庫，等特別是嬰幼兒及兒童資料庫的建立。

神經科學方面，人類大腦情感過程的神經解剖學基礎極其複雜並且遠未被理解，因此該領域還不能為開發情感計算模型提供充足的理論基礎。

人機交互或人與人交互過程中，人的情感變化是變速的。雖然皮卡德（Picard）在《情感計算》一書中分別用兩個比喻將情感複合分成兩類：微波爐加熱食物時開關間斷循環與冷熱水混合。兩者通過不同方式的複合使物體達到「溫」的狀態，前者類似於「愛恨交加」情感對的情感狀態，後者類似於Russell等人的環形情感模型中的愉快與低強度結合為輕鬆這種新狀態。但基於不同情境下的情感複合遠不止這兩類。以動態的數字平台將這種做成模型很難實現和驗證，因為情感的輸入、輸出應該在不同的情境下產生和測試。

目前國外已經有一部分研究者開始關注深度情感計算方面的研究，如Ayush Sharma等人利用語言數據聯盟（Linguistic Data Consortium，LDC）中的情緒韻律的語音和文本，基於交叉驗證和引導的韻律特徵提取與分類的深層情感識別。隨著後續情感方面的深度研究，多模型認知和生理指標相結合、動態完備資料庫的建立以及高科技智能產品的加入等成為情感計算相關研究的一個趨勢，從而更好地實現對用戶行為進行預測、反饋和調製，從而實現更自然的人機交互。

來源：科學網，作者授權

歡迎報名6月28日創新項目微信群展示，近百位著名投資人關注

第一期「創新項目與風險投資家見面會」將在6月28日舉行，AIE實驗室歡迎創新科技項目負責人屆時參加風險投資家微信群項目路演，報名請點擊本文左下角」閱讀原文「

AIE實驗室邀請近100位著名風險投資家和天使投資人加入創新項目展示群，其中包括高榕資本合伙人張震、英諾基金創始合伙人李竹、峰瑞資本創始人李豐、真格基金創始人徐小平、360公司創始人周鴻禕、獵豹移動CEO傅盛、軟銀賽富投資基金合伙人羊東、老鷹基金創始人劉小鷹、前北京聯眾總裁，著名天使投資人鮑岳橋、羅輯思維創始人羅振宇、美團網創始人兼CEO王興、諾基亞成長基金董事總經理及合伙人鄧元鋆、紫牛基金合伙人張泉靈、金沙江創業投資基金合伙人朱嘯虎等人。

創新項目獲得風險投資關注

報名請點擊本文左下角」閱讀原文「

人工智慧學家Aitists

人工智慧學家是權威的前沿科技媒體和研究機構，2016年2月成立人工智慧與互聯網進化實驗室（AIE Lab)，重點研究互聯網，人工智慧，腦科學，虛擬現實，機器人，移動互聯網等領域的未來發展趨勢和重大科學問題。

長按上方二維碼關注微信號 Aitists

投稿郵箱：post@aitists.com