MIT新研究：用怪誕形狀和顏色，來讓VR里的朋友了解你的情緒

今年3月時Facebook曾透露，為了解決VR頭像缺乏生氣、不夠形象的問題，Reality Lab欲通過3D動捕技術來捕捉用戶準確的面部表情和情緒，打造逼真的動態VR頭像。從演示視頻中來看，其系統對誇張的人臉活動可實現準確捕捉，頭像外形與真人的相似度也很高。

當然以現有的技術，Facebook的這款頭像系統還難以普及，而且其對於細微表情的模擬可能也沒有那麼好。

發明者Bernal談原理

看起來，距離在VR中實現真正的「數字分身」還有很長一段距離，但這並不妨礙我們去嘗試。比如近期，美國麻省理工學院媒體實驗室流體界面小組的一名博士生Guillermo Bernal，他就依靠自己研發的VR情緒感知與表現系統Emotional Beasts獲得了該校年度Harold與Arlene Schnitzer視覺藝術獎第一名。

據了解，Bernal的研發成果其實是一個兩部分解決方案，首先，Bernal在VR頭顯上加入多個微型生物感測器，並配備一個情緒感知頭盔，接著，將感測器收集到的微動作數據傳輸給Emotional Beasts系統，轉化成在VR中可視化的色彩或紋理。

Emotional Beasts對於不同情緒的表現

Bernal希望通過Emotional Beasts來表達人的細微情緒，比如：即將生氣的樣子、忍不住衝動而尷尬的樣子、謹慎又好奇的樣子，不過這些面部情緒並不是通過對用戶表情的複製來完成，而是採用了獨特的方式。

從視頻和圖片來看，該解決方案不管是硬體外形，還是軟體畫風都足夠硬核，密集恐懼症、尖端恐懼症患者看了應該會很難受。至於為什麼要這麼設計呢，大概是出於對藝術和功能的考量，不過拋開它們鮮艷的色彩和華麗的外形，Bernal在該方案中加入了許多巧思，就讓我們一一來看看。

用於VR頭顯的感測器

添加定製感測器的HTC Vive

Bernal的情緒感知系統設計十分精密，他在一台HTC Vive VR頭顯加了一層搭載微型感測器的柔性印刷電路板，上面的感測器可識別大腦信號（EEG等）、皮電活動、聲帶和肌肉活動還加入紅外線眼球追蹤感測器，在頭顯的泡棉外面，他還加上了乾電極，用於檢測用戶額頭的皮膚張力，以及皮膚水分（是否出汗），這些數據可顯示出用戶是否情緒激動。太陽穴位置上的泡棉上還加入了心跳檢測器，而且Bernal還將Vive的麥克風加入了識別語氣的功能。

除了改造的頭顯，Bernal還研發了一種五顏六色的尖頂帽子（戴上去彷彿變成外星人），這款帽子的特點是非常柔軟，其搭載光學纖維，在識別到用戶活動後，會釋放不同圖案的LED光，供感測器識別。Bernal稱：帽子上LED燈的原理與神經網路從大腦中釋放微伏信號很像。

搭載光學顯微的布料帽子

關於Emotional Beasts系統

感測器在收集到大量信號後，會傳輸到運行特殊演算法的單片機中進行計算，為Emotional Beasts情緒表現系統提供用戶的多種信息，如：身體狀況、焦慮和壓力/興奮等級，並推算用戶行為和決定與生理狀態改變的關係。

接著，Emotional Beasts會通過開源的Unreal圖形引擎將這些情緒和身體數據渲染成3D可視化的人像紋理（看起來十分抽象），也就是說，VR虛擬形象的外觀採用根據情緒而變化的線條或外殼，比如：快樂和悲傷可通過線條收縮和顏色的變化來表達。同時，Bernal也提出通過3D顆粒來表現用戶情緒，VR形象外表的顆粒可通過顏色、亮度來顯示情緒指數（生氣的時候可變成紅色）。

關於挑戰與機遇

儘管Emotional Beasts的原理聽起來很酷，但人類的情緒本身十分複雜，這一點Bernal也承認，提高情緒識別和計算的準確性依賴大量數據支持。畢竟，並不是每個人表現情緒的方式都相同，就好比一個西方白人和一個亞洲中年女子，他們表達憤怒的方式肯定有很大區別，文化和地域對其有很深影響。

由於生物信息屬於用戶隱私，因此很難在市面上找到公開數據，因此Bernal計劃在今年夏天開發一款簡易版Emotional Beasts系統，供全球用戶測試。他希望通過這種方式，在獲得許可的情況下合法獲取人類情緒信息，創建一個全球情緒資料庫。

關於未來應用場景，Bernal認為除了VR社交，Emotional Beasts還可以結合AI系統，來識別早期精神疾病。的確，目前已經有公司在用VR頭顯來識別自閉症、阿爾茨海默症等.HoloLens聯合發明者Avi Bar-Zeev此前也表示：通過結合眼球追蹤、EEG、皮電反應、脈搏和血壓感測器，VR在情緒識別上也會大有作為。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！