谷歌新研究：捕捉眼睛區域推斷整個面部表情

前段時間，谷歌機器感知(Google Machine Perception)團隊與 Daydream Labs 和 YouTube Spaces合作，為混合現實提供了「頭顯摘除」解決方案，用機器學習重現被頭顯遮擋的臉，解決 MR 視頻的痛點。這項研究使用集成了眼球追蹤技術的頭戴顯示器，可以展現一個玩家豐富的面部表情。臉部表情是理解一個人在虛擬現實體驗情緒的關鍵，它傳達著重要的社交活動線索。

今天，我們提出了一種方法，通過分析臉部一小塊區域來推斷整個面部表情。具體來說，我們在虛擬現實頭顯中裝入紅外攝像頭，用於捕捉用戶眼睛區域，這足以推斷至少一部分面部表情，而無需使用任何外部攝像頭或額外的感測器。

請點擊此左邊：一個用戶戴著虛擬現實頭顯，使用眼球追蹤來進行表情分類。右邊：從監測到的眼睛圖像匹配我

我們使用深度學習來區分眼睛和周圍區域的面部表情，這些區域通常包括虹膜、鞏膜和眼瞼，還可能包括眉毛和臉頰部分。從這樣的新型感測器中獲取大量的數據是一項具有挑戰性的任務，因此我們收集了 46 個實驗對象的一系列面部表情訓練數據。

為了達成臉部表情分類，我們微調了 TensorFlow 的 Inception 變體，並在 Imagenet 上訓練了模型的權重。由於參與者的外貌差異，我們試圖在一定程度上消除這些差異。

我們已經證明了，這種方式對於各種面部表情的識別是可靠的，而且捕獲眼睛區域的這些信息可以通過使用基於 CNN 的方式進行解碼，即使對人類來說，僅從眼睛區域識別面部表情也是十分重要的。我們的模型可以實時進行推斷，並可以實時生成帶有面部表情的頭像，它可以用作虛擬現實用戶的社交表達的替代。這種交互機制還能產生一種更直觀的界面，例如在虛擬現實中分享表情，取代以前的手勢或鍵盤輸入。

目前的眼球追蹤技術可完全嵌入到消費者 VR 頭顯中，而無需額外的外部攝像頭，這種方式捕捉用戶面部表情是一個可以移動的解決方案。這種技術的發展超越了動畫卡通頭像，它可以用來提供更豐富的「頭顯摘除」體驗，通過更真實和更豐富的情感信息來增強虛擬現實的交流和社交活動。

VR科技網 「 www.vrsat.com 」公眾號「 VR_SAT 」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！