用ARKit、iPhone X實時捕捉面部動畫，Unity推出Facial AR Remote

文章相關引用及參考：映維網

不僅對動畫創作有用，而且對於角色和混合形狀建模和Rigging同樣非常有用

（映維網 2018年08月14日）隨著ARKit和iPhone X開始支持Unity，開發者現在可以通過一套易於使用的工具來創建美觀且富有表現力的角色。這為江毅冰即將上映的動畫短片《Windup》探索了實時木偶操作的魔力。

Unity Labs和《Windup》團隊進行了合作，希望看看他們能在多大程度上推動Unity為電影角色實現實時捕捉面部動畫的能力。與此同時，Beast House FX的Roja Huchez在混合形狀的建模和Rigging上為他們提供了協助。

團隊的成果是Facial AR Remote，這是一種通過聯網設備直接在Unity編輯器中捕獲性能的低開銷方式。他們發現Remote的工作流程不僅對動畫創作有用，而且對於角色和混合形狀建模和Rigging同樣非常有用，其提供了一種在Unity中構建自家animoji或memoji類型交互的簡化方法。這允許開發者能夠在編輯器中迭代模型，無需構建到設備，從而消除了流程中耗時的步驟。

為什麼要構建Facial AR Remote

他們認為為電影項目構建新動畫工具存在一個新機遇，可以為Unity開啟實時動畫的未來。通過AR工具進行創作還有一個「酷炫的因素」，而且有機會繼續推進Unity的實時渲染。當基本掌握了在編輯器編輯來自手機的數據後，他們團隊及辦公桌周圍的每個人都馬上沉浸於操縱角色的樂趣之中。他們看到了這種技術的巨大潛力。最初的實驗很快證明了它既有趣又有用。這個項目迅速擴展到當前的Facial AR Remote和功能集。

團隊開始著手擴展項目，而Unity的目標是普及開發。他們希望圍繞AR混合形狀動畫的工具和工作流程能夠比當前的傳統動捕方法更容易使用和更容易獲取。Facial Remote允許他們構建為在編輯器中迭代混合形狀（無需只是為了瀏覽手機上的網格變化而構建新版本）構建了一定的工具。這意味著用戶能夠捕捉一位演員的面部並將其記錄在Unity中。這種捕捉可用作迭代和更新角色模型的固定點，或者將動畫重新定位到另一個角色，無需重新捕捉與演員的會話。他們發現這個工作流程非常適用於在角色表達和改進各個混合形狀。

Facial AR Remote的工作原理

Remote由客戶端手機應用程序組成，其中流式讀取器充當Unity編輯器中的伺服器。客戶端是一個輕量級應用程序，它能夠利用ARKit的最新功能，並通過網路將數據發送至Stream Reader GameObject上的Network Stream Source。藉助簡單的TCP/IP socket和固定大小的位元組流，他們將混合形狀，相機和頭部姿勢數據的每一幀從設備發送至編輯器。接下來，編輯器對數據流進行解碼，並實時更新rigged角色。為了消除因網路延遲引起的抖動，流式讀取器保留了歷史幀的可調緩衝區，以防編輯器落後於手機。他們發現這是一個重要的功能，可以保持預覽角色的流暢外觀，同時儘可能接近真正的演員姿勢。在較差的網路條件下，預覽有時會出現丟幀情況，但所有數據仍然會記錄來自設備的原始時間戳。

在編輯器方面，他們使用流數據來為預覽驅動角色，以及烘焙動畫片段。由於他們將來自手機的原始數據流保存到磁碟，因此可以繼續在角色上播放數據。由於保存的數據只是來自手機的原始數據流，他們甚至可以將動作重新定位到不同的角色。當你對數據流感到滿意時，你可以將數據流烘焙到角色的動畫片段。這很棒，因為它們可以像Unity中的任何其他動畫一樣使用你創作的剪輯來驅動Mecanim，Timeline的角色。

「Windup」動畫演示作品

隨著「Windop」的技術演示作品渲染完成，團隊能夠使用這些高質量的asset來開始他們的動畫探索。由於他們能夠相當快速地啟動和運行基線，他們有大量的時間來使用他們開發的工具迭代混合形狀。抖動，平滑化和形狀調整很快成為了項目的主要關注領域。通過計算幀速率之間的連接和幀處理中的延遲，以及從播放中移除相機移動，他們優化了用於抖動的解決方案。移除相機移動的能力確實能令用戶專註於捕捉混合形狀，並使他們能夠將手機安裝在支架上。

理解混合形狀並充分利用ARKit中的混合形狀錨點是最需要進行迭代的方面。從文檔中很難理解不同形狀的細節。最終表達的大部分都來自於角色的風格化，以及形狀如何以某種預期的方式結合在一起。他們發現，通過限制混合形狀變化對面部特定區域的影響，可以改善眼睛/臉頰斜視形狀和嘴部伸展等形狀。例如，臉頰斜視對下眼皮幾乎沒有影響，斜視下的眼皮對臉頰幾乎沒有影響。

利用Skinned Mesh Renderer中的信息來查看構成任何幀中表達的值，然後超頻或降頻這些值確實有助於實現混合形狀。他們能夠快速超頻或降頻當前的混合形狀，並且判斷混合形狀是否需要調整，以及調整的幅度。這有助於完成最困難的任務之一，亦即為正確的角色實現關鍵的姿勢，就像他們希望小女孩以特定的方式微笑一樣。能夠看到哪種形狀構成一個給定的姿勢真的很有幫助。在這種情況下，是左右拉伸的數量給出了最終的形狀。他們發現將手機提供的形狀視為小積木很有幫助，而不是說將其視為人類可以孤立地做出的某些面部姿勢。

在演示作品製作的最後，他們希望進行一項實驗來改善角色的部分動畫。藉助針對ARKit混合形狀的集體智慧，他們嘗試修改角色的基本中性姿勢。由於小女孩角色的風格化，他們認為角色的基本姿勢令眼睛過寬，臉上的基礎笑容過多。斜視混合形狀的效果同樣需要更好地考慮。事實證明，當測試中的某人閉上眼睛時，眯眼似乎總是介於60%-70％左右。對中性姿勢的改變帶來了回報，而且隨著所有其他工作的進行，你可以在演示作品中看到富有表現力和動態十足的角色。

未來

結合Facial AR Remote和Unity的其他工具，你可以無所限制地創建出優秀的動畫。無論是小孩子表演，然後錄製自己喜歡的角色並與朋友和家人分享，還是遊戲播客為他們的角色注入額外的生機，又或者是專業人士和業餘愛好者為直播製作動畫內容，不用多久任何人都能夠操縱數字角色。你可以下載Unity 2018，瀏覽Facial AR Remote在GitHub上的設置指南，然後馬上開始自己的探索。

文章《用ARKit、iPhone X實時捕捉面部動畫，Unity推出Facial AR Remote》首發於 映維網。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！