跨越恐怖谷—實時渲染的突破和虛擬角色的誕生

| 導語實時渲染的質量在當前已經有了巨大的進步，在虛擬人物實時渲染方面已經能做到以假亂真。本文帶領大家盤點技術演進的來龍去脈。

Siggraph 2017， Meet Mike展出，超高質量的眼睛渲染

找茬

下面兩組圖片，大家能猜出哪些圖片是真實照片，哪些圖片是虛擬人物，實時渲染的？

上排圖片都是在遊戲引擎中實時渲染的人物，而下排圖片都是預先拍攝的真實照片。

不知不覺間，實時渲染的質量已經有了巨大的進步，在虛擬人物實時渲染方面，已經能做到以假亂真。本文帶領大家，盤點一下技術演進的來龍去脈。

走出恐怖谷：角色渲染的重要追求

長久以來，電影工業中的虛擬人物製作技術發展迅速。我們已經很習慣在電影中看見活靈活現的虛擬角色，比如《指環王》中的咕嚕姆，《金剛》中的大猩猩，或是《阿凡達》中的主角，都讓人一眼看去難辨真假。換句話說，基於離線渲染技術的電影工業，已經在虛擬角色塑造上，跨過了恐怖谷[1]。

《阿凡達》

《金剛》

《魔戒2》

而遊戲行業，雖然也大量應用了3D渲染，但為了滿足可交互的需求，只能使用實時的渲染技術。後果就是，畫面綜合質量上，遊戲比起電影還有很大的差距。

追求最高質量的渲染能力，一直是遊戲行業發展的重要動力。隨著硬體能力的提升和演算法的突破，遊戲的渲染質量也越來越高，實時渲染的質量開始接近12年前的電影質量。從2013年GDC上，Jorge Jimenez帶來NEXT GENERATION CHARACTER RENDERING的分享以來，遊戲中的角色渲染技術得到了突飛猛進。

NEXT GENERATION CHARACTER RENDERING

從近年來一系列遊戲的實時渲染畫面來看，靜態的人物質量已經非常高了。

《神秘海域4》的高精度人物渲染，一直為人稱道。

但動態畫面，總還是有些彆扭，並沒有走出恐怖谷。我們不禁想問，什麼時候，遊戲的虛擬角色，也能接近真實的質量，走出恐怖谷？

挑戰：計算資源、畫面質量和複雜流程

我們簡單分析一下整體技術，看看為什麼實時渲染出高真實度的虛擬人物是一件很困難的事情。

首當其衝的問題是渲染性能問題，離線渲染可以花費數小時渲染一幀畫面，投入伺服器集群的計算資源，用儘可能物理正確的光線追蹤技術。但遊戲中使用的實時渲染，每秒至少要渲染30幀畫面，也就是說每一幀畫面只有33毫秒，這比離線渲染少了五個數量級，渲染時只有一台PC的CPU和GPU資源，相比離線渲染又少了一到二個數量級，在計算資源上的差距，非常巨大。

下一個問題是渲染質量問題，毛髮渲染、眼球渲染、皮膚渲染等高階渲染技術，被大量應用在電影行業。對於動物、人物角色的衣料或者毛髮，人物眼睛的表現，角色皮膚表現等等領域，傳統的渲染技術還遠遠不能真實表現。電影行業在這些領域做了深入的開發，高質量的離線演算法，雖然開銷巨大，但對最終畫面質量提升有著決定性的作用。實時渲染無法使用高級的渲染技術，只有高度抽象和簡化過的渲染演算法，這讓渲染器的最終質量，比電影級的渲染低了不少。

最後一個問題是複雜的流程。為了在電影中做到如此高質量的角色，電影工業在過去20年中建立了相當複雜的製作流程。簡單來說，製作一個這樣的角色，離不開下面的這些技術：

(1) 高質量的掃描和建模：通過基於Photogrammetry的掃描技術，從多角度拍攝即將建模的物件、人體，後續通過計算機圖形學，進行複雜的3D建模、Rig建立等等步驟，產生最高質量的3D模型和材質。

(2) 全身動作捕捉和還原：捕捉演員的表演動作，還原成動畫數據來回放。動作捕捉技術相對比較成熟，但依然面臨著捕捉精度、穩定性、設備部署維護等等巨大的挑戰。這部分動畫數據，後續會被用來驅動虛擬的角色，讓虛擬角色能做出和演員一樣的動作。

(3) 面部AI捕捉和還原：通常會和演員全身動作捕捉同期進行。演員在表演的時候，一般會佩戴特製的頭盔，頭盔中有一個或者數個攝像頭，拍攝演員的臉部表情以及對話口型，在後期製作時再通過計算機視覺，還原成表情動畫。本質上和全身動作捕捉技術有一定的相似性，但由於臉部表情對於角色形象極其重要，所以面部捕捉和還原會應用更高精度的技術來進行。

在高質量的實時渲染中，(1)是被廣泛使用的，因為它可以被離線製作。但(2)、(3)都是非常難實時採集和合成的。這也導致遊戲中實時的動畫質量，遠低於電影質量。

曙光：實時的整合流程

開發者們一直在往這個目標做不懈的努力。

2016年的Game Developer Conference以及2016年的Siggraph中，Epic Games聯合3Lateral、Cubic Motion、Ninja Theory等公司，開發出了可實時驅動的虛擬人物演示。多公司的聯合團隊，成功的將Hellblade遊戲中的一段過場視頻，搬上了實時渲染的遊戲引擎。

這個獲得了當年Siggraph最佳演示獎的Demo，是這樣解決上述難題的：

· 渲染性能不夠用，渲染質量不夠高？實時渲染質量肯定比不上電影，但目標並不是要超越電影，而是在合適的性能開銷下，提供最頂級的畫面表現，讓實時渲染的角色，也能有極高的真實度。從這個demo中看，開發者基本達到了設想的目標。Unreal引擎本身在超真實人物渲染上有深入的實現，在實時渲染中，UE也能達到相當真實的渲染質量。同時配合行業頂尖的技術美術、角色美術，對材質、模型進行深入細緻的調整，最終在可接受的性能開銷下完成了渲染。

· 掃描和建模方面，Epic Games選擇和行業頂尖公司3Lateral合作，3Lateral有著多年同好萊塢劇組合作的經驗，也幫助無數AAA遊戲進行人物角色的建模。

通過拍攝在進行角色建模

· 全身動作捕捉方面，Epic Games選擇了Xsens的慣性動作捕捉系統，易設置，精度適中，但抗干擾性略差一些。在實際演示中，還是遇到了一些小麻煩，比如現場電磁干擾較多，動作捕捉設備會不停出現抖動，後來團隊靈機一動，讓現場演出的模特兒站在桌上，才避開了地板下的干擾。同時Epic使用了iKinema公司的IK組件，成功把全身動作、面部捕捉等多條動畫stream重新合成的角色上，完成了多採集數據源共同實時驅動角色的功能。

通過全身動作捕捉進行動畫數據錄製

· 最關鍵的面部表情捕捉，Epic Games選擇了Cubic motion的技術。這是一家英國技術企業，提供簡單易用的頭盔，配合AI深度學習的solver，來捕捉和計算臉部表情數據，然後驅動3Lateral的Rig系統，從而把演員的微妙表情，實時還原到虛擬角色。

頭部的Cubic Motion專用頭盔，錄製表情

簡單說，這個高質量的演示，具有重大的意義，它標誌著電影化虛擬角色的複雜流程、高計算量等等障礙，被逐漸克服，我們終於有機會在消費級的硬體環境下，實時渲染高質量虛擬角色。

進展：質量的提升永無止境

整個行業都看見了曙光，實時渲染的突破彷彿就在眼前，更多團隊開始研究如何在實時渲染中做出虛擬角色。研究的團隊中，既有Epic這樣傳統的遊戲引擎廠商，也有更多從電影、特效行業來的廠商。

2017年7月底舉辦的計算機圖形頂級會議Siggraph 2017中，Mike Seymour，著名Fx Guide網站創始人，親自參到Meet Mike的項目。Epic Games、3Lateral、Cubic Motion、Tencent等6家行業頂級公司，橫跨四大洲合作，向行業展示了實時遊戲引擎中，渲染虛擬角色的最新進展。

Meet Mike項目，一方面對原有的流程進行了大幅度的增強，3Lateral的掃描技術全面升級，Cubic Motion的臉部表情進一步提高，另一方面也拓展了展示形式，展出在VR中進行，訪問者可以在VR世界裡面和虛擬的Mike Seymour交流。同時，對於渲染質量，Epic Games和騰訊一起進行了深入的開發，在皮膚、光照、毛髮等方面對Unreal引擎做了全面的增強。

RENDERS IN REAL TIME ON ONE PC (30FPS)

MEETMIKE項目展示了數字人科技的最新研究，在洛杉磯SIGGRAPH2017的VR Village現場，幾位業界領袖人物接受了一個照片級真實的數字人的在線實時採訪，而這個數字人是在「悉尼」的一個虛擬演播室中。觀眾可以在VR中觀看，也可以通過一個巨型屏幕圍觀。

Rendered at 30fps above, and at 90fps in stereo at Siggraph

騰訊互娛NEXT研發中心有幸參與其中，幾位實時渲染和圖形學的研發人員幫助提升了數字人臉部皮膚的細節和真實性，與Epic Games合作開發完成了一套全新的複雜的皮膚著色器（Skin Shaders）。

展望

Meet Mike項目，是不是就能跨過恐怖谷，真正成為實時渲染的里程碑呢？從目前的結果來看，我們還不能過早下結論。從幾段視頻來看，單看一張靜態畫面，你已經很難分辨是否是真實照片了。而動畫播放的時候，Mike的眼部表情活靈活現，頭髮和皮膚材質也非常逼真，達到了目前實時渲染的最高水準。

但實時流程的老問題還是存在，當mike的動畫動起來以後，嘴部動畫還是略有生硬，能感覺的存在一些問題，但這個問題究竟是在3Lateral的建模和Rig上，還是Cubic Motion的臉部動捕有問題，還有待進一步改善。

無論如何，技術發展的趨勢不可改變，傳統電影渲染技術，往往在數年後走進實時渲染領域，引領著實時渲染的突破。我們堅信，虛擬人物的渲染成熟化，也即將到來。

[1]恐怖谷：由於機器人與人類在外表、動作上相似，所以人類亦會對機器人產生正面的情感；直到一個特定程度，他們的反應便會突然變得極為負面。哪怕機器人與人類只有一點點的差別，都會顯得非常顯眼刺眼，整個機器人顯得非常僵硬恐怖，使人有面對殭屍的感覺。可是，當機器人和人類的相似度繼續上升，相當於普通人之間的相似度的時候，人類對他們的情感反應會再度回到正面，產生人類與人類之間的移情作用。（from Wikipedia)

----------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！