深度揭秘 一家要將好萊塢特效塞入手機的中國AI創業公司

好萊塢大片《阿凡達》（Avatar）里的特效場面依然令人記憶猶新，相信很多親臨影院觀看過的人都會被那些氣勢磅礴的特效場面所震撼：現實中的人類插上腦機介面，就能進入一個異星世界，以完全不同的形態存在於另一時空。

圖 | 電影《阿凡達》劇照

科幻歸科幻，從產品概念的角度而言，所謂 Avatar 就是一種虛擬的 3D 形象，這個3D形象並不是一個靜態形象，而是可以通過手機等智能終端，由用戶驅動去做各種互動。

實際上，Avatar的概念在動漫、遊戲、影視等領域已經存在了相當一段時間，並不新鮮。然而，這項技術從來都沒有真正走進消費級應用，原因在於Avatar的生成和互動仍然存在相當的技術瓶頸，很難普及到C端用戶，目前的體驗也十分難以使用。

2016年，Facebook 收購「換臉」應用 MSQRD，開始這一領域的技術布局。但在創建虛擬形象方面還未拿出可用的消費級產品。

然而最近，一家低調的中國公司已經走在了美國同行的前面。該公司已經完成了Avatar生成、互動和渲染技術的全面布局，開發的產品已經擁有20多家B端用戶。先看下面這段該公司發布的視頻展示：

在這段視頻中，一個普通用戶可以在手機端從單張圖片生成與圖片中人物高度匹配的3D Avatar，這個 Avatar 可以換髮型、換服飾、換背景等，並和用戶進行互動。

近日，DT君專訪了這家位於杭州的相芯科技有限公司（faceunity.com），這也是該團隊集體首次接受媒體專訪。

以下是專訪的精彩內容：

DT君：最直接的一個問題是，可否告知這項技術的消費級產品實現的難度究竟在哪裡？

相芯科技：Avatar 技術的難度主要體現在三個方面： Avatar 生成、Avatar 驅動互動以及 Avatar 顯示呈現。

首先，Avatar 生成的方法有很多種，例如 3D 掃描，目前主要是讓美工去建模。其實，Avatar本身已經不是什麼稀罕物，以前就有過，比如電影《阿凡達》。當然，《阿凡達》走得更深入，還有腦機介面的部分，這個我們暫且不談。

要產生這麼一個 Avatar 的成本是非常之高的。打個比方，你拿李小龍的照片去外面做 3D 動畫建模的公司，去構建一個很像李小龍並且可實現表情等全部動態效果的 3D 模型，可能需要 2-3 周的時間，以及至少 2000 元的成本，現在的市場行情就是這樣。

圖 | 相芯公司創建的李小龍3D虛擬形象

所以說，雖然Avatar在動漫、遊戲、影視中已經有了，但從來都沒有真正走進消費級應用，主要原因之一就是Avatar的生成是一個很大的障礙，消費端用戶很難去做這件事情。

我們在 Avatar 生成這個領域布局的第一個技術就是FaceUnity P2A，即Photo to Avatar（從照片到虛擬形象）。這是一項革命性的技術，你只需要給我一張照片，我就能在不到一分鐘的時間內、全自動生成一個全動態Avatar。從商業模式上來講，成本就至少能降低三個數量級。

圖 | 採集用戶形象

解決Avatar的生成後，接下來的問題就是驅動，這又是另外一項技術。這項技術在影視行業其實已經有了。比如像在《阿凡達》、《魔獸世界》這樣的電影中，演員要驅動虛擬角色做動畫，就需要先捕獲演員的面部表情。

這種技術叫做「面部捕捉」，需要專業的拍攝設備和環境下才能做出來。最常用的是在演員面部貼上很多標記點，來幫助光學系統做定位。

圖 | 很短時間內為用戶生成3D的形象

這些特殊設備和環境很難在消費級應用中滿足。所以在Avatar驅動方面，我們使用了智能手機上安裝的普通光學鏡頭，不用任何標記點，直接通過圖像來進行精準的面部表情捕捉，以及映射、驅動一個Avatar，使得Avatar的表情能忠實地跟隨用戶表情。

這是一項挑戰非常大的工作。首先是精度和穩定性問題，因為在移動端去完成這些事情，周圍的環境將是豐富而多變的，比如戶外陽光直射、或者是在酒吧昏暗的條件下。正因如此，對技術魯棒性的要求就會很高。

圖 | 為用戶生成李小龍的形象

其次是計算能力問題，畢竟手機端的計算資源相比 PC 端，還是要差很多的。還有就是存儲消耗，作為一個應用，不能佔據太多的內存。

所以，在資源有限的情況下，要做到魯棒、快速、低存儲消耗、高精度，挑戰就變得非常大了。這是相芯科技在Avatar驅動方面的技術。

在解決了 Avatar 生成、驅動後，最後要解決的問題就是渲染，換句話說就是如何把虛擬形象呈現出來。這包括在各種光照條件下的渲染，在各種複雜光影環境下如何讓 Avatar 表現得更好。

圖一 | 電影《魔獸世界》中使用的多點面部捕捉技術；圖二 | 電影《加勒比海盜》中的面部捕捉、建模與渲染

DT君：既然創建Avatar涉及到這麼多複雜的技術解決方案，走進消費端會不會面臨很大難度？

相芯科技：從 Avatar 的生成，到驅動，再到渲染，這裡面涉及大量的 3D 技術。大家知道，好萊塢代表了電影工業的最先進技術，而電影是科學與藝術集大成的體現。

好萊塢的技術固然強大，但它需要專業的演員、昂貴設備、有經驗的建模師，以及特別搭建的攝影棚。

所謂消費級技術，首先是讓普通人能用，其次是在普通設備能用，第三是在任何環境下可用。如何讓這些原本屬於好萊塢的高端技術進入消費級應用，這就是相芯公司正在做的事情。

圖 | 好萊塢頂級特效工作室「工業光魔」的攝影棚

關於我們如何解決這些問題，這其實是一個高度交叉領域的技術創新，其中包括計算機圖形學、計算機視覺以及機器學習等。而在每一個單項技術里，又需要很深的研究。比如 Avatar 生成，會用到端對端的 3D 深度神經網路。簡單來講就是，你拿一張照片，經過一個黑盒子，出來的就是一個 3D 模型。

這個黑盒子其實是一個3D深度神經網路，通俗的講就是現在的人工智慧。這個黑盒子需要做很多事情，比如抓取特徵點、識別性別、識別配飾等。除了做普通的人臉識別外，還要創造出一個3D形象，且這個形象要與輸入的2D照片高度匹配。這就是3D深度神經網路需要做的事情。

關於 Avatar 的驅動，涉及到大量的計算機視覺技術。最後一步渲染，主要是計算機圖形學。所以可以看到，整個過程實際上是一個跨學科的技術布局。

圖 | 相芯公司根據照片創建的3D虛擬形象

DT君：為什麼會考慮去做一個高度模擬的3D虛擬形象？這項技術將能夠產生具備顛覆性的消費級產品嗎？從產品層面，Avatar的應用場景到底在哪？

相芯科技：這項技術一定是能夠孕育出具備顛覆性的全新消費級產品，而且近在咫尺。

單純從技術層面而言，可以想像下，Avatar 其實是提供了一種可能性。在物理世界裡，我們每個人都有一個具體形象，而互聯網經過這麼多年的發展，我們每個人在網路空間里其實也具備了很多形象。比如說，你的微信、微博等會有不同的 ID 及頭像，而這種形象和現實生活中你給朋友們的印象肯定是不完全一樣的。

那麼，我們有沒有可能把每個人在網路空間中的形象具體化，不僅僅局限於一個ID、字元串或者靜態照片？而是類似我們在現實生活中看到的3D形象？——這就是我們想解決的問題。

圖 | 相芯公司創建的各種3D虛擬形象

現實中，一個人肯定是包含音容笑貌的，我們現在解決的是「容」、「笑」、「貌」，未來可能還會解決「音」的問題。最終的目的就是創造一個活著的、栩栩如生的形象。

所以，這項技術其實是很多應用的一個基礎。能想到最直接相關的應用場景就是社交，不管是社交網路還是社交媒體。比如在現在的移動平台上，你想去玩一個「殺人遊戲」，這類遊戲實際上是從線下興起的，而且需要在遊戲過程中察言觀色，涉及到很多玩家間的互動。

但現在如果把這類遊戲搬到線上去，會有多少人願意開著視頻玩？且不論大家一起開著視頻對用戶流量和運營商帶寬造成的壓力，單看網路社交環境下又會有多少人願意以真實形象示人？

但如果你有一個屬於自己的Avatar，事情就變得簡單多了。比如，你喜歡李小龍，完全可以使用他的形象，而且通過驅動，他的表情動作都是忠實跟隨著用戶的，完全不會影響上述遊戲中察言觀色的功能。這是陌生人在線社交的例子。

如果是和朋友和熟人之間的交流，有時候其實也不一定會願意把周圍環境展示給對方，比如房間很亂，或者本人狀態不佳。用戶可能會希望將一個和自己匹配的更好的形象展現給對方。這就和現在的照片和視頻美顏功能類似，為什麼不把一個更好的自己呈現出來呢？

DT君：從純技術角度來看，Avatar的潛在優勢在哪裡？應用前景如何？

相芯科技：使用Avatar的另外一個很大的優勢是節省帶寬。因為用戶不需要在上傳視頻，而只需要上傳控制Avatar的那些參數就行了，而這些參數都是直接在手機端本地完成計算的，對帶寬的佔用會非常低。

Avatar作為一種網路空間的虛擬形象，其實完全可以做得比物理世界中的形象更有表現力。比如誇張的表情，甚至一些動漫化的特徵。畢竟，不是每個人都經過了專業訓練，一些更富有張力的表現形式可能在社交和泛娛樂領域會有很好的應用，甚至包括未來的在線教育。

圖 | 相芯公司對真人面部表情的捕捉

相芯科技目前主要專註於移動平台，未來 VR、AR 什麼時候能真正落地現在還很難說。但一旦這些技術成熟，Avatar就會成為一種必需品。因為在虛擬現實環境下，用戶不可能還是以ID或靜態照片的形式存在，而必須有一個3D的、互動功能完備的具體形象。

目前，Facebook 已經在這個領域進行布局就是個很好的例子，但是 Facebook 做出的形象是卡通化的，真正難做的是一個與照片匹配的虛擬形象。

相芯科技堅持做這個更難的技術，其實是因為中國市場與西方市場不太一樣，國人可能更喜歡那種貼近真人形象的表達方式。所以說，在技術上，我們是領先的。當然，卡通風格的Avatar我們也會支持。

- END -

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！