Science：迄今最精準人臉數字模型，任意 2D 照片轉換逼真3維人臉

新智元編譯

如果你用過智能手機應用程序 Snapchat（譯註：類似國內美圖秀秀），你可以將自己的照片變成迪斯科熊，或者將你的臉和另一個人的臉融合在一起。現在，一組研究人員已經創造出當前最先進的 3D 人臉建模技術。使用這一系統不僅可以改善視頻遊戲中的個性化頭像、提升人臉識別的安全性——當然，也能讓你擁有更好的 Snapchat 濾鏡。

計算機處理人臉時，有時會依賴一種所謂的「3D 變形模型」（3DMM）。這一模型代表了一個平均人臉，但同時也包含了與這一平均值常見的偏差模式信息。例如，如長了一個長鼻子的臉也可能有一個很長的下巴。鑒於這種相關性，計算機可以在不將有關你臉部全部表徵信息都存儲下來的情況下，只列出幾百個數字描述你的臉與平均人臉的偏差，就能夠生成專屬於你的面部圖像了。不僅如此，這些偏差還包括大致的年齡、性別和臉部長度等參數。

但是，這樣也有一個問題。因為世界上的人臉千變萬化，要將所有人臉與平均人臉的偏差都存儲下來，3DMM 需要集成許多面部的信息。目前為止所採用的方法是掃描大量人臉，然後人工仔細標記所有的特徵。也因此，目前最好的模型也只是基於幾百張人臉——大部分還都是白人，而且模型在模仿不同年齡和種族人臉方面的能力十分有限。

結合三種演算法，全自動精準人臉 3D 建模

現在，倫敦帝國理工學院（ICL）的計算機科學家 James Booth 和同事開發了一種新的方法，可以自動構建 3DMM，並使其能夠融入更廣泛的人臉，比如不同種族的特徵。這種方法有 3 個主要步驟。首先，一個演算法自動對人臉掃描圖像做標記（landmnrk）——將鼻尖和其他點打上標籤。然後，另一種演算法根據標記對所有掃描圖像進行排序，並將其組合成一個模型。最後，第三個演算法檢測和刪除無用（bad）的掃描圖像。

沒有參與這項研究的英國約克大學計算機視覺研究所的 William Smith 說：「這項工作真正巨大貢獻在於他們展示了如何將這一過程全面自動化。」

德國達姆施塔特弗勞恩霍夫計算機圖形研究所（Fraunhofer Institute for Computer Graphics Research in Darmstadt, Germany）計算機科學家 Alan Brunton 也沒有參與這項研究。Brunton 評論說，在人臉上做標記實際上是很難的事情，「你以為打標籤就是點一下滑鼠很容易，但嘴角究竟在哪裡很多時候是說不清楚的，所以即使是人工打標籤也會發生錯誤。」此外，Brunton 還表示，在很多張人臉上打標籤是十分乏味又無聊的工作。

在 3DMM 中有兩種用於建立密集對應（dense correspondence）的技術。上排是在 UV 空間（通常是網格狀和紋理信息的圓柱形投影）中建立的人臉對應。每個網格的 UV 圖像都會註冊到模板 UV 圖像，隨後的採樣會生成一個與模板對應的混合圖形（mesh）。下排展示的是非剛性迭代最近點（NICP），NICP 可以迭代使用，不斷將 3D 模板變形從而匹配每個網格，完全避開 UV 空間。來源：Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7

創建大規模人臉模型 LSFM，包含不同種族、年齡的人臉

在建立了這樣一個自動化 3D 人臉建模系統後，Booth 和他的同事還將系統應用到近 10,000 張人口統計學得到的多樣化人臉掃描圖像上。這個掃描是整形外科醫生 Allan Ponniah 和 David Dunaway 在倫敦一家科學博物館裡做的，他們做這些掃描的目的是希望提升重建面部手術的質量。

做完掃描後，Ponniah 和 Dunaway 聯繫了 ICL 計算機科學家 Stefanos Zafeiriou，想讓後者幫助他們分析這些數據。於是，Zafeiriou 也參與到項目中，將 Booth 他們的演算法應用於這些掃描圖像，創建了他們所謂的「大規模人臉模型」（large scale facial model，LSFM）。

在與現有模型的對比測試中，LSFM 更準確地表示人臉，現在論文的預印版已經在 Springer 旗下的International Journal of Computer Vision 在線公開發表，下期就會出版。

在一項對比試驗中，他們用一張孩子的照片創建這個孩子的 3D 人臉模型。使用 LSFM，模型看起來與照片上的孩子很像。但是，使用當前最常用一個變形模型——這些模型的數據是完全基於成年人的——生成的模型看起來像一個跟照片上孩子無關的成年人。

LSFM-global 形狀模型的可視化呈現：最左邊是平均形狀（μ），後面依次是最初的 5 個主要組成部分，後面的每張臉都從平均臉上增加或減去了某些特徵。來源：Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7

Booth 和他的同事還有足夠的掃描圖像，為不同的種族和年齡的人創造更具體的變形模型。不僅如此，他們的模型還能根據面部形狀自動將人臉按年齡分類。

• 論文：大規模 3D 變形模型

摘要

我們提出了一個大規模的人臉模型（LSFM），這是一個3維形變模型（3DMM），從9663個獨特的臉部標誌中自動地搭建。研究者介紹，據他們了解，LSFM 是迄今為止被構建出來的最大規模的形變模型，包含了從一個巨大的人口變數中提取的統計信息。為了搭建出這樣一個模型，研究者創造了一個全新而且全自動且穩定的形變模型搭建管道，通過對目前最好的密集（dense）通信技術進行評估來獲得信息。

訓練 LSFM 的數據集包括關於每個主題的豐富的人口統計信息，不僅可以構建全球3DMM模型，還可以構建針對特定年齡，性別或族裔群體的模型。研究者利用所提出的模型，從3D形狀單獨執行年齡分類，並重建低維模型空間中的雜訊樣本外數據。此外，他們還對構建的3DMM模型進行系統分析，展示其質量和描述能力。

研究提出的深度定性和定量評估表明，他們所提出的3DMM取得了最先進的結果，大大優於現有模型。最後，為了造福研究社區，他們公開了所提出的自動3DMM建造管道的源代碼，以及構建的全球3DMM和根據年齡，性別和種族量身定製的各種定製模型。

全自動構建大型 3DMM 流程示意圖。（1）基於綜合呈現視圖進行自動標記。這些視圖註冊了像素級的形狀信息，因此可將 2D 標記（landmark）可信地投影回 3D 表面。（2）在自動標記的引導下，3D 模型不斷迭代變形，以精確匹配數據集的每個 3D 面部網格。（3）構建初步的全局 PCA，（4）自動刪去錯誤的對應。（5）由剩餘的乾淨數據構建 LSFM 模型。來源：Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7

為MeIn3D數據集的特定子集產生定製紋理模型。來源：Booth, J., Roussos, A., Ponniah, A. et al. Int J Comput Vis (2017). doi:10.1007/s11263-017-1009-7

訓練 AI 系統，將 2D 人臉快照精準轉換為 3D 模型

Booth 團隊現在已經將把新的模型投入使用。在另一篇論文中，也是他們投稿 CVPR 2017 的論文 Face Normals 「in-the-wild」 using Fully Convolutional Networks 當中，研究人員利用 LSFM 合成的 100,000 張人臉訓練了一個人工智慧程序，將任意（casual）2D 快照轉換為精確的 3D 人臉模型。研究人員表示，這種方法可以用於查看照片上犯罪嫌疑人從另外的角度看上去是什麼樣子，或者 20 年以後臉變成什麼樣了。至於更偏公眾向的應用，你也可以使用這一系統根據歷史人的肖像畫製作 3D 的這個人物出來。

從左到右：Photoface，ICT-3DRFE，3D變形模型擬合（fitting），使用作者提出的 3D變形模型合成的圖像。下排是每個數據集相關的 ground truth normal。來源：Trigeorgis G.et al., Face Normals 「in-the-wild」 using Fully Convolutional Networks

LSFM 也有醫療應用的潛力。如果有人因故沒了鼻子，這項技術可以根據面孔其他部分的特徵，幫助整形外科醫生確定新的鼻子應該長成什麼樣子。

此外，面部掃描也被用於識別可能的遺傳疾病，例如威廉氏症候群（見注釋），這是一種與與心臟問題相關的病症。更好的人臉模型及其變化特徵數據可以提高這種測試的精度。Ponniah 表示，新模型「打開了好幾個更多的門」。

注釋：威廉氏症候群，一種罕見的神經發育異常，患者鼻根較低，擁有像小精靈的外觀，且臉部特徵隨年齡增長而更加明顯。大部分病人智能不足但語言能力較正常人好，行為舉止異常興奮且不怕生。癥狀還包括心血管疾病如主動脈瓣上狹窄與高血鈣，此病在描述尚不完全時曾被部分醫師稱為自發性嬰兒高血鈣（idiopathic infantile hypercalcemia）。

• 論文：使用全卷積網路還原「in-the-wild」人臉

摘要

本研究中，我們提出了一種數據驅動型的方法，解決如何從一張單獨的濃縮照片中預測整個一般平面，特別聚焦於人臉。論文創造了一種新的方法，探索將可用的人臉數據集用於資料庫建設的可行性。研究者特意設計了一個深度卷積神經網路來評估人臉「in-the-wild」狀態下的正常表面。還訓練了一個全卷積的網路，能夠精確地從多樣化的表情的圖片中還原正常表情。我們比較最先進的 Shape-from-Shading 和 3D 重建技術，結果表明我們提出的網路可以大幅度恢復更正確和逼真的人臉。而且，相比其他現有的面部特異性表面恢復方法， 由於我們網路的完全卷積性質，我們不需要解決明確的對齊問題。

使用 Helen 數據集，對人臉正常估計和表面重建示例。最左邊的是作者提出的，後面兩個依次是 IMM（注釋：由丹麥技術大學創建的人臉庫，包含了 240 張不同姿態、表情、光照的人臉圖像）和 Marr Revisited。

部分表面重建示例。這些都是從由 300W 人臉數據集 「in-the-wild」 生成的。上圖展示了作者提出的網路能廣泛適用於多種不同人臉和表情。最左邊是 300W 數據集的原始圖像。中間一列是 3D形狀重建，右邊一列是將圖像中採樣到的紋理轉換為形狀。來源：Trigeorgis G.et al., Face Normals 「in-the-wild」 using Fully Convolutional Networks

未來研究及計劃

研究者接下來的計劃是在模型中加入面部表情相關的數據，這樣無論是嘲笑還是哭泣，任何形式的人臉模型都能識別。Zafeiriou 表示，他們現在正回到博物館，掃描更多的遊客的人臉信息。

相關論文：

1. Large Scale 3D Morphable Models（開放獲取）：https://link.springer.com/article/10.1007/s11263-017-1009-7

2. Face Normals 「in-the-wild」 using Fully Convolutional Networks（提交 CVPR 2017）：https://ibug.doc.ic.ac.uk/media/uploads/documents/normal_estimation__cvpr_2017_-4.pdf

Science 報道：http://www.sciencemag.org/news/2017/05/computer-scientists-have-created-most-accurate-digital-model-human-face-here-s-what-it

新智元招聘

職位：客戶經理

職位年薪：12 - 25萬（工資+獎金）

工作地點：北京-海淀區

所屬部門：客戶部

彙報對象：客戶總監

工作年限：3 年

語 言：英語 + 普通話

學歷要求：全日制統招本科

職位描述：

1. 精準把握客戶需求和公司品牌定位，策劃撰寫合作方案；

2. 思維活躍、富有創意，文字駕馭能力強，熟練使用PPT，具有良好的視覺欣賞及表現能力，PS 能力優秀者最佳；

3. 熱情開朗，擅長人際交往，良好的溝通和協作能力，具有團隊精神；

4. 優秀的活動籌備與執行能力，較強的抗壓能力和應變能力，適應高強度工作；

5. 有4A、公關公司工作經歷優先；

6. 對高科技尤其是人工智慧領域有強烈興趣者加分。

崗位職責：

參與、管理、跟進上級指派的項目進展，確保計劃落實。制定、參與或協助上層執行相關的政策和制度。定期向公司提供準確的市場資訊及所屬客戶信息，分析客戶需求，維護與指定公司關鍵顧客的關係，積極尋求機會發展新的業務。建立並管理客戶資料庫，跟蹤分析相關信息。

應聘郵箱：jobs@aiera.com.cn

HR微信：13552313024

新智元歡迎有志之士前來面試，更多招聘崗位請點擊【新智元招聘】查看。