今天要介紹的新技術，可能會讓不少人有個大膽的想法。

因為2D形象變成3D「活物」，不再是魔法。

你可能還記得《哈利·波特》里的神奇世界，報紙上的照片會動，牆壁上的名人畫像能說話，甚至開門入戶都要與「門神」胖夫人暗號問答一番。

但，是，現，在，AI就是我輩麻瓜的神奇魔法。

無論你想「復活」的是梅西.jpg、庫里.png，還是詹姆斯.jpeg，抑或希望新垣結衣.tiff、波多野結衣.Raw「動起來」……

這項名為照片喚醒（Photo Wake-Up）的新技術，都能讓你得償所望。

不信？先牛刀小試亮亮相~

它可以讓你最愛的體育明星，詹姆斯、梅西、庫里從照片里跑出來：

相信我，走出來的庫里真的是3D的：

它還能賦予二次元角色以力量：

把鋼鐵俠帶到你身邊：

甚至抽象畫都能搞的定，畢加索《瑪雅和玩具船》中的主角可以走出來，像人類那樣活動四肢：

你還可以藉此把角色們AR/VR化，只要動動手指，它們就能出現在你身邊的世界：

不管是照片、卡通還是抽象角色，但凡有個人樣，照片喚醒技術都能喚醒它們體內沉睡的靈魂，讓它們從二維化世界中蘇醒過來。

有了這項技術，或許遊戲、動畫製作行業的設計師們可能要開心壞了，只要畫個2D的角色，自動就能變成3D。

看到這些效果展示，有網友表示可能這就是和女神距離最近的一次了。

恭喜恭喜~

原理揭秘

這些心水的動漫人物和體育明星，是怎麼一下子從畫里走出來，而且還會動、變立體了？

在論文Photo Wake-Up: 3D Character Animation from a Single Photo中，研究人員來了一次完完整整的大、揭、秘。

研究人員表示，讓主角從平面靜態圖像里走出來，最難的地方就是要在系統中重建一個「虛擬人」。虛擬人必須能透過厚重的衣物，精確對應到畫中人物的身體輪廓。

頭對頭，肩並肩，手腕對手腕……當虛擬人的骨骼架構完全匹配到畫中人，也就意味著你的男神/女神離動起來就不遠了。

整個操作過程，其實只用了三步：

我們一步一步看，研究人員的第一步就是：分割紙片人。

研究人員利用現成的圖像分割演算法，將畫中人的軀幹、四肢分割，再用人體姿態估計，提取畫中人的2D骨骼關鍵點，忽略厚重的衣服，擬合出一種半裸的可塑3D模型，稱為SMPL模型（Skinned Multi-Person Linear Model）。

此時，無論是男神還是女神，現在都已經簡化成看不出年齡和樣貌的「石膏人」了。重要的第二波操作馬上開始。

第二步：細化紙片人3D模型

紙片人跑不跑，全看3D模型好不好。這一步，研究人員開始細化紙片人的3D模型了。

若紙片人運動，身體各部分間難免產生輪廓的重合。完美的模型能夠匹配到紙片人的身體輪廓，還能識別這種自我遮蔽（self-occlusion）現象的出現。

怎樣在自我遮蔽出現時保證模型的準確性？研究人員想了個主意：先將SMPL模型映射到2D世界對準輪廓，調好再次轉換成3D模型確保精確度。

在映射到2D世界時，研究人員將SMPL模型轉換成了兩種不同的映射形式，一種是肌肉隱約可見的普通圖（Normal Map），一種是五顏六色區分了身體不同部位的皮膚圖（Skinning Map）。

二者合一，轉換成3D模型後，姿態可動的3D人來了！

最後，研究人員用CMU的Mo-cap人體動作數據集餵給模型，數據集中的人物動作，現在可以遷移到你的紙片人身上了。

6幅畫結果

此時，如果有一個AR眼鏡，戴上，手指比個心，心愛的「紙片人」就被點活，從畫中出走了。

隨後，研究人員對103名志願者進行了調查，86%的被調查志願者認為Photo Wake-Up的效果超越了前人所做。

艾倫學院三人組

這項研究的三位作者，都來自華盛頓大學保羅·艾倫計算機科學與工程學院。

一作翁仲毅，一位台灣小哥哥，現在是華盛頓大學保羅·艾倫計算機科學與工程學院圖形圖像實驗室（GRAIL）的博士，他本碩畢業於台大計算機與信息工程系，讀博士前曾在台灣訊連科技做技術主管，最近還在Facebook實習。

二作Brian Curless，華盛頓大學保羅·艾倫計算機科學與工程學院教授，斯坦福電氣工程博士。

三作Ira Kemelmacher-Shlizerman小姐姐，以色列魏茨曼科學研究所計算機科學與應用數學博士，華盛頓大學保羅·艾倫計算機科學與工程學院助理教授。

同時，因為自己創立的公司Dreambit LLC被Facebook收購了，所以自從2016年起她還是Facebook的AR/VR研究科學家，並且長期擔任CVPR和SIGGRAPH的區域主席和技術委員會成員。

這個研究團隊，從一作到三作，那是一個比一個厲害。

量子位此前介紹過的桌面足球，就是二三作兩位教授的作品；

還有假裝拉小提琴的Facebook AI，也是三作小姐姐參與的研究。

感謝作者們的研究，就算不會3D建模，我們也可以把自己的原畫作品用魔法變成3D，讓他們活過來了！

關注ＣＧ魔力，獲取更多干前沿資訊

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！