哈利波特活了！華盛頓大學神奇魔法，讓照片中的人走出來
【新智元導讀】如果照片中的人忽然走出來和你擁抱，你會作何反應？華盛頓大學的研究人員重現了只存在《哈利波特》電影中的神奇場景，他們成功「喚醒」了照片，讓畫中人走出了相框，踏入了現實！
在系列電影《哈利波特》中，經常可以看到這樣的場景，形形色色的人可以自由地從現實世界走進畫中，也能從畫中走出來。現在，華盛頓大學的計算機科學家們將這種魔法般的場景帶到了現實中。
這個演算法名為「照片喚醒」，可以從二維照片或藝術作品中提取出人物，讓他們動起來，跑到畫框之外。人們還可以使用增強現實工具觀看生成的3D動畫。研究人員將在6月19日舉行的CVPR 2019上展示這個成果。本研究論文的預印本去年12月在ArXiv上發布，引起了媒體的廣泛關注。
「這是計算機視覺中一個非常困難的根本問題，」論文共同作者、威斯康星大學的Paul G.Allen和計算機科學與工程學院副教授Ira Kemelmacher-Shlizerman說。 「其中的一大挑戰是輸入數據只來自一個攝像頭，因此畫中人物的一部分是看不見的。我們的研究將這個開放性問題上取得的技術進步與藝術創意的可視化結合起來。」
以前，研究人員認為只用一張照片製作一個人的動畫是不可能實現的。
「以前的一些研究試圖從多個視角創建一個3D角色，」艾倫學院教授，論文共同作者Brian Curless說。 「但仍然無法讓人物活生生地動起來，無法讓他們跑出一個場景之外，無法將AR帶入其中。這次只用一張照片就能得到一些令人眼前一亮的結果，這真的是個驚喜。」
研究人員表示，照片喚醒技術的可以應用在多個領域。比如可以為遊戲玩家以新的方式打造和自己非常相似的3D形象。藝術館中的遊客可以與館中的繪畫作品展開前所未有的互動——比如坐下來，與蒙娜麗莎喝杯茶，或者讓孩子們的畫作中的人走出來。論文中給出了幾個例子，比如金州勇士隊的庫里就從照片中的籃球場上跑了出來。
球場上的斯蒂芬·庫里跑向照片外
為了使這種「魔法」成為現實，研究人員首先識別照片中的人物，並製作身體輪廓的面具。從那裡，然後將3D模型與受試者的身體部位進行匹配。接下來的一步由演算法完成：為了使模型的輪廓和形變情況看起來和照片中的人更加相似，會將3D的人模型再投射回2D平面上。
「我們很難精確地操控3D模型，」共同作者艾倫學院的博士生Chung-Yi Weng說道。 「也許能夠實現粗略地控制，但是當為角色設置動畫時，任何偏差和錯誤都會表現的很顯眼。所以我們必須找到一種完美的處理方法，這在2D環境中更容易實現。」
畫家馬蒂斯的作品「伊卡洛斯」（1944）
"照片喚醒"服務會存儲每個像素的3D信息：包括距離攝像頭或藝術家的距離，以及人的關節的連接形式和細節。在對模板進行3D調節，成功匹配真人的姿勢和形狀之後，演算法就會在紋理背景上粘貼。演算法還通過來自圖像和3D模板的信息生成人的背部模型。然後利用工具將前後兩側接合在一起，形成一個能夠轉身活動的3D模型。
在3D形象生成完畢之後，需要由演算法來設置並填充背景，確保背景中不留下空白區域部分。演算法會借用圖像中其他部分的信息填充模型後方的空白背景部分。
「照片喚醒」服務還允許用戶使用AR工具以三維方式觀看動畫
目前，對於人物面向前方的藝術作品，本服務生成3D模型時最為得心應手，可以為真實人物的藝術作品和照片生成動畫形象，對於一些身體被手臂遮擋的照片也可以處理，但目前還不能很好地處理雙腿交叉等複雜姿勢，以及身體大部分被遮擋的照片。
論文第一作者翁仲義（Chung-Yi Weng）表示，這是一種與照片實現3D互動的新方式，目前還遠遠算不上萬能，但這可能是朝這個方向邁進的第一步。
參考鏈接：
https://techxplore.com/news/2019-06-magic-photos-reality.html
論文鏈接：
https://grail.cs.washington.edu/projects/wakeup/
TAG:新智元 |