一個程序員，如何獲奧斯卡？

程序員也可以拿奧斯卡？

是的，奧斯卡獎是美國電影藝術與科學學院獎的別稱，正式名稱叫「學院獎」( Academy Awards)。

奧斯卡科技成果獎（Academy Scientific and Technical Awards）是由美國電影藝術與科學學院頒發的一項科學技術獎，頒發對象為在科技成就上對電影產業進步有傑出貢獻的個人或公司。科技成果獎的頒發在奧斯卡金像獎之前，今年會在2月份舉行。

所以程序員們努把力還是可以拿奧斯卡科技成果獎。

今天探長就去採訪了一位拿了奧斯卡科技成果獎的大神Kiran Bhat。

Kiran Bhat畢業於卡耐基梅隆大學機器人系，後在著名的電影特效公司，工業光魔ILM領導特效相關的工作，如今創辦了人工智慧公司Loom.ai。

讓演員起死回「生」

（圖片來源：Jason Sun）

Kiran Bhat幫助建立了工業光魔的面部捕捉系統，同時是電影《復仇者聯盟》和《加勒比海盜》這兩部電影面部效果的研發負責人。在電影《復仇者聯盟》，Kiran研發的這套系統根據好萊塢演員Mark Ruffalo的表情，自動化的生成了綠巨人的面部表情。

（左為Peter Cushing，右為Guy Henry）

《星球大戰外傳：俠盜一號》「塔金」由英國演員彼得·庫欣（Peter Cushing）飾演，他是位老牌英國演員，已於1994年去世。

為了讓他在大銀幕上復活，Kiran Bhat領導的團隊找了一位和彼得·庫欣身材相貌接近的英國演員蓋伊·亨利（Guy Henry），讓他通過動作捕捉在拍攝現場進行表演，然後在後期製作時復活了「塔金」。

由於他在工業光魔建立臉部表情捕捉系統的突出成就，Kiran Bhat在今年榮獲2017年美國電影藝術與科學學院頒發的奧斯卡科技成果獎。

（右為Loom.ai CEO Mahesh）

去年Kiran Bhat從工業光魔離職，和前夢工廠特效總監Mahesh Ramasubramanian 創辦了Loom.ai，並擔任公司CTO。Mahesh在DreamWorks工作近20年，製作的電影有史萊克、馬達加斯加系列。而兩獲奧斯卡科技成果獎的斯坦福計算機圖形學教授Ron Fedkiw為Loom.ai的顧問。

Loom.ai目前已獲Y Combinator、丹華資本等機構的投資。

讓普通人享受好萊塢明星的待遇

Loom.ai研發的系統能從單個正面圖片生成令人震驚的現實化身，這項技術結合了計算機視覺、機器學習和電影業的技術。

趕緊來看看用幾張名人的照片就做出的3D動態形象效果吧。有安吉麗娜·朱莉、Kanye West、Elon Musk等等。

（利用右上角圖片構建的安吉麗娜·朱莉）

Loom.ai構建的新的計算機演算法套件將為每個人建立可信的3D Avatar，這個過程在以前是非常昂貴的，並且只有好萊塢演員能享受到。實際上Kiran Bhat過去在好萊塢的大量工作就是捕捉演員的表情，為好萊塢演員打造Avatar。

如今Kiran Bhat要讓普通人也享受好萊塢明星享受的待遇，他們希望提供一套雲端的工具，提供給開發者和商家，而這套工具能夠將普通的圖片轉換為3D Avatar。

（看這眉眼之間的細節處理，簡直令人髮指啊！）

當然，這個系統做出來的效果也並不是十全十美的，在頭髮、牙齒和細紋的處理上，還有待提高。不過，在目前的技術中，Loom.ai已經做得很不錯啦！

站在科學與藝術交叉路口

Loom.ai目前的3D重構技術有幾大優勢：第一是低成本，無需要深度攝像頭或者SLAM設備，也無需RGB相機矩陣；第二是高模擬，高精度還原人臉細節，可以動畫模擬臉部表情；第三是低延時，重建技術可以在手機設備上實時完成。

這個技術也包括兩個難點：第一個是將人的形象電子化，把一個二維的照片變成三維的電子形象，需要提取足夠特徵來重建一個人的臉部，也就是建模，獲得「facial rig」。第二個難點則是動畫，在動畫上需要能夠還原人的微表情和其他細節，能夠很好的表達人的情感。只有把這些都捕捉了，才能讓其他人相信這有真實性。

Loom.ai表示他們的一大特點就是他們的系統能夠很好的捕捉個人的人格，一方面他們構建的「facial rig」(骨架)不僅能捕捉你正常情緒下的面部特徵，而且有能力捕捉微笑、憤怒、悲傷等表情的特徵，不過這個需要多張圖片通過學習來獲得。

在特效領域，一個製作好的模型就像一尊雕像，並不能運動或者被驅動，所以rig的任務就是為模型添加骨骼和控制器，通過加入蒙皮、約束以及其它變形器等方式，讓模型能夠通過控制器被控制。要捕捉個人的人格，在動畫上則也需要捕捉個人的人物特性，能夠很好地還原一個人的動作。

（看看這小表情）

Loom.ai用照片構建的這個模型分解過濾掉照明因素，生成了AAA級別的「facial rig」，可以用於生成其他場景下的3D動畫和動態交互，能很好地復用於其他場景，比利用3D掃描方式生成的3D模型更強大。

Loom.ai之所以選擇單張正面圖片作為數據源，一方面是因為對於普通消費者而言，圖片的獲得更容易也更標準化，如果使用其他的方式，比如視頻等作為數據源，雖然看起來提供的信息更豐富，但也為標準化帶來挑戰。「不過我們的系統也可以將視頻等其他信息結合起來」，Kiran Bhat在採訪中表示。

總而言之這些不僅是個科學的問題，而且也是個藝術的問題，Kiran Bhat過去長期的工作都是在大屏幕上做這個事情，並且已經將這個問題成功的解決了，積累了大量的經驗。

Kiran Bhat也在採訪中表示，其實在手機這樣的小屏幕上能夠做好這件事情的技術門檻不比大屏幕上低。Kiran Bhat表示其實在小屏幕上做好了也能很好的遷移到大屏幕上，這大大超出他原本的想法。

（Loom.ai團隊）

Loom.ai目前團隊包括哥倫比亞大學、卡耐基梅隆大學、康奈爾大學的研究者和夢工廠、工業光魔等公司的工業界資深人士，他們很多人擁有幾十年的專業經驗。

Loom.ai目前主要是B2B2C模式，他們已經開發了一套雲端API和SDK，而企業用戶則利用他們的系統提供服務給開發者。Loom.ai希望通過技術授權等方式來盈利，目前已經開放商家內測中。

未來虛擬世界的代言人

Loom.ai的願景是為消費者構建用起來像是真的3D Avatar，將虛擬通信帶入生活。

這些3D Avatar可用於VR社交，遊戲，電商等領域。想像一下，如果你和同學之間發的表情包都是真實頭像做的，這會是一種怎麼樣的場景？

如果你玩的《模擬人生》裡面的人物都是真實的Avatar，這會是一種怎麼樣的奇妙的感覺？

這些3D Avatar同樣能夠應用於電商等各種領域，擁有巨大的想像空間，畢竟個性化是未來的趨勢。

當然VR/AR是另外一塊更有想像空間的領域，未來利用3D Avatar開虛擬會議，不僅能傳遞你的聲音，還能完美重現你的表情。

很有可能未來這些3D Avatar將會是我們在虛擬世界的代言者和通行證，能夠完美的代表我們。

所以，以後估計都不用修圖軟體了，曬朋友圈直接曬個3D Avatar，想想是不是還有點小激動？