▲Scandy Pro捕獲全彩色3D掃描

不久前，來自華盛頓大學的一組研究人員發布了一項新的實驗性技術。這項技術能夠直接從靜態2D圖像當中剪切字元，並將其轉換為3D動畫，最終以AR的方式將信息引入現實世界。這香技術被命名為Photo Wake-Up，適用於照片、海報乃至塗鴉藝術，能夠為嵌入式Pinocchios注入生命，使這些圖形自由地在現實環境中行走、跑步乃至跳躍。

該團隊在去年12月接受《麻省理工學院技術評論》雜誌採訪時表示：「我們相信這種方法不僅能夠為人們提供欣賞照片並與其互動的新方式，而且還帶來了立足單一圖像重建虛擬化身的新途徑，甚至能夠從單張照片中洞悉人類藝術建模的真實狀態。」

Photo Wake-Up

事實上，基於2D圖像重建3D模型的想法並不算新鮮。早在十多年之前，由吳恩達帶隊的斯坦福3D重建小組就研究過這一課題。然而，此次出現的解決方案要比以往任何時候都更加強大（或者說需求更為迫切），而且其與當前青少年VR與AR行業的內容供應問題密切相關。

擴展3D模型工具包

截至目前，大多數用於VR及AR內容的3D模型仍由3D藝術家們手動創建，這是一項時間密集、成本高昂而且毫無擴展性可言的工作。另外，行業當中還存在著人才短缺的問題，而且這種問題並不能隨著規模化而有所緩和。正因為如此，以Sketchfab為代表的各類3D repo才受到廣泛歡迎，藝術家們可以在這裡發布、分享、發現、購買以及出售各類3D、VR與AR內容。

儘管如此，創作者社區仍然迫切想要擺脫對於人類勞動力的依賴，並希望能夠從那些提供自動化能力的工具當中獲得更理想的效益。具體來講，這些工具必須能夠創造捷徑與「訣竅」，從而顯著加快並改善創作過程。

對此，Trnio公司創始人兼CEO Jan-Michael Trssler表示：「對於真正讓人身臨其境的世界，最出色的內容創作者需要使用大量的技術與軟體來創造真實的元素。我見過很多藝術家在使用攝影方法測量並捕捉物體，而後將此作為3D模型的創建起點。接下來，藝術家們會對資產元素進行簡化與優化，以便使其在AR/VR引擎當中發揮作用。」

如今，以攝影測量與體積捕捉為代表的3D掃描技術在輸出質量方面不斷發展，並不斷縮短著3D模型的生產周期，這就使得現實世界變得越來越易於成為3D模型製作工作的直接來源。這類技術能夠幫助當前的創作者，乃至任何有意投身其中的新人，或尚在猶豫的潛在參與者更輕鬆地完成自己腦海中勾勒出的形象。

來自新奧爾良的Scandy公司創始人兼總裁Charles Carriere指出：「我們認為，大多數內容創作者實際上並沒有探索3D內容，因為他們缺少這類工具。事實上，目前幾乎所有正在創建的內容都以2D形式存在，因為每個人都能夠輕鬆訪問並使用2D工具——其中最重要的就是手機攝像頭。只要能夠為這些具有高度創造性的Snapchat、Instagram以及YouTube大牛們提供能夠創建3D模型的平台及工具，那麼高質量3D內容將以爆炸式的速度增長，並吸引到更多消費者。」

Scandy公司的新應用hoxel

但真正的黃金時代尚未到來。人才的新鮮血液，或者3D掃描技術的不斷進步，仍然無法通過快速或者實質性的解決方案來彌補該行業目前所面臨的內容供應短缺問題。無論公平與否，消費級與企業市場的關注周期仍然有限，而且人們或多或少會在潛意識當中期望VR與AR內容的生產與迭代周期能夠與以往所習慣的2D內容在速度上相匹配。

2D到3D，從重建到重現

立足以往的實際情況，這樣的期待明顯非常不切實際。然而，Photo Wake-Up這類3D重建技術的出現突然令2D圖像、資產乃至資源庫成了一種取之不盡、用之不竭的素材供應源。3D模型能夠以幾乎全自動的方式生成，並被快速應用到沉浸式體驗場景當中。事實上，這項技術不僅使得整個行業得以迎頭趕上，甚至有望在沉浸式領域引發寒武紀般的生命大爆發。

著眼於當下，AR零售與購物領域將成為第一個重要的灘頭陣地。包括蘋果、Facebook、PayPal校友以及斯坦福大學多位博士在內的資深企業家團隊，在日前以Threedy.ai公司參與者的身份集體亮相。Threedy.ai是一家深度科技初創企業，專門負責解決3D內容供應難題。

Threedy.ai公司聯合創始人兼CEO Nima Sarshar解釋稱，「大家可以會認為創造這些產品的製造商肯定已經擁有了對應的3D模型素材，但事實告訴我們，雖然存在相關的CAD文件，相關廠商也願意將其公開，並藉此生成3D網格，但卻缺少與之對應的紋理或者材料。另外，也沒有統一的AR模型創建工作流程能夠消化來自六大主要CAD供應商的具體工具，以及超過14種文件格式。整個製造業都在大量以外包方式處理手動紋理打包工作。」

舉例來說，Houzz AR應用程序允許用戶根據尺寸與顏色等指標對房間內的傢具進行查看。其中的挑戰在於，一切先進的AR購物應用程序，包括Houzz、Wayfair以及Overstock等，都只擁有一小部分庫存的3D模型。具體而言，Houzz所擁有的3D模型僅佔全部餐廳傢具類別中的3%。

Threedy.ai公司正在將2D圖像轉換為3D模型

Sarshar解釋稱，「我們的目標是成為商業產品3D模型領域的Getty Images網站。大家可以想像一下，未來也許亞馬遜目錄中的每一件商品都擁有對應的3D模型，這樣的資源庫將會多大。」

他們的第一款產品是Threedy Convert，能夠利用家用產品及傢具的普通2D照片，通過專用計算幾何與深度學習演算法，將其自動轉換為高質量3D模型。此項技術能夠批量應用於不斷增長的產品類別，並且通常只需要一張產品照片，整個實現成本也比現有解決方案便宜近兩個數量級。

Sarshar指出：「掃描雖然能夠提供更高的質量，但整個過程仍然非常枯燥且成本高昂。另外，從高多邊形掃描結果到適用於XR的低多邊形模型的轉換也絕非易事。還有一個重要的難題，對於大部分電子商務網站而言，大家根本沒有對應的物理對象，而只有數量有限的非結構化產品照片。」

這種以低維素材為起點，協助建立起高維素材的方法既令人驚訝，也絕對會受到市場的熱烈追捧。該技術並不是短期可行的補救式措施，而是代表著一種全新的內容轉換渠道。隨著VR與AR行業不斷發展與變化，這些內容有望在合適的時刻全面將渲染式體驗推向普羅大眾——我個人樂觀地認為，這一切在今年之內就有可能發生。

Amir Bozorgzadeh是Virtuleap公司的CEO，該公司是通過神經科學研究與機器學習實現人體在VR與AR環境中實現自我表達的企業，他認為，如此一來，廠商與品牌方就能夠感受到用戶在查看內容時所抱有的興奮、憤怒或者厭倦等情緒。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！