模擬人眼，所見即所得。光場技術，能否成為VR行業的救星？

前不久，在嘉興召開的2017國際VR/AR技術與產業大會上，疊境數字科技（上海）有限公司創始人、上海科技大學虞晶怡教授利用虛擬現實領域的一項全新技術——光場技術，將同會的外籍嘉賓栩栩如生地展現在手機上，引起了全場熱議。

光場技術模擬人眼，是介於建模和計算機渲染之間的技術。在光場技術構建的場景里，用戶可以走動，從不同的角度和距離觀察事物。最重要的是，光場技術還能再現物體的光澤和材質。因其真實性遠超國內主流技術，虞晶怡認為這是目前還原物體真實性唯一的方法。

虞晶怡篤定地說：「光場技術將成為VR/AR行業的投資焦點。」

國內VR行業在「吃老本」

「嚴格來說，國內VR領域的企業缺乏核心技術。」談及技術，虞晶怡毫不留情地說。

目前，VR內容製作主要有兩種主流方法：一是利用全景相機拍攝360度視頻，即360度環拍技術；二是利用更加高端的軟體建模技術，利用計算機工具打造更具沉浸感的VR遊戲或視頻。但在虞晶怡看來，這些都不是VR內容製作最理想的方法。

大約20年前，出現了一種影響深遠的虛擬現實技術，叫做QuickTime VR。這項技術很簡單：拿手機拍一圈，把照片拼成一個360度的圖片，現在手機上就能實現這個功能。「現在市面上很多做虛擬現實的公司就是用的這樣的技術！1996年的技術！」

「360度環拍技術最大的問題就是無法實現動態視覺。」虞晶怡解釋說，人眼重疊的區域特別大，在重疊區域里，由於左眼和右眼看到的東西一樣，就會形成動態的視野，這就是人眼的3D識別。然而，360度環拍技術無法實現這一功能。

早在1995年，蘋果就發布了一款主要拍攝360度圖片的QuickTime VR相機。虞晶怡也於1999年創業試圖將QuickTime VR相機的技術運用到旅遊上，並用360度環拍技術拍攝了拉斯維加斯賭場等地的全景照片，但最後卻發現做出來的全景照片並不怎麼吸引人。虞晶怡認為這個問題到今天依然存在。

同樣，軟體建模技術雖然更加高端，但不夠真實的缺點依然存在。現在很多虛擬現實應用場景，如VR看房，都是採用三維建模實現的——需要先建模、貼「皮膚」以及大量的人工，而且不可能做到非常精細，導致最後的效果相當粗糙。

模擬人眼，所見即所得

什麼是光場技術？虞晶怡舉了個例子：「人眼就是兩個天然的光場捕捉器。」人眼觀看3D世界覺得真實，是因為雙目視覺看到的是立體而非平面圖像，在三維空間圍繞觀看可實現360度的視覺構建，而且人眼具有對焦功能。

人眼之所以能夠實現這些複雜的功能，是因為人眼採集光線空間。而光場技術就是把人眼看到的光線空間採集下來，再將光線進行重組，可以讓虛擬現實模擬出人眼基於距離對物體聚焦、移動的效果，捕捉光線信息，重現三維世界。

疊境科技用廣角攝像頭模擬人眼，只不過不是兩個攝像頭，而是由至少上百個攝像頭組成的相機矩陣。典型的中型場景光場拍攝方案，是由140個相機（包括80個靜態相機和60個動態相機）組成的對內環拍攝影系統，可以從任意角度對物體進行拍攝。

拿一堆相機拍攝的時候，一個最大的問題就是遮擋。因為遮擋，哪怕140個相機對一個人物進行環拍，也不足以呈現人物的全部。「同樣，人的眼睛不光有幾何，還能看到材質。這些材質信息是超越幾何的。」人之所以能夠判斷材質，原理還是光場。當轉動腦袋和雙眼的時候，物體上面的光發生了變化，光的信息蘊含了材質的信息。

如何解決這些問題？疊境科技的方案是為「眼睛」配備一個「大腦」。藉助計算機視覺和深度學習，把每一幀的時空信息集合在一起，就可以產生非常好的3D重現效果。同樣藉助深度學習，模仿人類判斷材質的學習方式，大量採樣，經演算法處理呈現出材質特徵。

另一方面，疊境科技多攝像頭的數據採集方式也帶來了海量的數據。如何才能以最快的速度處理完這些海量數據，便成了相機矩陣光場技術最大的技術門檻。據虞晶怡透露，疊境科技研發的光場數據壓縮技術，已經可以將1.5G的數據壓縮到30M左右。

僅一年時間，疊境科技就建立了一整套以光場採集、捕捉、顯示為核心的VR/AR解決方案，可製作物體和動態人物的360度3D光場採集、建模和渲染以及光場VR/AR內容生成，向內環視和向外環視360度3D視頻直播。將全球最頂尖的光場技術引入到虛擬現實領域，很大程度上解決了虛擬現實體驗差的問題，給虛擬現實行業帶來了巨大的變革。

國內應用步步展開

應用方面，疊境科技的光場技術首先可以用於三維建模。相比傳統的建模方案，疊境科技採集了真實物體的光線信息，所建立的三維模型更加真實。目前，該技術已經在上海博物館、淘寶「buy+」計劃等案例中得以應用。

據虞晶怡介紹，針對不同的應用場景，光場技術將有不同的應用方式。一種是小型光場：針對具體物件，可以更加完整全面地展現實物，給用戶更直觀的體驗，在電商領域將有巨大應用與突破。在去年淘寶「雙十一」發布會上，疊境科技展示了用光場重建的唐三彩。面對材質複雜的模型，光場技術不但實現了捕捉不同視角觀看物件產生的光影效果，真實再現了唐三彩的質感，還用壓縮與渲染的方法完美植入到淘寶賣家平台。亞馬遜看到這一應用後，也開始積極發展這項技術。虞晶怡透露，幾個月後，用戶將可在手機端看到自己的光場渲染器。

在人物拍攝為主的中型光場中，光場技術可以快速復現動態人物，一台電腦幾分鐘就可以完成全過程，實現近乎實時的人物復現，未來將會在娛樂、電影特效、體育訓練等方面大展手腳。

大型光場拍攝針對環境，可直接應用於房地產行業虛擬看房等場景。利用光場技術進行拍攝，可以更加真實地復現場景，並且允許用戶走動，從不同的視角和距離進行觀察，不久這項功能也會在手機上出現。

註：文中圖片除註明外均來自網路

編輯：朱麗

審核：管晶晶

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！