光場：通往無限想像的光明之路

引言：Fiat Lux 即要有光，是創世紀中的一個短語，意為Let there be light。原來世界處於陰暗混沌之中，有了光，自此光明與黑暗即分隔了。

科幻與科技就像一對天生親近的同胞兄弟。科幻電影中天馬行空的幻想，給科學研究者提供了無與倫比的靈感和光明；同樣的，新科技也往往會在科幻電影中率先得到應用和驗證，比如虛擬現實（Virtual Reality）與增強現實（Augmented Reality），即是如此。早在2009年，電影《阿凡達》的製片就通過對虛擬世界重構向大家展現太空飛船內部操作的場景，而到諾蘭的《星際穿越》，不僅啟蒙了普羅大眾對多維空間的認識，還帶來了當時最精良的視覺體驗。耗資數百萬美元的一段類似VR的內容，帶創業者們「溫柔地走出了沉寂的良夜」，讓他們沉浸在前所未有的神奇幻想 （Imagination） 之中。而虛擬現實和增強現實之所以一昔之間成為萬眾矚目的焦點，就是因為它們有潛力創造出一種全新的體驗，使人們沉浸在一種似夢似幻，亦真亦假的環境中，超越了時間和空間的極限。然而，冰冷的現實讓我們清晰的認識到，重現向真實世界一樣逼真的虛擬世界，並不容易。

為什麼需要光場

想搞清光場的前世今生，就需要明白人的眼睛如何工作。在人的感官里，視覺是獲取外界信息最重要的渠道，大約佔據了90%的信息量。人眼經過長時間的生理進化和日常訓練，形成了感知外部世界的一種本能，而且這種本能對外界信息是非常挑剔的。例如，人眼對感知深度信息是非常敏感的，這包括雙目視差、運動視差、遮擋和聚散度等幾種方式。而且，當人在自然狀態下觀察目標時，眼睛是在不斷變焦的，並且能夠通過前庭視反射消除畫面切換時的抖動和模糊。這是因為在人眼的周圍有無數的光線，眼睛通過不斷地改變焦距，採集來自不同方向和位置的光線，聚焦在不同的平面。加上頭部的運動，人可以在很大的範圍內不斷地聚焦在所關心的物體上。

光場基本概念示意圖

為了觀察世界，人需要時刻感知到周圍來自不同位置和方向的光線。這些光線的集合便是光場。在下一期，我們會著重介紹光場的歷史，講述她如何從一個物理概念變為數學模型，如何從數學模型變為計算機視覺，虛擬現實，甚至人工智慧的核心。

為了要呈現人眼無法分辨的虛擬內容，一個核心的步驟就是記錄外部世界的完整光場信息。如果將這些信息無損失地復現出來， 人眼便獲得在自然狀態下觀看的真實感覺。舉例來說，在佩戴市面上現有的頭盔時，人眼實際是聚焦在頭盔的屏幕上，而理想的虛擬現實應有能力「欺騙」挑剔的人眼和大腦，讓雙眼能聚焦在有不同的距離的真實世界上。現實中，若顯示的內容稍有差錯或延遲，人眼就會敏感地察覺到，並造成相應的神經系紊亂，引發諸如頭痛、眩暈、疲勞等不適癥狀。去年李安的電影《比利雷恩的中場戰事》，採用了120幀4K的拍攝手法，原本以為可以滿足人眼的要求，卻沒有考慮到投影的電影屏幕是一個固定焦距，迫使觀眾長時間將眼睛固定在一個焦距上而產生大量的不適感。可見，對挑剔的人眼光有速度和激情是不夠的。只有當我們能真正採集和顯示完整的光場信息，我們才能建造真正的虛擬世界。

光場真實重建茱莉亞學院演奏會

要實現讓人眼無法分辨虛擬和現實，必須滿足首先人眼在自然狀態下觀看外部世界的條件。很多市面上 VR/AR公司只能人工合成的360°全景圖片或視頻，其內容首先缺乏雙目立體視覺（Stereo Parallax）效果。即便採用了立體相機拍攝了三維空間信息，獲得了雙目立體視差，也仍然缺乏運動視差（Motion Parallax），不能形成走入走出的沉浸感。最後，如前所述，完美的沉浸感更需要加入聚焦信息，即人眼對焦在不同深度時，雙眼的聚散程度不同，對焦所在的深度是清晰的，而其他深度則應該相應模糊。真實世界的景物是一個高維度的複雜數據，只有完全記錄其中光場信息，並且進行不失真的重現，才能淋漓盡致的復現出真實世界，完成從現實到虛擬再到現實的閉環。

光場的未來

目前，VR/AR硬體設備和平台在高科技巨頭的紛紛參與下，已經日漸成型並有高品質的硬體產品可用。與之相比，高品質 內容的開發則嚴重缺乏，尤其是光場內容的製作更是處於起步階段。在虛擬現實的產業鏈中，內容的製作必然佔據整個行業拼圖中的很大份額，光場內容製作中涉及的拍攝硬體研製、軟體開發和內容顯示等都是關鍵的核心環節。現時，各國的技術差距還不明顯。那怕在美國，光場技術的很多核心技術仍處於初級階段，例如Google Seurat和 Amazon Go都在與小型初創公司如Lytro，Otoy，8i等競爭開發基於光場的VR/AR技術。因而研發光場核心技術和產品具有極大的空間和潛力。

光場重建的唐三彩陶瓷馬

作為虛擬現實領域最具有變革性的新技術，光場能同時提供雙目視差、移動視差、選擇性聚焦三方面的視覺信息，從傳統的2D平面圖像提升到了4D光場圖像，大大提升沉浸感和逼真度，模糊了虛擬和現實的邊界。然而，光場技術從拍攝到重建到顯示均面臨挑戰，必須從軟硬體各方面共同推進。例如，由於空間解析度和角度解析度之間的制約問題，採集光場用的光場相機存在解析度不足的問題。如何從冗餘的光場信息中實現超解析度光場成像，是亟待解決的一個問題。此外目前光場建模的時間普遍比較長，減少建模時間，提高建模的自動化程度將大大降低高質量光場內容的製作門檻，提高內容生成效率。新的基於深度學習的演算法有望為此提供成熟的解決方案。屆時互聯網上數以千萬計的各種商品將能通過光場建模流水線般快速高效的生成數字模型，從而將現實物體批量建模到虛擬世界。

利用光場技術，我們可以穿越到美國第五大道購物，身臨其境參加頂級大學課程，與世界各地的朋友親身一起去旅行。正如愛因斯坦所說，比知識更重要是想像。而光場，將為我們打開通往無限想像的光明之路。

出品 | 新浪科技《科學大家》

撰文 | 虞晶怡 （上海科技大學教授/MIT 博士）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！