《頭號玩家》里的VR世界離我們有多遠？

虞晶怡：上海科技大學信息科學與技術學院副院長、教授

「我的技術可以把一個物理世界的人，變成一個數字世界的人，而且他（她）看上去是一模一樣的。」上海科技大學的虞晶怡教授，用技術讓人進一步體驗虛擬世界；他讓《頭號玩家》里活在VR的未來，離我們更近了一大步。他是怎麼做到的？請聽他在@一刻talks《了不起的好奇心|科學俠》中的分享。

文章共3417字，閱讀需要14分鐘

我是上海科技大學虞晶怡，我所研究的領域是AR和VR（虛擬現實和增強現實）。但我們用的方法，和傳統的方法不一樣。我們是用計算機視覺、人工智慧和計算機圖形學相結合的方法，來便捷、主動地生成AR和VR的內容。

我們所做的AR和VR，是想把整個物理世界數字化。你可以想像一下，如何將一個物理世界的人，變成一個數字世界的人，而且他（她）看上去和你是一模一樣的。

我所做的這個領域叫計算機視覺，是用計算的方法，來產生讓視覺覺得「非常美」的感受。

這個美，體現在多個角度。三維的幾何是一種美，三維物體的材質也是一種美。從計算的角度來看，如何能夠非常有效地復現三維的幾何、三維的材質，是一個非常困難的數學問題。

通過在過去二十年的技術的積累，現在有很多新的技術和演算法，包括深度學習在內，能夠非常有效地把三維世界的物體三維化。這個三維化可以通過幾何計算，也可以通過計算機的機器學習「學出來」。這都是在過去二十年里，技術突飛猛進的表現。

從材質的角度來看，我們現在可以提出一種基於數據的模型。

傳統的美是通過一個完整的數學公式，來表示這是一個什麼樣的材質，所以它是美的。

但實際生活中，人並沒有這樣一個完美的數學公式，而是通過各個角度，去觀看一個物體，說它是很美的。這是一個數據驅動的模型。

現在我們整個領域都逐步從數學建模，慢慢地過渡到用數據驅動的一個模型，來形容什麼是美。

為什麼要研究AR/VR

我在上海交大讀過書。在上海交大時上過計算機圖形學的課。當時教我們的老師非常有名，是餘勇老師。餘勇老師現在帶了幾乎中國最優秀的ACM（美國計算機學會）班的學生。當時我們還沒有ACM班，但餘勇老師，卻給我們上了圖形學的課。

上了這門課後，我對圖像就產生了濃厚的興趣。後來就決定要做圖像這個領域。去了加州理工後，我就開始做些小嘗試。我當時創辦了人生中第一個公司，叫QuickTime VR。現在大家覺得很熟悉的手機全景拍照功能，在我們當時就是用照相機來拍全景，進行拼接，拼接成360度。1999年，我就做了這件事。

但當時就有很多問題。而這些問題也導致了2016年VR的泡沫，很多初創公司號稱拼一個360度全景，就是VR，其實完全不是。早在1999年，我們做了這個事情之後，就發現它給人的觀感很差，因為既沒有三維的視覺，也沒有像人眼一樣的動態對焦，更沒有沉浸式的走入。因為這樣的觀感非常差，也造成了2016年的VR繁榮只是曇花一現。

AR與VR的起源於現狀

現在AI（人工智慧）非常熱。其實人工智慧的歷史已經超過60年了。在1956年達特茅斯會議的時候，先驅們就提出了：要把人工智慧的解決分為三塊。這三塊分別是感知（Sensing）、認知（Cognition）、行為（Action），它們分別表述了：怎麼能認識到三維世界、怎麼去分析三維世界、怎麼去改變三維世界。

這三塊奠定了計算機視覺的核心基礎。因為感知就是新一代感測器，認知就是新一代演算法（包括深度學習在內），行為比如機器人、虛擬現實、其他表現的方式等等，都是展現的方式。

在過去的五到十年內，特別是過去五年內，由於深度學習的高速發展，數據驅動把這三塊第一次真正地融合在了一起。從感知的數據，到大數據產生以後高速、高效的分析方法——認知，到最後把數據呈現出來的行為，不管是機器人，還是新一代AR和VR的展現方式，都能無瑕疵地串聯在一起。所以這是一個新的時代。

AR、VR研究的意義與成果

用一個詞來形容，就是互聯，connect。怎麼來互聯呢？打個比方，在邊遠的山區，沒有很好的教育資源，沒有好的師資，如果能夠通過虛擬現實和增強現實的技術，把老師上課的整個過程數字化，再用未來的5G網路實時傳輸到遠端，就可以身臨其境地享受到同樣最高品質的教育。

創新和突破對我來說，最重要的詞就是Courage，勇氣。因為創新和突破本身是非常困難的，你要有面對失敗的勇氣，創新是一定會有失敗，不可能一蹴而就。那麼面對失敗，怎樣有勇氣再進行新的嘗試，這是第一。

第二，就是你要有勇氣變得不同，be different。不可能每個人都做同樣的東西。做相同的東西是一定是不會有創新的，必須有所突破。我們現在做的技術，叫基於光場的人工智慧，和基於光場的AR和VR。但光場的概念，早在1996年的時候就被提出了。

所謂光場，就是要把三維世界所有的光線全都採集下來，這些數據是海量的，因此當時這樣一個概念是無法推進的，所以很多人都放棄光場這個項目了。但我和我的團隊，一直都在做光場，過去20年內都在做。

前幾年，美國有一個公司叫Magic Leap（可能是全球估值最高的一個AR/VR初創公司），就是做光場的顯示技術，並開發了一個光場的頭盔。儘管這個領域非常困難，但我們從來沒有放棄過，所以我剛才說，要有勇氣，也要與眾不同。

第三，要有勇氣去尊重。在創新的過程中，必然有競爭對手。面對競爭對手，不要看低他，必須要尊重你的競爭對手。你要看到對方在做的這些技術有什麼強項，有哪些地方是你做得不好的，再融合在一起，這就是一種尊重。

光場，我們做了快20年。第一代光場，是用一個很笨重的相機陣列搭成的。這是2000年我剛開始讀研究生時，在MIT和一個龐大的團隊一起搭起來的。但是要把這個非常笨重的系統縮小化，變成拍一張照片就能形成這樣一個光場的系統，這是一個非常困難的事情。

它不僅涉及到光學系統的設計，還包括最後整個運算的速度和新演算法的合成，當中有很多艱辛。在過去的二十年里，我和我帶的研究生們都沒有放棄。過去十年，有十四名研究生畢業於我門下，今年第一位我在上科大帶的博士也將畢業。

在非常困難的情況下，他們跟我一樣都沒有放棄。我們研究的問題本身很難，能夠得到的幫助和資源也不是很多。這樣的情況下，最後在上海科技大學終於有所突破，搭建了自己的光場成像系統、光場處理方法、基於深度學習的光場AR和VR的完整的系統，可以說是全球相當領先的技術，我覺得這是讓我非常驕傲的一件事。

那是一個中國少數幾套，用80個動態相機進行光線採集的系統，用計算機視覺的方法進行三維重建。同時它不但把三維進行重建，也把材質和所有的光線都採集、重建了。所以它又能採集幾何，又能採集表面的材質。這個80個相機的光場系統，在過去一年內就搭建了出來。

我們現在正在搭一個全球唯一的光場系統，整個設計非常前衛，仿造火星的營地做的。在那裡我們正在搭建一個230個相機、1600個光源的光場系統。它不但擁有多相機系統，另外還要加1600個光源，這個目的不單單是把人物簡單地數字化，讓你看著還可以，還可以產生像電影級別的特效效果。這套系統到目前為止，全球只有兩個地方有，一套在好萊塢的LA。另外一套在愛丁堡。我們將搭建亞洲唯一一套光場系統。今後希望更多的電影特效都有我們的身影。

傳統的AR、VR的內容，都是靠計算機生成的，叫CG模型，Computer Graphics，像卡通一樣。在那裡建一個模型，建完以後，去調材質、打光、渲染。實時渲染的話，你模型不可能很複雜，材質也不可能很複雜，否則沒有辦法實時渲染。

光場就是索性不要建模和渲染，直接把它拍下來。比如我這有一個人，或者一個物品，我通過多個視角對這個人或物品進行拍攝，拍攝後直接利用這些數據。因為拍出來的和眼睛看到的一樣真實，只是拍的過程是不連續的，你不可能拍得很連續，所以通過這樣一個拍攝的過程，再加後期的數學模型，深度學習的模型也好，三維建模也好，計算機視覺也好，把它融合在一起，產生讓你眼睛覺得「我就在看的是一個真實的環境（或物體和人）」，這就是光場的核心概念。它之所以能夠產生比傳統方法更好的效果，因為它本身就基於在三維世界拍攝的結果。

AR、VR的未來

其實信息科學，不單是一個單獨的學科。信息科學必須要和別的學科相融合，而別的學科也必須依賴於信息科學的融合，才能夠大幅度地進步。

今後三到五年，我想做的是學科的交叉融合。原來大家說No one is an island，沒有人是一座孤島。現在應該說，沒有一個學科是一座孤島。所以今後的科技，一定是交叉融合的科技，這也是我們希望在未來幾年內一起做的。

在任何一個時代，科技本身的發展必然會帶來很多疑問。想像一下，在200年以前，如果你看到現在的人開著車，你會有怎樣的感受？是不是有很多倫理的問題在裡面？200年以前，再回過頭來看，電視裡面大家在看著我這個節目，又是怎樣一個感受？

我始終認為科技本身並不可怕。可怕的是人不去思考科技會帶來怎樣的後果。人生存了2000年，能夠適應新的科技的生成。所以我對於人還是比較有信心的。那些《黑鏡》裡面講到的科技，我想它一定會實現的。但我覺得人會用一種新的方式，去適應它、認識它、去感受它，甚至於利用它，來改變這個世界，讓這個世界變得更好。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！