深解MagicLeap，六千VR眼鏡到時一文不值
Magic Leap 一直對他們的技術的工作細節保密。我們現在僅僅知道他們的系統是一個全新的系統，並且遠超一切消費者熟知的現存競爭對手。這也難怪 Magic Leap 想要為自己的革命性的系統保密。眾多的企業都在伺機窺探，想要了解究竟是什麼技術，讓人們如此的興奮。
這種技術，聽上去就是 Apple 想要擁有的，那種潛在的革命性的帶有真正創新意味的「新事物」；也是微軟在 Hololens 上想要努力實現，卻又遠未實現的。它受 Google Glass 的啟發，卻又明顯領先幾代的。
這個技術到底是什麼，它究竟是如何工作的？我調查了在 Magic Leap 工作的人所做的演講、專利、工作申請和他們的背景，試圖尋找這個問題的答案。
總體來說
***
這是常規大小眼鏡。但相機又往哪放呢？註：這可不是 Magic Leap 的產品。
在談論細節之前，我們先總體上談談這是個什麼技術。簡單說，Magic Leap 在做一個設備，這個設備能把物體投影到人的視場，而且真實得遠超我們現在所見的其它類似設備。Magic Leap 的設備由兩部分組成：一副眼鏡和一個便攜的口袋式投影儀/計算模塊。這模塊是差不多手機大小的沒屏幕的長方體。這個攜帶型計算模塊通過數據線連接眼鏡。眼鏡與普通眼鏡有著類似的尺寸和結構，也許稍胖一點點。體積小是該產品的一個重要特徵。體積小意味著該產品可以在社交場合里佩戴使用，也許有可能會像智能手機一樣地便攜易用，隨處可用。
攜帶型投影和計算模塊
***
如圖所示，一個與 Magic Leap 便攜模塊大小類似的充電寶。
Magic Leap 最突出的是能把一大部分必須的硬體設備從眼鏡本體上拆除，放在另外一個獨立的模塊中。HoloLens，剛好相反，其顯著地削減了頭戴設備中各個組件的尺寸，但也只能做到現在的程度。那便攜模塊裡面都有些什麼呢？可能有如下部分：
電池
這塊電池的容量大約相當於現在的智能手機，也許還得再多點。如果要替代智能手機，那更得是相當牛的一塊大電池。估摸著差不多至少得 5000 毫安時。
CPU/GPU
肯定要用最新一代的移動 CPU。估計會用高通的。幸運的是，他們應該用不到高端圖形處理，因為混合現實（Mixed Reality MR）只需要渲染局部，不需要渲染整個場景。這樣就避免了虛擬現實（Virtual Reality VR）所需的高強度圖形處理。
內存
跟智能手機差不多，估計 3 - 4 GB。
定製的SLAM 晶元
這個是把虛擬物體擺放到真實世界所必需的。他們可能會自己流片，或者採用Movidius 或其它類似的晶元。
4G/Wifi/藍牙
SIM 卡
GPS 晶元
相機
眼鏡上肯定要有一堆相機，但這並不意味著便攜模塊就可以沒有了。頭戴設備上的 SLAM 相機跟普通數碼相機是不同的。眼鏡的體積有限，可能容不下一個高功耗的相機，只能放進便攜模塊。這樣設計的好處是可以減輕他人對隱私侵犯的擔憂，沒有便攜模塊只有眼鏡的話，沒法拍照。
激光投影儀
這是該設備最主要的創新。把投影系統從眼鏡上拿走，挪到便攜模塊上，使得產品的體積顯著縮小。投影的光由便攜模塊生成，然後通過光纖傳導到頭戴設備。後面我們會詳細分析一下其工作原理。
眼鏡
***
當我們儘可能把所有東西都塞進便攜模塊之後，眼鏡上剩下啥了？眼鏡上得安裝如下組件：
慣性測量單元（IMU）
就是常見的加速度感測器、陀螺儀和指南針。
耳機
也許會用 Google Glass 上的那種骨傳導耳機。這要看他們的設計思路是不是要與身體相協調。骨傳導的優勢是你既能聽見耳機播放的音樂，同時聽到其他的聲音。
麥克風
光學部分
相機
光學部分和相機是最有趣的組件，我們詳細分析一下。
光學部分
***
根據專利文獻，Magic Leap 使用的光學設備比 HoloLens 和 Google Glass 使用的傳統投影系統小很多。如上圖所示，光源是與頭戴設備的主體分離的，這就是為什麼我們可以推測光源在便攜模塊中。其次，該設備的鏡片系統也非常小。示意圖所雖然明顯不是等比例繪製，但也一定表示相關元件的大致尺寸。我們唯一真正看到的元件是鏡片。比較圖中上側的 5、6、7、8 元件和鏡片的寬度，我們不難看出相對大小。
這說明什麼？他們怎麼能把光學部分縮小這麼多，同時還號稱能實現光場顯示、高解析度和驚人的視野？答案包括兩部分：光纖掃描顯示與光子光場晶元。
光纖掃描顯示
***
光纖掃描顯示是從未在消費電子產品中使用過的全新的顯示系統。我們只能通過其 2013 年的專利申請文件進行了解。這份專利申請文件有些日子了，所以關於系統性能的一些細節可能已經不準確了，但基本概念應該還是一樣的。該系統使用一組致動光纖來掃描輸出遠大於其數值孔徑的圖像。這就像老式的顯像管電視。只不過不是掃描輸出電子到熒幕來激發熒光粉發光，而是直接掃描輸出光。掃描是通過壓電致動器來實現的。掃描頻率保持在大約幾十 kHz。但實際圖像刷新率並沒有那麼高。因為需要多次掃描（專利裡面舉例如 250 次）才生成一整幅圖像。這完全改變了我們對於解析度的概念。這個技術的圖像解析度取決於光纖的掃描頻率，光纖可以匯聚的最小光斑尺寸（這決定了像素大小），生成一幅圖像所需的掃描次數和刷新幀率。考慮到專利申請之後，他們對於該技術的進一步優化，其解析度應該遠超現有的消費電子產品。
一組光纖掃描單元緊密排列為一束來增加顯示的尺寸。每根光纖掃描單元的寬度為 1 mm。
除了解析度和幀率，一個寬廣的視場（Field of View, FOV）同樣也是顯示逼真的全息圖像的關鍵。關於這一塊，專利的背景信息部分有一段很有趣的描述。
頭戴顯示器（Head Mounted Display, HMD）的視場可以由微型顯示器的圖像尺寸和觀察光路共同決定。人類的視覺系統的視場，水平大約 200°，垂直大約 130°。但大多數頭戴顯示器僅僅提供了 40° 左右的視場。…… 大約 50 - 60 弧秒的弧度解析度代表著 20/20 的視力表解析度（譯者註：視力測試標準中正常人眼較高的成績，參見 WIKI）。而弧度解析度，是由微型顯示器的像素密度決定的。為了匹配一般人的視覺系統，頭戴顯示器應在水平 40°、垂直 40° 的視場內提供 20/20 視力表解析度。以 50 弧秒計算，相當於八百萬像素（8 Mpx）。如果把視場拓展到水平 120°、垂直 80°，則需要五千萬像素（50 Mpx）。
這裡談到了兩件事。第一，消費級顯示器的解析度遠遠小於大視場所需。這就是為什麼 HoloLens 想要增大視場的話如此的艱難。第二，這顯示出 Magic Leap 的野心。他們想提供一個水平 120°、垂直 80°的視場。這個視場比 Oculus Rift 的視場還大，同時解析度也遠超。他們有沒有實現呢？現在還很難說，但至少專利裡面已經提到了一些技術參數，同時不要忘了這些還是三年前的數據。他們很有可能已經改進提高了這個技術。
像素間距是從一個像素中心到相鄰像素中心的距離。它限制了圖像的解析度。傳統的微型顯示器，例如 HoloLens 所用的，其像素間距在 4 - 5 微米。像素間距限制了這些顯示器的解析度，也因此限制了生成的視場。專利申請文件表明，掃描式光纖顯示器能夠生成 0.6 微米的像素間距，提升了一個數量級。
那究竟能達到什麼解析度？專利里有一段提到一個 4375 x 2300 解析度，但我覺得還不止。這是在描述基本方法時舉的一個例子，後面還討論了多核光纖對於性能的提升。我認為其解析度會遠遠高於該解析度。這對於寬廣的視場是至關重要的。
最後專利提到 120° 視場的這句特別值得注意：
以上所述技術可以用來製造具有寬廣視野的頭戴式或其他近眼顯示方式的超高解析度顯示器。
我認為這充分驗證了，其視場將至少大於 40°，接近其宣稱的 120° 也並不是不可思議的。要我下注的話，我賭 90°。
光子光場晶元
***
第一次聽說 Rony Abovitz 給他的鏡片起名叫「光子光場晶元」，我都鬱悶了。別總給這些早就有的東西起一些不著調的名字了。就叫它 Rony 鏡片就好了。但隨著我逐漸加深理解，它還真不是一個簡單的鏡片。它究竟是幹什麼的，為什麼它比其他鏡片更有意思？我們先來了解一下衍射光學元件。
一個衍射光學元件的例子
可以把衍射光學元件（Diffractive Optical Elements, DOEs）想成是一組非常細的鏡片。他們可以用來整形，分光，勻化、擴散。Magic Leap 使用帶有圓形鏡片的線性衍射光柵來分光，並生成特定焦距的光束。就是說，它把光導入你的眼中，並讓這些光就好像是從一個正確的焦平面發射出來的一樣。常言道，說起來容易做起來難，但這個說起來都難。至少我找到的專利文件是這麼寫的。
為了生成光場，Magic Leap 使用兩個分立的元件配置了一個光子晶元。一個元件（原理圖中的 6）提取投影光，並將其插入第二個元件（原理圖中的 1），第二個元件將光導入人眼。
這兩個元件都是使用 DOEs 來完成工作。DOEs 的主要問題在於，他們經過精心調試只能用來進行一個特定工作。他們不能工作於不同的波長，不能實時改變到不同的焦點。為了解決這個問題，Magic Leap 堆疊了一組針對不同波長和焦平面優化的 DOEs，作為一個大鏡片組來用。這些 DOEs 都非常的薄，跟光的波長在一個尺度，所以加在一起也不會讓設備變得太厚。這就是為什麼這個光學系統被稱為晶元。Magic Leap 能夠開關 DOEs 的不同層。這樣，他們可以改變光到達人眼所使用的路徑。這就是他們如何改變圖像的焦點，來形成一個真實的光場。就像專利裡面說的：
例如，當打開一組 DOEs 裡面的第一個的時候，對於一個從正面看進來的觀察者，可以產生一個光學觀察距離 1 米的像。一組裡面的第二個 DOE 打開時，可以生成一個光學觀察距離 1.25 米的像。
你可能覺得這個技術很局限，尤其是當你需要一大堆層來產生各種不同焦點的像的時候，但還真不是那麼回事。不同的 DOEs 的組合可以產生不同的輸出。並不是一個 DOE 對應一個焦平面，而是一個 DOEs 組合對應一個焦平面。
改變 DOEs 組中的激活層，就會改變從光子光場晶元射出的光。他們很有可能有比圖中多得多的層，但具體多少層就天知道了。
最終，我們明白了 Magic Leap 怎麼實現其過去宣稱的用光來製造暗了。我們分別使用一個外側的 DOE 和一個內側的 DOE 就可以像主動降噪耳機一樣抵消外界的光。專利裡面是這樣說的：
這可以用來抵消類似於背景光或真實世界光的平面光波導，在某種程度上類似於主動降噪耳機。
那，為什麼這是一個晶元？呃，一個典型的電子晶元基於某種條件改變電子的流向。Magic Leap 的光子光場晶元基於某些參數改變光子的通路。我覺得也算是一種晶元了。
我們還缺什麼？我們有了光子光場晶元，有了高解析度投影，但如何構造一幅圖像。這個是靠組合。圖像是分層繪製的，以便讓不同的部件投影到不同的焦距的子圖像上。就是說，每一幀都是通過多次掃描來構建的，每一個焦平面都是分別繪製的。
相機
***
Magic Leap 試圖在相機上實現三個功能。第一個是最明顯的，一個能生成日常圖像的相機。這是他們所使用的最容易理解的相機技術，他們也許就是用一個智能手機市場上最新的類似感測器。這個相機是放在眼鏡上還是便攜模塊上，仍不可知，但總要有一個能拍照片的。
其他兩個功能很有意思。Magic leap 反覆提到其設備具有理解周圍世界的能力。在一個採訪裡面，提到該設備能識別物體，例如刀和叉子。要想做到這個，他們需要一組相機。我們可以看看這方面做的不錯的 HoloLens。HoloLens 有一組四個環境感知相機和一個深度相機。從 Magic Leap 的專利文檔中我們能得到進一步確認。
原理圖上顯示的是眼鏡左右鏡腿上的兩個元件。上面是左邊鏡腿的，下面是右邊鏡腿的。
由以上原理圖，我們可以發現兩個向外的相機，叫做「world camera」。專利的文字描述暗示可能不止兩台相機，原文所述為「一個或多個面向外側或提供世界視角的相機（每側）」。暫時，還不知道具體會有多少個相機，也不知道 Magic Leap 會把這些元件做得有多小。但我們知道的是，這些要放在眼鏡上，而且對於 SLAM 非常重要。
最後一個相機的功能也可以從上面的原理圖中找到。至少要有兩個相機拍攝眼睛。這是用來追蹤視線和眼動以便獲取焦點和視線方向。同時也會有紅外 LED 為這兩個相機提供照明。眼跟蹤對於用戶交互很重要。我想「你在看什麼」個問題對於你如何與 Magic Leap 交互應該是非常重要的。這將是其主要的交互工具，就像是電腦的滑鼠。
當然，現在，我沒法驗證這些信息是真是假，但這些加總在一起，確實感覺上就像 Magic Leap 正在做的東西。不管最後這個產品會不會在消費市場上獲得成功，這確實是好一陣子沒有見到的一個技術產業的真正意義上的創新。我真的無比激動想要看看他們會有什麼奇遇，同時也期待該產品在業界會造成什麼樣的影響。
TAG: |
※安全動態深解析：DDoS攻擊的發展與演變
※全新沃爾沃XC60上市報價多少錢 XC60配置深解析
※昨天一看到熱巴發的這張圖就想到鹿晗，陸地的毒太深解不了了
※深解盤：6.20解盤，黃金空頭1248之下空，原油分水嶺45.5！
※他是深解中國傳統文化的傳奇文人，而在他七十歲以前我們根本不知道他的存在
※深解諸葛亮未出隆中 最愛唱的歌是些什麼內容？
※深解男女關係：關於婚姻背後真相
※南懷瑾深解黃帝內經：什麼是現代人的養生之本？