從SDK看Magic Leap要做什麼，具備什麼功能

文章相關引用及參考：映維網

我們需要等到設備在今年下半年上市後才能知曉答案。

（映維網 2018年04月13日）在不久前，我寫道Magic Leap可能將主要從他們發布的專利入手。儘管專利確實提供了他們正在研發的項目的線索，但Magic Leap沒有公布產品將具備的功能。在當時，一系列的功能都不存在。

但現在它們已經正式出現:

1. Audio（音頻）：支持立體音頻輸出和語音麥克風錄製。

2. Camera （攝像頭）：攝像頭可以捕捉靜態圖像與視頻。

3. Dispatch（調度）：允許應用程序利用Magic Leap瀏覽器或其他應用來打開URL。

4. Eye Tracking （眼動追蹤）：能夠檢測用戶眼睛的注視點位置。系統同時可以檢測眨眼。

5. Graphics （圖形）：OpenGLES，Desktop和Vulkan渲染通道。

6. Hand Gestures & Key Point Tracking （手部姿勢與關鍵點追蹤）：識別用戶的手部姿態（手勢），並且追蹤可識別點在手指指尖上的位置，如食指指尖。

7. Head Tracking （頭部追蹤）：支持完整的6自由度頭部姿態追蹤。

8. Image Tracking（圖像追蹤）：追蹤用戶環境中指定圖像目標的位置和方向。

9. Input (Control / MLMA Support) ：從Magic Leap Control中檢索3自由度（方向）或完整的6自由度（位置和方向）。檢測按鈕和觸摸板按下動作，以及模扳機鍵。觸發值範圍從0到1。支持一系列的觸摸板手勢範圍，同時支持觸覺振動和LED鈴聲反饋。用戶界面無縫兼容Magic Leap Controls和Magic Leap Mobile App。

10. Light Trackin（光線追蹤）：提供用戶環境周圍光線的信息（亮度，全局色溫）。

11. Media Codec （媒體編解碼器）：底層，硬體加速的媒體編碼與解碼。

12. Media Player （媒體播放器）：簡單，直接的媒體播放界面。

13. Meshing （網格劃分）：將世界深度數據轉換為可用於遮擋和物理的聯網三角網格。

14. Music Service （音樂服務）：支持連接和收聽流媒體音樂服務。

15. Occlusion （遮擋）：一個將深度數據提供給Magic Leap平台以處理硬體遮擋的界面。

16. Planes （平面）：識別用戶環境中放置內容的平面。這包括天花板，地板和牆壁的語義標記。

17. Raycast （光線投射）：發射光線並獲取與世界深度數據相交的交點。

18. Secure Storage （安全存儲）：將應用程序的數據保存到設備的加密存儲。

根據這份列表和開發文檔其他信息，我們可以更好地猜測Magic Leap One的功能，以及其面臨的挑戰。

1. 眼動追蹤

根據其效果，眼動追蹤將成為Magic Leap十分關鍵的一點。由於沒有觸摸屏或滑鼠操作，在混合現實中進行選擇一直都是挑戰。手勢的準確度或許沒有你想像中那麼高，而採用頭部姿態進行操作則意味著你需要付出大量的頭部運動。如果能夠單純看向一個對象，然後通過眨眼或採取一定的姿勢來實現操作，這將成為一個重大的進步。

2. 手部姿勢

Magic Leap One將支持8種手部姿勢。這顯然多於HoloLens。結合眼動追蹤，這種手勢將形成Magic Leap交互的基礎，至少對不採用控制器的應用程序而言是這樣。

3. 控制器

Magic Leap控制器具備你所期待的一切基本內容：觸控板，Home鍵，扳機鍵…但這個控制器同時支持6自由度追蹤。我們暫時不清楚具體的精度，但單純通過加速度計提供方向和位置數據是一項相當困難的挑戰。正如映維網過去所言，Magic Leap似乎採用了磁性追蹤來促進這一點。位於Lightwear側邊的突起空區有可能是裝載了磁性追蹤所需的磁性線圈。如果事實確實如此，我們有可能看到Magic Leap實現可以比擬Vive的追蹤精度，但無需笨重的外部攝像頭或基站。

文檔中揭示的另一個細節，但尚未詳細說明的是：Magic Leap移動應用程序的存在。這款應用程序可能用於安卓和iOS，並作為Magic Leap的控制器。文檔暗示，它會將智能手機的觸控輸入傳輸到Magic Leap，這樣智能手機就能像Magic Leao控制器上的觸控板那樣工作。我認為這可能表明Magic Leap有可能將單獨出售控制器，而如果你不想為其進行投資，你可以把智能手機用作是控制器。

4. 遮擋/深度映射

Magic Leap直接在API中支持遮擋。遮擋是一個眾所周知的難題，以前的消費設備都沒有很好地予以解決。它需要準確的深度映射，而這正是困擾著Tango和HoloLens的地方。在非常特殊的情況下，這些設備可以很好地支持遮擋。我懷疑Magic Leap將採用一定的預測性判斷，有可能通過機器學習來更好地支持遮擋。

文檔表明，Magic Leap採用了基於IR的深度感測器，與Project Tango和Hololens類似。這意味著它們難以支持明亮的日光和昏暗的材料。

文檔清楚地表明，這不適用於動態的移動對象。它指出：「系統預計環境大部分是靜態，而變化（例如移動的對象或行走在設備前面的人員）只是偶爾發生。對於小的變化，重建應該可以在數秒內緩慢更新以添加新的對象或刪除移動的對象。顯著或持續變化的環境可能將導致洞孔或不正確的幾何形狀。」

這意味著如果有人進入你的視場中時，遮擋將不起作用。數字對象將出現在它們的前面。我們希望Magic Leap能夠在未來的迭代改進這一點。

5. 圖像追蹤

圖像追蹤功能直接集成在Magic Leap SDK中。這使得Magic Leap能夠識別給定的圖像，並追蹤其在現實世界中的位置。這不是我期望在API層看到的功能。我設想了這麼一款應用程序，它能夠令牆上的藝術品生動起來。下面是一個例子（但這個體驗不是運行在Magic Leap上）。

6. 對標ARCore/ARKit

SDK同時包含平面檢測和光線追蹤等功能。對此，這已經成為AR工具包的基本要素。

7. Lumin OS

Magic Leap將運行名為Lumin OS的定製操作系統。Lumin基於安卓，但經過了大量修改以支持空間計算的要求。這對開發者來說是個好消息，因為這意味著任何具備安卓或linux經驗的開發者都將在一定程度上熟悉Magic Leap的平台。這同時意味著Magic Leap沒有嘗試重新發明一個全新的工具，而是利用安卓開源項目的多年積累。

在上面列出的功能中，我們看到了Dispatches的存在。這聽起來像是Android Intent系統的重命名。這項功能允許你為特定的行為選擇特定的應用程序，例如選擇默認瀏覽器。儘管目前尚不清楚Magic Leap是否允許用戶選擇默認應用程序，或者說他們是否會強迫用戶選擇他們自家的應用程序，但這仍然是一個很好的跡象，因為說明了我們在這個平台上有著更多的選擇。

8. 效果？

文檔已經說明了我們可以期待Magic Leap將有著怎樣的功能。就以往而言，從來沒有這樣一款如此小尺寸的設備能夠像Magic Leap One那樣擁有如此多的功能。但關鍵的問題不是有多少功能，而是具體的效果如何。控制器的追蹤是否精準？圖像保真度如何？眼動追蹤的精度如何？我們可以期待怎樣的GPU/CPU性能？你可以為設備提供世界上所有的功能，但如果效果糟糕，這一切都不再重要。對此，我們需要等到設備在今年下半年上市後才能知曉答案。

原文鏈接：https://yivian.com/news/43901.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！