不僅是注視點渲染，眼動追蹤為何是VR變局者

眼動追蹤將成為VR行業的變局者

（映維網 2018年05月10日）能夠快速和精確測量用戶注視點的眼動追蹤常常是與注視點渲染聯繫在一起討論，人們希望這一功能可以降低VR的性能要求。儘管注視點渲染是眼動追蹤在VR頭顯中一項令人感到興奮的用例，但眼動追蹤的作用並不只局限於此。

多年來，眼動追蹤對VR而言都是一項遙遠的技術，但現在行業已經在精度、延時、穩定性和成本上取得了長足的進步，開發者和研究人員已經越來越能用上相關的硬體。

像Tobii這樣的企業正在為製造商和開發商提供眼動追蹤硬體和軟體，高通已經在他們的VRDK頭顯中採用了Tobii的解決方案；北京七鑫易維除了跟高通合作，還在銷售用於Vive頭顯的aGlass眼動追蹤開發套件；而Fove同樣為市場帶來了內置眼動追蹤功能的VR頭顯開發套件。在另一邊廂，Oculus最近展示了一款首次集成眼動追蹤的新原型；Magic Leap則確認他們即將推出的開發頭顯集成了眼動追蹤功能。另外，蘋果同樣收購了眼動追蹤領域的領導廠商之一SMI，並且已經申請了實施該技術的相關專利。

面對這樣的發展勢頭，映維網相信我們在未來幾年內將會看到眼動追蹤成為消費者VR頭顯的標準元素。屆時，眼動追蹤將能令一系列可以提升VR體驗的功能成為現實。

1. 注視點渲染

我們首先從大多數人已經熟悉的功能開始。注視點渲染旨在降低VR場景所需的計算能力。這個名字與「中央凹」有關，亦即人類視網膜中心的一個小坑。人眼中心凹的解析度最高，而我們外圍視覺在細節和顏色方面則較低，但對運動比較敏感。你可以將它想像成一台相機搭載了一個只有數百萬像素的大型感測器，而中間又嵌入了一個數千萬像素的小型感測器。

實際上，你能夠以高解析度感知世界的視覺區域比你想像中要小：僅僅只有幾度而已。中央凹與其他區域之間的分辨力差異非常巨大，以至於沒有沒有中央凹，你甚至無法識別本文的文字。你可以很容易地看到這一點：如果你將注意力集中在這個「單詞」上，然後嘗試閱讀後面兩個句子。即使你能看到類似於詞語的形狀，你也幾乎無法確定它們究竟是指什麼內容。人們高估視力的中心凹大小的原因似乎是：大腦做了大量無意識的解釋和預測來建立我們知覺中的世界的模型。

注視點渲染的目標是利用這一特點，只以高解析度渲染中央凹位置，亦即人眼注視點區域，然後大幅降低外圍視覺的的場景複雜度。這樣做可允許我們將大部分處理能力集中在對細節貢獻最大的區域，同時在其他地方節省計算資源。這聽起來可能沒什麼大不了，但隨著VR頭顯解析度和視場的提高，渲染複雜場景所需的計算能力正以指數級速度增長。

眼動追蹤顯然能派上用場，因為我們需要知道用戶的注視點位置，只有這樣才能快速和精準地採用注視點渲染。研究人員相信，這種錯覺可以在用戶完全無法感知的方式實現。有趣的是，映維網已經從最近的一些演示作品中見證了這一點。

2. 自動用戶檢測與調整

除了檢測眼球運動之外，眼動追蹤還可以作為生物識別器。這令眼動追蹤成為在單一頭顯中處理多用戶配置文件的絕佳選擇：當戴上頭顯時，系統可以立即識別為特定用戶，並調出用戶的自定義環境、內容庫、遊戲進度與設置。當另一個用戶戴上頭顯時，系統可以載入他們的偏好和保存的數據。

眼動追蹤也可用於精確測量IPD，即兩眼之間的距離。確定IPD對VR而言十分重要，因為你需要將透鏡和顯示器移動至舒適和視覺質量最佳的位置。遺憾的是，大所述人都不清楚自己的IPD（你可以用尺子對眼睛進行粗略的測量，或者詢問你的眼科醫生）。

藉助眼動追蹤，你將能夠輕鬆且即時地測量每位用戶的IPD，然後軟體可以幫助用戶調整頭顯IPD匹配，或者告知用戶其IPD超出了頭顯支持的範圍。

在更先進的頭顯中，這可能是不可見的和自動的過程：頭顯能夠無形地測量IPD。而且頭顯可以包含機動IPD調節，自動將透鏡移動到正確的位置。

3. 變焦顯示器

今天VR頭顯中的光學系統效果很好，但它們實際上相當簡單，不支持人類視覺的一項重要功能：動態聚焦。這是因為VR頭顯的顯示屏始終都與我們的眼睛保持固定的距離，即便立體視覺深度不同時也是如此。這導致了一個名為「視覺輻輳調節衝突」的問題。

調節

視覺調節是指彎曲眼睛晶狀體以聚焦不同距離下的物體。

在現實世界中，為了聚焦近處物體，眼睛的晶狀體會彎曲，令物體反射而來的光線到達視網膜上的合適位置，從而讓你清晰地看到物體。對於距離較遠的物體，光線則以不同的角度進入眼睛，而晶狀體必須再次彎曲以確保光線聚焦在視網膜上。所以，如果你將一隻手指舉到離面部數厘米遠，然後閉上一隻眼睛並將注意力集中在這隻手指，這時手指後面的世界將會變得模糊不清。相反，如果你把注意力集中在手指後面的世界，你的手指將變得模糊不清。這就是視覺調節。

輻輳

輻輳是指兩隻眼睛向內旋轉以將每隻眼睛的視圖重疊成一個對齊的圖像。

然後是視覺輻輳，這是指兩隻眼睛向內旋轉以將每隻眼睛的單獨視圖「聚合」成一個重疊的圖像。對於非常遙遠的物體，兩隻眼睛幾乎是平行並列，因為它們之間的距離相較於離物體的距離非常小（這意味著每隻眼睛幾乎都能看到物體的相同部分）。對於非常靠近的物體，兩隻眼睛必須向內旋轉才能令每隻眼睛的視角對齊。對此，你也可以借鑒上面的手指技巧：這一次，用雙眼看著面前的手指。請留心，你會注意到手指後面的物體出現了重影。當你將注意力集中在手指後面的物體時，你則會看到手指出現了重影。

衝突

藉助足夠精確的儀器，你可以使用視覺調節或視覺輻輳來確定一個人正在看著的物體到底有多遠。但問題是，視覺調節和視覺輻輳都發生在你的眼睛，而且是自動進行。視覺調節和視覺輻輳存在直接相關性，因此，任何給定的視覺輻輳測量都存在直接對應的視覺調節水平（反之亦然）。從嬰兒時期起，你的大腦和眼睛已經形成了肌肉記憶，你在任何時候在注視任何物體時它都會令這兩件事情一起發生。

但對於今天大部分的AR和VR頭顯，由於光學設計的固有局限性，視覺調節和視覺輻輳都無法同步。

一款基本的AR或VR頭顯都存在用於渲染虛擬場景的顯示屏（假設離眼睛10厘米），以及將來自顯示器的光線聚焦在眼睛的透鏡（就如同眼睛晶狀體將世界的光線聚焦到視網膜上那樣）。但由於顯示屏與眼睛之間的距離為靜態，而且透鏡的形狀同樣是靜態，所以來自顯示屏的任何光線都是來自相同的距離。所以，即使80米遠的有一座虛擬山峰，5米遠的桌子上有一個咖啡杯，兩個物體的光線都會以相同的角度進入眼睛。這意味著晶狀體彎曲的視覺調節永遠不會發生改變。

這樣視覺調節將與視覺輻輳產生衝突：視覺調節永遠不會改變，但視覺輻輳卻會出現。我們可以向每一隻眼睛顯示不同的影像，所以我們的眼睛需要將對象聚合在不同的深度，而能夠為每隻眼睛獨立地調整影像實際上是當今AR和VR頭顯立體視覺的基礎。

但是，我們可以開發的最逼真顯示器，而且可以說是最舒適的顯示器可以消除視覺輻輳調節衝突，並讓兩者同步工作，就像我們在現實世界中所習慣的那樣。

能夠動態調整焦點深度的變焦顯示器則是該問題的一個潛在解決方案。實現變焦顯示器存在一系列的方法，而或許最為簡單的方式之一就是物理來回移動透鏡以實時改變焦點深度。

實現這種致動式變焦顯示器需要眼動追蹤的支持，因為系統需要準確知道用戶的注視點位置。通過追蹤用戶眼睛注視點在虛擬場景中的移動路徑，系統可以發現路徑相交的點，從而建立適當的焦平面。接下來，系統可以將信息發送至顯示器以進行相應的調整，將焦點深度設置為匹配眼睛到對象的虛擬距離。

一個正確變焦顯示器不僅可以解決視覺輻輳調節衝突，同時可以允許用戶聚焦更接近於他們的虛擬對象。

早前研究人員把變焦顯示器集成至VR頭顯之前，眼動追蹤就已經用於模擬景深，近似用戶眼睛焦平面之外的對象模糊。

4. 注視點顯示器

注視點渲染旨在更好地分配低細節外圍視覺和中央凹之間的計算能力，減輕系統負載，而同樣的效果可以用於實際的像素數目。

注視點顯示器不只是單純改變顯示器特定區域的渲染細節，其實際上能夠進行物理移動，這樣無論用戶看向哪裡，顯示器都能維持在用戶注視點的前方。

注視點顯示器可以在VR頭顯內實現更高的解析度，同時無需強制在視場中以更高解析度對像素進行填充。因為這樣做不僅成本高昂，而且隨著像素數量接近於視網膜解析度，這將帶來挑戰性的功率限制。相反，注視點顯示器可以根據眼動追蹤數據將較小的像素密度顯示器移動到用戶的注視點位置。這種方法甚至有可能實現比單個平面顯示器更高的視場。

Varjo是一家致力於開發注視點顯示器系統的企業。他們採用了一個覆蓋廣闊視場（但像素密度不是很高）的典型顯示器，然後在其上疊加了一個像素密集的微型顯示器。這兩者的結合意味著用戶的外圍視覺既有廣闊的視場，又能實現中央凹視場的高解析度。

Varjo最新的原型目前沒有移動較小的顯示器（它只是停留在透鏡中心），但為了確保高解析度區域總是位於注視點中心，該公司已經考慮了多種移動顯示器的方法。

5. 改善社交角色

今天許多社交VR應用似乎支持逼真的眼球運動，包括眨眼睛，掃視和對象聚焦，但所有這一切都是通過動畫和編程邏輯進行的偽裝。這種錯覺有利於減少虛擬角色的機器感，但當你真正與某人面對面交流時，實際的非語言信息就會丟失。

準確的眼動追蹤數據可以輕鬆應用到VR角色身上，從而實際顯示用戶在什麼時候眨眼或者他們正在看著哪裡。這同時可以帶來有意識和無意識的非語言交流，如眨眼，眯眼和瞳孔擴張，甚至可以用來推斷對方的情緒，如悲傷或驚喜，因為這一切都會反映在虛擬角色的眼睛裡。

6. 意圖和分析

眼動追蹤同時十分適合被動地理解用戶意圖和注意力。比如一位開發者正在研發一款恐怖遊戲，其中玩家需要在鬼屋中探索。傳統上，開發者可能需要花費很長時間來製作腳本序列，比如當玩家進入特定區域時怪物將從壁櫥中冒出頭來，但如果玩家沒有直接看向壁櫥，他們就會錯過這個有趣的觸發點。在這種情況下，當用戶朝正確方向看時眼動追蹤輸入就能馬上觸發事件。或者眼動追蹤可以令詭異的鬼影從玩家外圍視覺飄過，然後當玩家正眼看時就消失於黑暗之中，從而營造更為驚悚的體驗。

除了使用眼動追蹤來最大化恐怖體驗之外，這種被動輸入還可以用來幫助玩家更好地控制虛擬環境。Tobii是一家眼動追蹤硬體和軟體的製造商，他們的其中一個演示作品就是幫助用戶在VR中投擲物品時提高自己的準度。系統可以根據用戶注視點推斷他們想要拋出的位置，然後改變拋出物體的軌跡以實現精確的投擲。下面的剪輯說明了實際軌跡與修正軌跡，但剪輯只是用來演示。在實際使用中，這對用戶來說是完全不可見，而且感覺非常自然。

除了這種實時的意圖理解之外，眼動追蹤也可以為分析帶來非常大的價值。通過採集用戶「正在看什麼」，「在什麼時候看向這裡」等相關的注視點數據，開發者可以更深入地了解應用程序的使用情況，從而幫助他們優化應用或者為其他提供分析支持。例如，眼動數據可以用來說明用戶是否有留意到重要的按鈕或視覺線索，用戶的注意力是否被環境中的非預期部分所吸引，某個界面元素是否沒有得到充分利用等等。

7. 積極輸入

眼動追蹤對積極輸入十分有用，允許用戶主動利用他們的注視點來更快，更輕鬆地完成任務。雖然今天許多VR應用允許用戶通過指向對象並啟動抓取動作，從而「拉動」遠處的物品，但眼動追蹤可以加快這一操作的速度和精度。眼動追蹤實際上可以令這項任何更加準確，因為我們的眼睛指比手中的激光指示器更適合指向遠處的對象，因為手部的自然搖晃幅度將隨著距離的增加而變大。

跟抓取對象一樣，眼動追蹤輸入可以令VR操作更高效，允許用戶更快速地按下按鈕和實現其他操作。可以想像，當VR真正成為一項普遍的高效計算平台時，眼動追蹤輸入將扮演十分重要的角色。

8. 醫療研究

眼動追蹤在醫療與研究領域存在廣泛的用例。SyncThink等企業正在使用配備眼動追蹤功能的頭顯來判斷腦震蕩，據稱這樣的設備可以提高現場診斷的效率。

研究人員同樣把眼動追蹤用於數據採集與輸入，比如更好地理解自閉症對社交性眼神接觸的影響，探索注視點在專業鋼琴家表演中的作用，或者為殘障人士提供更多的支持等等。

– – — – –

考慮到一系列的潛在進步，我們顯然可以發現眼動追蹤將成為VR行業的變局者。在不久的將來，內置眼動追蹤將成為高端頭顯的首要任務，並最終成為VR的標準功能（同樣適用於AR）。

原文鏈接：https://yivian.com/news/45097.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！