Oculus基於英偉達光流SDK推出立體透視Passthrough＋

查看引用和消息源請點擊：映維網

Optical Flow SDK帶來了大量的機遇和研究方向，而Oculus將繼續進一步的探索挖掘。

（映維網 2019年05月24日）Oculus正致力於為消費者增強現實與消費者虛擬現實鋪平道路，並且定義所需的組件，從而幫助開發者和用戶在VR中獲得最為愉快，最為身臨其境的體驗。今天Oculus介紹了最近發布的技術：基於英偉達圖靈Optical Flow SDK的Passthrough 。

1. Passthrough

Passthrough 是Oculus Rift S中的一項全新功能，它能夠以正確的立體透視模式在虛擬世界提供前置攝像頭視圖。傳統的VR透視視圖質量有限，這是因為攝像頭往往不是位於玩家的眼前。這是技術方面的限制，而且將攝像頭設置於用戶眼前是不切實際的方案。但我們可以接近這一點。Passthrough 是投影攝像頭視圖的最先進方法，令畫面看起來就像是攝像頭成為了用戶的雙眼。這項功能可以減少深度差異並提高舒適度。儘管攝像頭的幀速率較低，但畫面感覺自然，而且幀率正常。這因為在比較從不同視角同時拍攝的兩個幀時，Oculus的系統可以恢復視差信息。藉助基於像素測量所獲取的差異信息，再結合攝像頭位置，Oculus可以從圖像中推斷出實際的距離值。通過利用非同步空間扭曲技術，Passthrough 可以實時地進行差異估計。

2. 非同步空間扭曲2.0

Oculus最近發布了非同步空間扭曲2.0。自2016年發布1.0版本以來，它已然成為VR二次投影的行業標準。ASW能夠降低用戶設備的性能要求和開發者的優化要求。它可以通過光流來推斷場景內的運動，並實現進一步的外推。

這意味著應用程序不再受限於VR顯示屏的幀率，系統可以開始合成中間幀並予以補充。下面是《Lucky』s Tale》的示例，其中場景應用了運動矢量。

光流這種計算機視覺技術主要用於識別幀到幀的變化。這可以是電影，其中系統追蹤運動以跟隨對象或整個場景。這同時可以是通過不同攝像頭拍攝的兩張圖像。在更基本的層面上，這種圖塊匹配和追蹤是現代視頻編碼的核心組件。你可以將光流類比成視頻編碼中的基於圖塊匹配的運動估計，但兩者的目標不盡相同。在視頻編碼中，圖塊匹配的目標不是在場景中尋找運動（儘管這是一個有趣的意外結果）。對於視頻編碼，其目標是定位類似的圖案，並利用相關性進行壓縮。換句話說，視頻編碼器將尋找能夠為最精簡的數據流產生最佳輸出的最佳結果。儘管這通常是場景的流動，但沒有任何任何保證，或者說原本就不是為了這個目標。光流涉及在場景中尋找對象的更自然運動。對於壓縮，它將是非常次優的目標，只要對象本身能夠整體移動，並且可以路徑追蹤它們的真實世界運動即可。

到目前為止，利用視頻編碼器一直是ASW的基礎。將視頻編碼器用於ASW的主要優點是，它與GPU的圖形渲染並行運行。這意味著當系統嘗試生成合成幀時，渲染性能落後的應用程序不會受到負面影響。相反，應用程序可以擁有以前的所有資源，以及預測運動的能力。但主要缺點是合成幀中的預測不完全準確。

3. 光流

英偉達為估算場景中的光流開發了一種更快、更精確的SDK。這家公司於今年早些時候發布了他們的Optical Flow SDK，並用於取代NVENC視頻編碼器原來單純的運動估算模式。英偉達的Optical Flow SDK可用於圖靈顯卡，能夠將宏塊解析度提高四倍，優化運動矢量解析度，並且通過強度變化實現對象跟隨，同時強調光流而非壓縮比。

結果是終點誤差比傳統的視頻編碼運動矢量平均少一半。定性結果同樣令人印象深刻。通過ASW，系統可以更可靠地追蹤近場對象。手電筒幻覺的出現頻率更低，而增加的精度意味著可以更準確地追蹤單個顆粒和對象的運動。

4. 基於差異的深度信息

對於Passthrough ，這意味著可以增加投影世界的立體解析度，同時能夠正確追蹤和跟隨對象。當面對低對比度或過度曝光的區域時，英偉達的Optical Flow仍然可以推斷出有意義的視差值，在估計場景深度時防止視圖漏洞或丟失數據。以下這個視頻對比了視頻編碼器的運動矢量和英偉達的Optical Flow。插入的窗口是場景中的估計深度，較暗的區域是更後面的位置。你可以在深度緩衝區中看到Optical Flow的優勢，其中深度近似值要更加精確。

5. 即將推出

儘管ASW和Passthrough 可以支持現有的最低規格和推薦規格硬體，但圖靈硬體可以通過Optical Flow SDK提供最佳的運動估算。作為用戶，你可以為Oculus運行時提供圖靈硬體和最新的英偉達驅動程序之外。包含所述集成的Oculus運行時將於2019年6月的1.38版本中與大家見面。

6. 未來的工作

Oculus表示，這並非ASW和光流研究工作的結束。如上所述，光流不僅只可以追蹤運動，同時能夠說明場景的空間組成。我們可以利用光流獲取大量的信息，而傳統的視頻編碼器方法能夠出色地做到所述的任何一點。Optical Flow SDK帶來了大量的機遇和研究方向，而Oculus將繼續進一步的探索挖掘。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！