為什麼是全景聲巨幕影院？來自大朋DPVR工程師的新品創新分享
原標題：為什麼是全景聲巨幕影院？來自大朋DPVR工程師的新品創新分享
事情正在起變化：遊戲向左，影視向右
今年以來，VR市場上並沒有出現正真意義上的第二代PC VR，VR界的焦點從PC VR轉到了一體機VR：業界領先的Oculus推出了Oculus Go，HTC Vive也推出了Vive Focus高端一體機。其中Oculus轉向VR一體機的原因，在去年和今年的Facebook8甚至Google I/O大會上都有提到：不管Oculus 平台還是DayDream平台，用戶把至少80%的時間用在了觀影上：
圖一：來自2018 Facebook 8
83%，代表的是一場趨勢，代表著消費者的核心訴求。基於上述背景，VR界「老兵」大朋VR攜新品 「全景聲巨幕影院」而來，將在2018年8月8日正式開啟新品預售：
在過去半年，大朋DPVR在自主研發的VR技術上再次進行了創新和優化，甚至在看似「孱弱」的國產晶元基礎上，做出了能媲美，甚至在觀影上更勝Oculus Go一籌的VR體驗。接下來，大朋工程師將帶你從產品理念和技術創新方面，分享給你大朋DPVR新品：巨幕影院的技術創新和變革。
中國「芯」，新起點
現有市場上VR一體機多基於美國高通或韓國三星的晶元，大朋最早的一體機M2也不例外，使用的也是三星晶元。
但是這次有點不一樣。在今天「聲援」國產晶元的大背景下，早在幾年前，大朋就非常大膽地提前選定了國內全志的VR9。 大朋曾向全志建議把ATW等VR演算法操作從GPU中釋放出來，打造專有硬體模塊提高效率。4年磨一劍，現在全志終於為全球VR市場發布了第一款專用晶元VR9，定位非常犀利，就是給用戶提供極致的VR影音體驗。尺有所短寸有所長，VR9的影音解碼是強項，但以此就犧牲了遊戲GPU能力。雖說魚與熊掌不可兼得，但是這不影響我們做出正確的選擇。
圖二 ：全志VR9框架圖
在VR9國產的晶元設計的基礎上，大朋從底到高都進行了核心優化，下面就是巨幕影院技術創新分析，供大家討論：
VR流水線：從渲染到人眼
要想真正了解VR技術的本質，得先從VR世界中一個物體如何被渲染並最終進入人眼的過程講起。
圖三： VR物體進入用戶眼中的歷程（流水線）
VR系統本質上是一個異構計算系統，內部的CPU, GPU，Display等硬體模塊一直協同並行工作。VR世界中的每一個物體從第一個模塊開始，在整個流水線上一步步推進，最終進入用戶眼中，如何提高流水線的每一步的效率和並行度是VR系統高效運轉的關鍵。
- 巨幕影院渲染演算法優化 -
設計時受到功耗和晶元面積的限制，移動端GPU性能參數，不管是FLOP還是內存帶寬都大大低於同級別的PC GPU，比如Nvidia的PC端GPU GTX 650和移動端GPU Tegra K1，雖然都來自於Kepler 架構，出現的時間幾乎相同，但前者的內存帶寬是80G/s，後者的只有18G/s。對於用戶來說，這個差別意味著移動端的VR應用和實現不可能採用和PC系統一樣的方法，而對於VR SDK的提供商來說，只能發揮「螺絲肚裡做道場」的精神，想辦法提升移動平台上GPU的利用率。在這個背景下，能夠擠掉CPU和GPU之間泡沫，提高兩者運行並行度的Adaptive Queue Ahead技術應運而生。
以前的VR世界中，CPU總是在VSync（垂直同步）到來才開始下達渲染命令給GPU（如下圖），對於較重的GPU任務，很可能無法在當前VSync剩餘時間中完成，後果就是應用的FPS（Frame Per Second，幀率）下降，最終用戶體驗到應用或者遊戲卡頓，顯示「鬼影」以及眩暈。
圖四 ：不帶Queue Ahead的渲染
Oculus最早在PC端的Rift上提出所謂的Adaptive Queue Ahead技術，CPU不用傻傻的等待Vsync的到來，而是通過預測，在VSync到來之前幾毫秒內開始下達渲染指令給GPU，讓GPU有更多的時間執行任務，有效提高VR應用的FPS，產生更好的用戶體驗。
圖五：帶Queue Ahead之後的渲染
大朋第一次把來自PC VR端的技術引入到VR一體機的世界，讓以前運行卡頓的應用流暢起來，還給用戶一個平滑，沉浸和畫面精緻的VR世界。不過，考慮到PC平台和一體機平台之間的計算能力差異，但這一個優化還遠遠不夠，於是大朋又通過叫「Hidden Mesh」的技術進一步提高GPU的渲染效率。
在VR 頭盔的光學視場中，由於鏡杯結構和人眼特點，圖像中某些區域人眼是無法看到的，在VR圖像渲染中被稱為Hidden Area（如下圖中紅色三角覆蓋的地方，人眼其實無法看到）。
圖六： Hidden Mesh技術
大朋巨幕影院的圖形渲染中巧妙的利用了這點，通過利用特殊繪製的Hidden Mesh（隱藏網格），能有效降低GPU的渲染工作量。CPU，GPU並行度提高了，GPU渲染效率也提高了，又進了了一步。懷著好奇心，筆者進一步分析了Oculus Go的系統，也許出於其他的考慮，發現它並沒有採用Hidden Mesh。下圖紅框是Oculus Go Home中用戶能夠看到的部分，紅框之外圓圈之內的內容用戶通過透鏡和鏡杯並不能看到。
接下來要做的，還需要有效減少用戶佩戴時的眩暈感。人類的身體並非是天生為適應VR而設計的。通過VR設備對感官進行人工刺激，我們正在破壞生物機制的運作，這些機制經歷了數億年時間在自然環境中演變而來。我們也向大腦提供與現實體驗不完全一致的信息。在某些情況下，我們的身體可能會適應新的刺激。但在一些情況下，我們的身體會產生眩暈和噁心等癥狀，部分原因是大腦比平常更高速地運轉，以理解這類刺激。已知的產生眩暈的原因除了顯示解析度/刷新率不足，前庭和視覺系統衝突，虛擬世界中比例失真等，Motion-To- Photons延時過大也是其中的元兇。
Motion-To-Photons延時指的是在運行VR場景的情況下，從用戶的頭部移動開始，一直到這一信號通過VR頭盔輸出的光學信號映射到人眼所需的時間。一般認為，這一延時大於20毫秒會導致用戶體驗到較為明顯的眩暈。
圖七：Motion-To-Phontons
而現有市面上的VR一體機無一例外都是基於Android系統。為了提高手機和平板電腦上顯示的平滑性，傳統的Android系統都是採用了雙顯示緩衝或者三顯示緩衝。但是，這個機制讓VR應用無法知道指定的圖像什麼時候能夠顯示在頭盔屏幕上，加大了VR一體機的Motion-To-Phonton延時，讓用戶體驗到更多的眩暈。大朋做了獨有的硬體結構和演算法優化，讓Front Buffer Rendering（前屏渲染）成為可能：流水線中只採用了一個顯示緩衝，最大程度上減少了Motion-To-Phonton延時，提供給用戶更好的視覺體驗。
圖八：Front Buffer Rendering
- 顯示優化 -
除了渲染性能，顯示清晰度一直是判斷VR頭盔優劣的另外一個重要指標，不過，沒有所謂顯示優化的「銀彈」能一招制敵，清晰度的提升來自於各個模塊的綜合效果，而大朋在每一個部分都做了不斷的迭代和改進，從而帶來了出色的效果。
首先，GPU渲染出來的畫面得清晰。但是，計算機渲染的場景從三維空間的角度看是連續的，經過光柵化之後最終顯示在屏幕上的二維的圖像本身卻是離散的，這導致非完全垂直或者非完全水平的邊上出現鋸齒。
圖九：SSAA/MSAA減輕鋸齒
抗鋸齒最直接的方法是SSAA（Super Sampling Anti Alias）和MSAA。具體的思想都是先把物體渲染到比屏幕解析度大（比如4倍）的緩衝區中，然後再降採樣到和屏幕解析度一樣的顯示緩衝區中最後輸出顯示，這樣更多的信息被保留，而圖像物體邊緣的顏色也因為混合了不同顏色採樣點而消除或者減輕了鋸齒。在大朋巨幕影院的圖形渲染實現中，採用了SSAA和MSAA來抗鋸齒。
不過，事情好像還沒有完，VR用戶常常會抱怨圖片或者文字閃爍。為什麼我們在PC或者手機上看不到閃爍而在VR頭盔中容易看到？這主要是用戶改變了VR世界中離物體的距離，圖像或者文字本身縮放造成的，再加上透鏡本身的放大作用，用戶就會觀察到閃爍。
大朋採用了MipMap技術來防止文字和圖片的閃爍。MipMap是指根據距觀看者遠近距離的不同，以不同的解析度將單一的材質貼圖以多重圖像的形式表現出來：尺寸最大的圖像放在前面顯著的位置，而相對較小的圖像則後退到背景區域。每一個不同的尺寸等級定義成一個Mipmap水平。
圖十： Mipmap防止閃爍
這樣，每次渲染的時候系統會找出相對當前場景最適合的圖像，做最小的縮放操作或者根本無需縮放，讓圖像信息最大程度的保真。
- 70HZ顯示刷新率 -
和Oculus Go一樣，大朋採用了快速響應fast-LCD 屏幕，區別在於，Oculus Go預設的刷新率是60HZ（某些特殊情況可以到72HZ）,而大朋的刷新率則一直是70HZ。
Fast-LCD屏幕上的像素點在每個Vsync過程中並不是完全點亮，屏幕的餘輝（Persistence）大概在1-2ms。假設屏幕的餘暉是1ms，對於60HZ來說，就是6.25%的時間屏幕上像素點是亮的，而對於70hz刷新率來說，就有7%的時間是亮的，大朋巨幕影院用戶會感覺VR世界更亮。同時，人眼工作在一個更高刷新率的模式，較低刷新率的VR頭盔會讓用戶感到閃爍。
- 顯示晶元中的非同步時間扭曲 -
在一個清晰，高刷新率的平穩世界中，常見的VR眩暈依然還有嗎？有可能。帶上頭盔的用戶使用過程中不停的轉動，圖像渲染時採用的姿態信息和圖像上屏顯示時的姿態可能完全不一樣，用戶一樣會暈。
怎麼辦？解決之道是在圖像幀掃描到顯示器之前進行再一次的調整：根據最新的預測姿態更新圖像，這被稱為Time Warping（時間扭曲）或者Reprojection（再投影）。如果在實現中渲染的線程和做扭曲的線程是不同線程的話，又被稱為Asynchronous Time Warping（非同步時間扭曲）。
一般而言，VR計算過程中重要的環節，非同步時間扭曲（包括畸變矯正和色散矯正）在GPU中完成。
圖十一： 傳統的ATW
但是，由於VR遊戲或者應用會在渲染環節佔用大量的GPU資源和計算能力，會造成GPU不能及時完成以上任務，帶來較差的用戶體驗，這在移動平台上尤甚。大朋巨幕影院中第一次創造性的把時間扭曲/畸變矯正/色散等處理放在了獨立的顯示晶元中完成，減少了GPU負載，釋放了GPU資源，有效提高了系統性能，也降低了系統功耗。別小看這一步優化，憑藉這個，大朋能夠在系統功耗上一下子拉開和同類產品的差距，這將在後面進行進一步解釋。
圖十二: 顯示晶元中的ATW
- 圖像後處理機制 -
在手機的世界中，同樣拍攝的照片，加上不同的濾鏡，馬上鳳姐變鳳凰，老太變少女，在VR的世界中更是如此。而所謂的濾鏡，說白了就是圖像後處理。大朋巨幕影院系統中的圖像後處理系統被稱為SmartColor，能夠帶來更鮮艷的色彩和更好的色溫控制，包括如下的功能：
（1） 自適應的細節和邊緣增強；
（2） 自適應的顏色增強；
（3） 自適應的對比度增強和色調矯正。
體驗一下Oculus Go上和大朋上實拍同一張圖片，大朋的色彩要更加的自然，臉部層次更豐富，頭髮處的細節顯示更加細膩。Oculus Go有明顯光暈。
圖十三: 圖像後處理比較(右為大朋巨幕影院）
- 透鏡設計 -
VR頭盔上的透鏡本質上是一個放大鏡，也是VR中很多光學缺陷比如紗窗效應，雜散光等的「元兇」或者 「 幫凶 」。在顯示屏幕解析度大致相同的情況下，VR鏡片看點有兩個：透鏡中心到透鏡邊緣的清晰度下降快慢，菲涅爾雜散光和拖影。
比如，下圖被美國軍方用來檢測鏡片各區域的清晰度。把圖放入頭盔中，你能清晰看到圖像中間水平和垂直紅線的最大刻度是多少？
圖十四：清晰度比較基準圖
答案揭曉，通過把以上圖片導入大朋工程樣機和Oculus Go，左右兩側能看到的最大清晰刻度分別是11.2（大朋），11.2 （Oculus Go）。從清晰度的下降程度看，通過頭顯看以上圖片， 大朋巨幕影院和Oculus Go達到同樣的邊緣清晰度。
和Oculus Go一樣，大朋巨幕影院採用了菲涅爾鏡片。和非球面鏡片相比，菲涅爾鏡片更輕，視場角也能做的更大，長時間試用更保護用戶的眼睛，但是由於其特殊的工藝和形狀，齒間的光漫反射，會造成雜散光和特殊的光暈。
圖十五：菲涅爾透鏡外觀
利用菲涅爾鏡片的優點，補足其缺點，大朋的光學鏡片做了專門的設計優化，有效消除了雜散光和光暈。這種優化效果，在黑暗背景下由亮光形成的圖案中，能夠有效的觀察到。
從Oculus Go頭盔中抓取畫面並放在大朋巨幕影院頭顯內顯示，仔細觀察視野內左下角「未安裝應用」、「環境」白色字體的拖影情況，與Oculus Go頭盔的顯示拖影別無二致。
圖十六：拖影測試圖
另外，在大朋巨幕影院中打開「3D影視」-> 「三少爺的劍」，在影院場景中選擇第7排，然後「關燈」，時間軸定格到00:01:02暫停，畫面顯示下圖內容，仔細觀察虛擬銀幕以外區域的雜光光暈，幾乎難以覺察。
作為對比，Oculus Go也要顯示相似的內容。在 SKYBOX,找到宣傳視頻,時間軸定格到00:00:11暫停，觀影場景選擇「太空」，同樣仔細觀察虛擬銀幕以外區域的雜光光暈會略微差些。
圖十七：光暈測試
環繞立體聲和定向聲場
為強化沉浸感，大朋巨幕影院中加入了獨有的杜比7.1聲道模擬演算法，讓用戶觀看視頻時能體驗到360度環繞立體聲效果。
圖十八： VR 7.1聲道
同時，為了降低周圍環境對用戶的影響，還實現了定向聲場傳播，使用者本人和周圍的旁觀者聽到完全不同的效果。
深度功耗優化
根據CPU自身的狀態，大朋巨幕影院系統能夠進入到3個不同的功耗等級：正常，待機和深度睡眠，實測觀影續航能到4小時。
結合相應的用戶操作和接近開關，大朋巨幕影院系統能夠自動在不同的模式之間切換，達到節電的目的。同時，根據當前CPU、GPU等硬體模塊的負載，大朋巨幕影院能動態調節CPU、GPU的頻點，以滿足不同使用場景的性能需求。比如當CPU使用率大於某一閾值時，會將CPU運行在更高的頻點，以滿足更大的性能需求；當CPU使用率小於某一閾值時，系統會將CPU運行在更低的頻點，以滿足更低功耗的需求。
Oculus Go也有類似的電源管理機制，叫做Dynamic Clock Throttling（動態時鐘調節中文翻譯），不過實測下來觀影時間只有大朋的一半，2小時左右。
寫在最後的化
大朋VR以往的產品，不管是最高端的支持360°Room-Scale範圍的基於紅外激光定位的Polaris，還是2年前就銷往國內外的一體機M2，都基於大朋的自有技術：從演算法理論，硬體製造，頭盔固件，FPGA，到Mobile VR SDK，再到開發工具，都是大朋自己的攻「城獅們」用一行行代碼壘出來的，本次的全景聲巨幕影院也不例外。我們期待著脫胎於自主研發技術的全景聲巨幕影院，為大家帶來驚喜的VR體驗。
以上就是大朋巨幕影院VR創新優化技術的分享，歡迎大家在評論區留言給大朋工程師，分享你對巨幕影院的看法。
TAG:大朋VR |