Pixvana詳解VR雲服務對英偉達VRWorks SDK的支持

文章轉載，請直接留言並註明公眾號ID

查看引用和消息源請點擊：映維網

基於雲端的解決方案

（映維網 2019年04月23日）Pixvana基於雲端的VR管道現在包含了NVIDIA VRWorks 360 Video SDK。Pixvana希望利用雲計算的力量來幫助解決VR創意人士所面臨的諸多挑戰。Pixvana VR管道的亮點包括：

兼容所有主要VR頭顯的視頻播放器，方便進行視頻分發。

後期處理工具和選項，可為頭顯提供最佳質量的360度視頻。

提供拼接工具（利用VRWorks），可根據各種相機系統創建360度視頻。

基於Web的平台，支持Chrome瀏覽器共享，編輯和資源管理。

可定製的互動式視頻允許圖形疊加與測試。

用於創建互動式視頻的頭顯內編輯工具。

…

Pixvana聯合創始人兼首席技術官Scott Squires，以及高級計算機視覺科學家Paul Barsic日前撰文概述了製作360度視頻的基礎知識，並且介紹了Pixvana基於雲端的工具套件，以及VRWorks中的關鍵流程，目的是幫助大家充分利用相關程序來開發360度/度VR項目。以下是映維網的具體整理：

1. 創建360度視頻

Pixvana專註於幫助創作者在不減損視頻質量的情況下製作360度視頻。高質量的360度視頻需要在專門的相機系統來捕捉環境的所有角度圖像。如下圖所示，相關的相機系統一般都會搭載多個感測器和多個攝像頭。

圖1：左邊是Kandao Obsidian R Professional 3D 360 Camera；右邊是Insta360 Pro Camera。

各個攝像頭捕獲的視頻這些視頻視圖需要校準，曝光補償，並在名為「拼合」的過程中進行組合，如圖2所示。其他後期製作功能允許編輯者對圖像進行細化操作，旋轉和顏色校正。拼合和處理一系列圖像會產生通常為8K或更大的等量矩形視頻。

圖2：SPIN Studio後期處理工具和360度拼接工具

儘管等量矩形是360度視頻的標準格式，但它存在明顯的缺點，包括圖像最高點區域和最低點區域的像素浪費。所以除了等量矩形視頻外，我們同時支持多種包含不同幾何形狀和打包方式的專業格式，如菱形平面和FOVAS（視場自適應流式傳輸）。菱形平面是一種特殊的投影格式，可以縮減數據大小。FOVAS則採用特殊的平鋪格式和流媒體技術。即使用戶轉頭，它都可以在活動視場中提供高解析度內容。所述格式旨在克服標準視頻的限制，最終目標是在較低帶寬下生成更高質量的視頻。

圖3是海灘情景的等量矩形投影。請注意，最高點位置和最低點位置的畸變情況。所述像素都是過度採樣，需要更多的帶寬進行傳輸，而這是一種浪費。

圖3：海灘情景的等量矩形投影

圖4是菱形平面投影的格式，其中圖像被投影至二十面體之上。圖像的小平面會被重新排列以適合平面。這種投影格式解決了過採樣問題，使得圖像更小，並而流式傳輸效果更高。

圖4：海灘情景的菱形平面投影

FOVAS方法則需要創建同一視頻的多個視圖，而每個視圖都可以調整至特定的瀏覽方向。然後，播放器根據需要切換至正確的視頻。

無論格式如何，VR視頻製作的下一步都是創建具有不同比特率的多個文件版本，以便視頻可以作為可變比特率視頻進行流式傳輸和下載。對於拼合，顏色調整，格式改動等流程，它們都可以利用雲端和GPU來高效快速地生成所需輸出。

1.2 基於雲端的系統：分發，後期製作和處理

分發是球形視頻創作者面臨的主要挑戰之一。目前最先進的技術是將視頻側載至各台設備。但這需要相當漫長的時間，並且需要頭顯和視頻製作者位於同一位置。Pixvana的SPIN Play功能簡化了這個工作流程，支持遠程管理和跟蹤變化。它同時允許在未網時將完整內容下載至配對的頭顯並進行播放。

SPIN Play提供兩種播放模式：Share Mode和Guide Mode。Share Mode用於短期瀏覽，例如與遠程同事協作。要訪問這一模式，你只需在視頻播放器中輸入唯一的九位密碼，如圖5所示。所述密碼可以標識相應的播放列表。接下來，用戶可以進行完全控制，並且能夠輕鬆退出共享會話。

圖5：共享模式設置

Guide Mode則針對需要更高管理許可權的體驗，例如VR電影或企業培訓場景。運行Guide Mode的頭顯可以跟蹤在線內容，響應更改，並且可以切換至可供管理的播放模式。單位演示者可以同步數十款頭顯，開始和停止播放，甚至可以跟蹤所有用戶的注視點。這樣特殊的功能使其成為了VR電影節和企業客戶的理想選擇。圖6是Guide Mode的管理屏幕。

圖6：Guide Mode

為了提高360度視頻的用處和吸引力，我們添加了創建互動式視頻的工具，如圖7所示。製片可以在VR裡面編輯互動式視頻，並直接在頭顯中為最終瀏覽環境添加埠，圖形和文本。

圖7：SPIN Plau允許你創建互動式360度視頻

處理VR視頻所需的系統性能是VR創作者面臨的又一重大挑戰。典型的VR相機裝置由大約六個或更多高解析度的攝像頭組成。無論編輯決策如何，攝像頭圖像都必須對齊，拼合，並渲染成最終的超高解析度（8K）視頻。這需要大量的處理能力。英偉達顯卡明顯是個正確的解決方案，但渲染所需的性能和時間大幅度佔用了工作站。一些編輯工作者得不得在一天工作結束後令設備繼續處理，從而影響了工作流程。

SPIN Studio是Pixvana基於雲端的平台，藉助VRWorks 360 Video，它可以在合理的時間內渲染高質量的VR視頻。Amazon Web Services (AWS)託管的智能資源管理系統允許用戶同時編輯和渲染多個視頻。一旦用戶請求渲染，系統就將視頻分成多個片段，然後將其分發到多個實例。這樣的系統可以管理不同雲服務平台之間的工作，從而實現更高的吞吐量。在當前的架構中，Pixvana利用了AWS和Microsoft Azure。

完成工作後，最後一個進程是收集結果，從而完整地生成最終視頻。每個GPU實例都運行Callisto，亦即我們內部的視頻處理引擎，它位於Docker容器的一個實例之中。Callisto集成了行業標準計算機視覺庫，包括FFMPEG和OpenCV，我們自家基於C 和CUDA的圖像處理演算法，以及VRWorks 360 Video SDK。這

所有VR視頻處理都涉及以下步驟：

校準,或確定旋轉和扭曲輸入圖像的規則

編輯，裁剪，顏色處理，拼合調整，以及定向

渲染和編碼

藉助雲端技術，新的專業格式，以及Pixvana突破性的VR管道，創建360度視頻變得前所未有的輕鬆。接下來，我們將討論在VRWorks中的圖形，360度視頻和空間化音頻，以及Pixvana VR管道的未來計劃。

2. 雲端的VRWorks

現在我們來討論如何利用VRWorks和基於雲端的處理來優化VR視頻製作。我們同時將介紹在這一過程中開發出的最佳實踐。

2.1 VRWorks的工作原理

VRWorks是一組特定於VR的API，庫和引擎。VRWorks由三個主要組件組成：VRWorks Graphics（適用於應用程序和頭顯開發者），VRWorks 360 Video和VRWorks Audio（適用於空間化的光追音頻）。Pixvana主要利用了360 Video。

NVIDIA VRWorks 360 Video SDK支持基於文件，基於流傳輸數據，以及基於幀的工作流程。它包括五個模塊：High-Level拼合器，校準器，Low-Level拼合器，打包器，以及空間音頻處理器。High-Level管道包括GPU加速解復用器，復用器，解碼和編碼，並可直接處理視頻文件和流傳輸數據。

儘管經過了優化，但High-Level拼合器並沒有提供給交互的能力。相反，我們選擇使用校準器和Low-Level拼合器的組合來實現用戶交互。Low-Level拼合管道直接配合CUDA設備存儲中的幀，並為執行和數據傳輸的線程提供了更大的靈活性和應用程序控制。高度優化的、基於CUDA的打包器可以在透視，魚眼和等量投影之間轉換圖像，從而執行圖像扭曲和失真消除。扭曲操作同時可以將等量矩形拼合輸出轉換為投影格式（如立方體貼圖），以便消除過度採樣並減少所需的流式傳輸帶寬。

圖8是校準工作流程。左側框標有「Sources」，這表示用戶輸入。英偉達校準器根據至少一幀來確定每個攝像頭的一組完整內部參數（焦距，畸變係數，視場）和外部參數（方向和位置）。

圖8：校準流程示例

存在一定的注意事項，如特徵距離，足夠的特徵和適當的照明。場景特徵不應該位於相機裝置的一米或兩米以內，因為顯著的視差會混淆演算法。具有大片無特徵區域（如牆壁）的場景可能會產生對齊問題。最後，場景應該要提供足夠的照明，不能太暗，也不能太亮。

圖9是易於校準的情況。

圖9：後期校準，簡單的照明

圖10則是非常有挑戰性的案例。你可以看到場景非常光亮。在這種情況下，向校準系統提供焦距估計可以提供幫助。但是，你可以顯著看到明顯的對齊問題。

圖10：更為複雜和多變的照明產生了校準方面的挑戰

下面的代碼片段是一個名為NVcalib的VRWorks校準器函數。它分為7個關鍵的步驟：

創建校準實例

設置相機裝置屬性

設置校準選項

將輸入圖像指針（Pointer）傳輸至校準實例

指令校準器執行校準

檢索結果

銷毀校準實例

nvssVideoStitch底層拼合器函數同樣易於調用。下面是粗略的示意性步驟，並不代表最佳工作流程：

設置拼合器屬性

初始化拼合器實例 (每個視頻需要一次)

將輸入數據載入至nvstitch實例

執行拼合

將拼合器的拼合圖像複製到outputRGBA

銷毀校準實例（每個視頻需要一次）

曝光補償是VR視頻的一個重要問題。由於在室外拍攝360度場景將包括太陽光和陰影，因此動態範圍會發生很大變化。相機感測器的動態範圍有限，所以相機裝置中的每個攝像頭通常會自動設置曝光。對於最終的拼合圖像而言，重疊的區域會出現不同的亮度。我們測量亮度差異，並且進行曝光補償，然後再將它們傳輸至VRWorks拼合器。Pixvana正在與英偉達團隊合作優化拼合器，並提供更多的控制和功能以產生更好的拼合。

3. 雲處理的優點，缺點及解決方案

圖11說明了雲計算的其中一個主要優勢。示例視頻中的每個輸入分成短節段，然後分配給多個計算機以進行拼合。收集拼合節段，並編碼成單個拼合視頻。接下來，將最終視頻放到用戶的媒體asset庫中，這樣用戶隨時都可以觀看。

圖11：SPIN Studio的雲處理為360度視頻提供了大量的並行處理

我們基於雲端的方法存在四個重要的局限性。首先，我們對GPU的控制有限。其次，我們必須維護一個基於Web的VR編輯器。第三，我們需要管理一系列服務之間的協同工作。最後，用戶必須上傳源視頻，而這可能是一個耗時的過程。

為了解決將文件傳輸至雲端系統的問題，Pixvana為Windows和Mac OS開發了雲攝取功能和桌面上傳器。桌面上傳器在中斷後可以恢復（如網路丟失或系統斷電），從而為用戶提供了最大的靈活性。上傳器同時理解文件夾層次結構，可以在雲端複製用戶定義的文件結構。上傳狀態將同時報告給Web UI和上傳器，允許遠程編輯器跟蹤進度。

Pixvana同時創建了一套工具來解決VR創建者面臨的主要問題。亮點包括通用播放器，頭顯內後期處理工具，以及基於Web的編輯與管理系統。雲計算令所有這些創新成為可能。這個基於雲端的VR視頻編輯平台以英偉達的VRWorks為核心，同時將成為Pixvana實現XR故事敘述潛力的方式。

4. 未來計劃

為繼續提升電影製作體驗與質量，Pixvana致力於改進我們基於雲端的VR管道。

隨著視頻處理量的增加，我們正在尋求利用機器學習和人工智慧來探索360度電影製作的可能性。

我們同時在研究如何利用圖像識別功能，支持內容感知填充，以及優化視頻內容元數據來改善拼合過程。

儘管我們目前專註於面向VR頭顯的360度視頻，但我們期望涵蓋AR和MR的專門用例。

體三維捕獲正繼續發展，並可提供完整的六自由度捕獲體驗。隨著它變得越加實用，對這項功能的支持將整合至管道之中。

光場是另一種VR視頻技術，可以在六自由度環境中提供完全複製的實時捕捉。

當然，所有這一切將需要雲端提供更多的GPU性能。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！