高解析度VR視頻直播技術進展

在近日舉辦的2018年美國廣播電視展（NAB）上，各大團隊紛紛展示了各自在VR方面的新內容，包括Fraunhofer HHI，Ericsson，Harmonic和Nokia在內的多個VR廠商在展會上呈現了最先進的VR技術和最優質的360度視頻內容。

Fraunhofer在世界範圍內首次聲明，自己的VR團隊已經實現了標準條件下超越4K解析度的實時VR360度視頻流的端到端鏈路，並會在下一屆的NAB進行展示。

高解析度VR360視頻的10K採集和實時渲染使用了Fraunhofer HHI Omnicam-360相機以及基於Fraunhofer HHI HEVC編碼器和圖像塊（tile）的實時編碼方法。該處理流程是在虛擬現實行業論壇（VRIF）的指導下實現的，同時也參考了MPEG-MOAF基於視角的流媒體配置文件在VR眼鏡和電視屏幕進行高質量播放方面的說明。

圖1 Omnicam-360

包括Nokia和Imeve（前Nokia OzoLive團隊成立的公司）在內的VRIF成員公司均強調了VR360的交互性，並在NAB北展廳的Futures Park內進行了改方面的演示。

VRIF總裁Rob Koenen表示："我們將持續討論VR部署的現狀，這可以從近期的大事件如奧運會中獲取相關信息，以及業界如何通過協作和標準化方法更好地推進VR產業。同時，我們也非常高興看到VRIF成員公司在NAB Futures Park展出他們在VRIF指導下的實際成果。"

Nokia在過去始終對新興VR行業標準的推動給予了支持，並展開了深入研究。在NAB上，其展示了視角相關視頻流的回放系統，該系統可以節省帶寬，以較低的解析度發送用戶視角外的VR場景部分。

Imeve展示了用於Live 360和VR視頻的專業軟體工具，該軟體可提供同類型下具有最佳播放質量和可靠性的實景體驗。配合Z Cam S1相機，Imeve的相關技術能立即輸出可投入使用的6K實時視頻流，該視頻流體現了以VRIF指南為基礎的Live VR360度視頻流的格式。

圖2 Z Cam S1

Imeve聯合創始人兼首席執行官Devon Copley表示："VR360在點播和現場直播兩方面所共同面臨的巨大挑戰之一是需要可互操作的解決方案，以滿足諸如超高解析度，視角自適應流傳輸和立體視覺等要求。然而任何一家公司都不可能獨立解決這些問題，VRIF則發揮著非常重要的作用，使得整個行業的眾多參與者可以聚集一堂，共同提供解決方案以滿足用戶需求。"

Ericsson與Tiledmedia合作，呈現了8K解析度Live VR服務下高動態範圍（HDR）內容的廣播，可以與電視播放內容形成同步。該顯示方案採用Ericsson的HEVC 360 Live編碼器。Ericsson的演示主要是其在IBC2017期間展覽內容的延伸，上述研發的編碼器尚未投入使用。

圖3 參展者正在體驗VR

除了通過現場演示的方式吸引參展者外，Ericsson還通過第二屏幕放映HMD（頭戴式顯示器）、平板電腦甚至超高清（UHD）電視上可播放的360度視頻。

根據Ericsson Merged Reality報告，10個早期消費者中有7個認為VR會從本質上改變未來的日常生活，包括從媒體到教育、社交互動的方方面面。同時也有消費者認為虛擬屏幕將在不到一年的時間內取代電視和影院。

Harmonic則展示了沉浸式的8K VR視頻點播系統，該VR360系統使用了Harmonic的Cloud SaaS VOS360平台，該平台使用內容感知編碼技術EyeQ實現DASH和HLS條件下最低比特率內容的採集，轉碼和流傳輸過程。

經過對NAB 2018中VR技術的總覽，我們可將Live VR歸結為三個部分：頭端硬體成像設備、VR直播技術、終端HMD。

正如Fraunhofer HHI通信公司的負責人Kathleen Schr?ter在IBC 2017的報告中所說，目前主要的瓶頸還在HMD，解析度、視角、舒適度等都還跟不上頭端採集設備的能力。

硬體成像設備主要指的是拍攝360度視頻的相機設備。為營造一個全景的視頻內容，目前的VR廠商大多採用多攝像頭進行拍攝，但是多鏡頭拍攝特性會引入攝像頭同步問題，因此硬體設備還包括各類感測器，多感測器同步工作，以同時記錄當前影像以及HMD運動情況。

VR直播技術除了各公司在NAB上介紹的各類實時編碼技術外，主要還涉及到視頻拼接、視頻映射、網路傳輸三類技術。Live VR與普通直播不同，VR直播需要把採集到的影像拼接成全景的圖像，將多鏡頭拍攝的畫面進行亮度色彩調整、對齊、畸變矯正等環節。只有做到質量無損的拼接，快速實時的拼接，才能保證直播的流暢性與舒適感。

視頻拼接完之後得到的球面內容目前還未能直接傳輸，一般利用視頻映射技術將全景視頻投影至同一個平面，目前的VR研究中通常採用的投影方法有：經緯圖投影、圓柱等面積投影、立方體圖投影。各投影方法各有優劣，具體的選取還得取決於內容形式以及處理條件。

圖4 立方體圖投影變換

平面視頻經編碼後，會進行網路傳輸。實際系統運行時，所面臨的最大問題是上行問題。就目前的網路現狀而言，上行帶寬可能只佔下行帶寬的十分之一，因此許多運營商採用選擇性推流和碼率動態調整的方法緩解擁堵，然而帶寬一旦降到很低時，Live VR 體驗也會很差。對於下行方面，採取的都是直播當中普遍的技術，比如 RTMP、HTTP 、FLV 等，同時，還會在雲端做一個多碼率的措施，使用雲轉碼生成多碼率的視頻，以保證用戶的基礎體驗。

圖5 Live VR顯示畫面

總結

NAB 2018上展現的各類VR技術與產品讓我們對虛擬現實充滿了興趣和希望。但具備優良沉浸感、舒服感、交互性的虛擬現實距離真正的實現還有一段路要走，虛擬現實的諸多關鍵技術還需完善和標準化。不過，眾多技術公司、科研團隊投入VR的現狀也讓我們相信，這段路的盡頭並沒有那麼遙遠。

參考：

https://www.ibc.org/consumption/fraunhofer-leads-live-vr-demo-at-nab/2763.article

http://vr.ofweek.com/news/2017-06/ART-81500-8600-30141687.html

http://www.vrzy.com/vr/65750.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！