VVC、JPEG XS、MPEG-I，數據壓縮走向新紀元，為高解析度VR提供支持

文章相關引用及參考：ibc

本文來自於Adrian Pennington

（映維網 2018年05月15日）為大規模處理數據帶來新方法和編解碼器是媒體與娛樂行業首要任務，尤其是對VR和HDR而言。隨著MPEG開始接替HEVC，我們需要為流式傳輸沉浸式媒體開發出超高效的壓縮技術。

隨著超高速5G移動網路的即將面世，視頻的絕對數量和複雜程度將越來越高，如果要隨時隨地支持實時VR流式傳輸和其他超高解析度低延遲媒體應用，實現高效的數據處理將十分關鍵。

可以說，諸如MPEG這樣的標準組織一直都十分繁忙。這家已有30年歷史的機構自成立以來每年平均起草和發布六項標準。

愛立信媒體解決方案（Ericsson Media Solutions）的首席技術專家Tony Jones表示：「壓縮效率是提供新服務或更好服務的主要工具之一，可將分發成本降至最低，或將兩者結合起來。」

所以，開發能夠處理大規模數據的工具變得非常緊迫，而其中最主要的任務之一是制定當前視頻流標準HEVC的「繼任者」。由MPEG和ITU-T Study Group 16旗下VCEG組成的聯合視頻專家團隊（JVET）已經開始著手制定效率高出50%以上的多功能視頻編碼（Versatile Video Coding ，VVC)。

MPEG的發言人Christian Timmerer指出：「VVC的目標是提供比現有HEVC標準更高的壓縮性能，並在2020年完成。」

同時是奧地利克拉根福特大學副教授，以及編解碼器供應商Bitmovin研究主管的Timmerer補充道：「主要的目標應用和服務包括但不限於360度和高動態範圍（HDR）視頻。 」

MPEG指出，VVC的初步方案在超高清視頻測試材料上表現出「特別有效」。他們預測最終標準的壓縮效率將「遠遠超過目標的50％」。

因此，VVC將加入一個日益擁擠的OTT流媒體市場，其中包括當前最常用的編解碼器AVC，VP9和HEVC，以及新成員AV1。

剛剛發布了上述編解碼器比較測試結果的Bitmovin認為，多個編解碼器標準可以同時存在。事實上，他們表示如果要支持各種設備和平台，這是「最必要的」元素，並且補充說，「多視頻編解碼器的支持已通過VVC的面世得到證實。」

VVC的一個重要方面是編碼更專註於360度框架的特定區域，亦即大多數用戶關注的主場景。Timmerer說道：「VVC仍處於起步階段，但我們可能會在IBC中看到各公司發布與這個方向相關的公告。」

1. JPEG XS

MPEG通常用於終端用戶的存儲，傳輸和消費，而JPEG則主要集中於靜態圖像，但它剛剛為視頻製作和流式傳輸帶來了新的編解碼器。

開源的JPEG XS具有6：1的壓縮比，實際上比標準JPEG（10：1）更低，與編解碼器的發展背道而馳。

洛桑聯邦理工學院Touradj Ebrahimi教授表示：「這是圖像編碼史上的第一次，我們為了更好地維持質量而降低了壓縮率，我們正在使用更少的資源來加快速度。」

領導JPEG XS開發的Ebrahimi補充道：「我們希望在做事方面變得更聰明。我們希望使用更少的資源，並且可以更明智地使用它們。這是一個真正的範式轉變。」

JPEG XS是TICO編解碼器（SMPTE RDD 35）的進化，其本身基於JPEG2000。

TICO背後的比利時公司IntoPix也幫助設計了JPEG XS。IntoPix市場營銷總監Jean-Baptiste Lorent認為，對於「當前使用未壓縮視頻」的工作流程來說，這將最為有用。

Lorent補充說：「由於解析度提高，幀速率更高，360度捕獲和更高質量的像素，因此我們需要新的編解碼器來處理不斷增加的數據量。」

JPEG XS旨在解決需要低複雜度和低延遲，但可以使用相當高帶寬的用例。Tony Jones說：「JPEG XS是一種內部編碼技術。也就是說，它不執行時間預測。這實現了比AVC和HEVC等壓縮標準低得多的效率，但反過來提供了非常低的延遲。」

Jones補充道：「有很多潛在的專業用例，包括對延遲非常敏感，但仍然可訪問高帶寬的工作室，遠程製作和其他用例。」

這可能適合4K和8K，尤其是製作和編輯，但其配置文件同時包括處理10K。Jones表示：「像JPEG XS這樣的輕量級壓縮技術是一種保證貸款，文件大小和文件傳輸時間的有效技術。JPEG XS對於維持低延遲遠上也非常有用。」

Jean-Baptiste Lorent則認為，這種低延遲，低壓縮和高效率編解碼器非常適合通過Wi-Fi和5G進行流式傳輸的視頻，並且未來可以協助無人駕駛飛機和自動駕駛汽車。

為Adobe Premiere Pro CC開發了JPEG XS插件的Fraunhofer IIS指出，優化過的編解碼十分適合需要通過有限帶寬傳輸高圖像質量數據，或者必須使用有限計算資源進行處理的用例。

JPEG XS很可能會在2018年年底之前獲得國際標準化組織的批准，而包括相機在內的第一批產品也將在這之後的不久面世。

2. 全向VR

MPEG還致力於提供沉浸式媒體，如360度視頻和VR。根據愛立信的Tony Jones的說法，這兩種情況都存在非常嚴格的運動到光子要求：顯示器對一切頭部位置變化的響應速度必須非常低。

Jones指出：「對於360度視頻，渲染是從整個360度圖像或從其中適當大小的一部分進行本地執行，而對於VR，場景本身必須基於頭部運動創建。如果可以在本地執行場景創建，挑戰性將能大為降低。另一方面，如果渲染是遠程執行，而且需要在沒有過多比率需求的情況下實現，要實現這個目標將面臨非常大的挑戰。」

一個可能有幫助的倡議是MPEG-I。其內容正處於不同的發展階段，定義系統，音頻和視頻參數的第一部分即將發布，而其他部分仍處於大綱之中。

MPEG-I最有趣的階段是全向媒體格式（Omnidirectional Media Format，OMAF）。第一個版本的目標是HEVC中的360度視頻壓縮，而且現在已經完成。

Timmerer指出：「OMAF帶來了一系列的優化，但可能需要一定的時間才能實現廣泛採用，而它基本上將對編碼，流媒體，解碼和渲染產生重大的影響。」

將在10月份起草的第二版本（OMAFv2）把目標瞄準的3DoF+，這項包括「運動視差」的進展可以允許觀眾看到「對象的背後」。換句話說，OMAF正致力於實現潛在的全息顯示器。

OMAF的後續版本還將針對「社交VR的全方位6自由度」，甚至「光場的密集表示」。Timmerer將社交VR描述為「用戶可以在相同社交環境中消費VR內容」。

MPEG-I的其他方面則關於點雲壓縮。這種深度信息形式可用於生成三維或全息場景。

根據Timmerer的說法，VVC和OMAF之間沒有關係，但未來可能會改變（也許到2020年）。他指出：「我預計OMAFv2將比VVC更早完成，因此OMAFv2仍將依靠HEVC。這是我目前的估計。」

OMAF的第一版本將由ISO發布，但現在已經可以使用國際標準的最終草案。 「基本用例已經可以部署。我確信IBC中將出現一定的演示作品。」

3. 用於全息圖的壓縮

這裡還有另外一層，一個關於壓縮記錄為光場的海量數據的方案。儘管都屬於MPEG-I的一部分，但在解決方案上大家存在一定的分歧。

流式傳輸「真正本地的光場」需要500Gbps的寬頻速度，最高可達1TBps。這個估計來自於全息顯示器開發商Light Field Lab的CEO Jon Karafin。但他補充說：「這在我們有生之年都不會走進千家萬戶。」

處理如此多的數據需要十分嚴格的壓縮標準，更不用說傳輸。MPEG的一個工作小組正在起草一種令「支持創建和渲染豐富沉浸式體驗的內容交換」成為可能的解決方案。

它的名稱是混合自然/合成場景數據容器（Hybrid Natural/Synthetic Scene；HNSS）。MPEG指出，HNSS應該提供一種手段來支持「遵循自然光流，能量傳播和物理運動操作的場景」。

Timmerer表示該小組正在研究MPEG-I中的場景描述，「研究現有的格式和工具，以及它們是否可以用於MPEG-I。」

該方法不同於傳統的視頻壓縮技術：其主要是捕捉紋理，幾何圖形和其他體三維數據，然後將其包裹在「媒體容器」中來創建場景的3D模型。

但不是每個人都相信媒體容器是正確的解決方案。麻省理工學院全息技術專家V. Michael Bove指出：「目前還沒有普遍得到認同的最佳做法。我希望這個問題可以得到解決。這不是一個無法解決的問題。」

文章《VVC、JPEG XS、MPEG-I，數據壓縮走向新紀元，為高解析度VR提供支持》首發於 映維網。

公眾號：YiVianVR

商務微信：yivian001

投資合作：yivian.com/about

行業報告：yivian.com/vrstats

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！