Content Aware ABR技術（六）

最新 02-06

在本系列前面的帖子中，我們連續梳理了Netflix、YouTube、Beamr、EuclidIQ及Bitmovin在ABR方面的一些進展，本文將簡要介紹一下編碼優化領域的另一位成員—Harmonic的技術動態。

OTT視頻流傳輸通常消耗較多的帶寬資源，隨著在線視頻觀看需求的增加，對現有的傳輸網路帶來了較大的壓力。2016年，全美平均家庭互聯網下載速度峰值達到了54.97Mbps，相比2015年增加了40%。此外，Netflix目前推薦的HD視頻流最小連接帶寬為5Mbps，UHD為25Mbps。如果在這個速度下，當一個家庭在高峰時段連接多路HD視頻流時，網速會急劇下降，導致視頻播放出現卡頓，同時視頻清晰度也會下降。與此同時，目前市場上對大屏及超大屏電視的需求不斷增加，隨之而來的是更大的視頻解析度以及更高的碼率，因此運營商的視頻存儲開銷也在持續增加。同樣對於移動用戶而言，全美2016年的下載速度峰值相比2015年增加了30%，達到了19.27Mbps。一般情況下美國蜂窩移動用戶平均月流量為2.5GB，而Netflix的時長1小時的HD視頻會消耗3GB流量，早已超過了普通用戶的流量預算並帶來額外費用，所以如何在保持原有視頻質量的同時傳輸更低碼率的視頻流仍是一個不小的挑戰。逐漸成熟的OTT市場帶動了更高的QoE需求，為了在降低CDN傳輸和存儲開銷的同時為用戶提供較好的適配絕大多數類型設備的視頻流觀看體驗，需要使用更加高效的視頻編碼技術，雖然可以直接採用目前最新的HEVC編解碼器，但根據目前市場的情況在H.264的應用體系上進行優化卻是一個更好的選擇。

Harmonic的EyeQTM視頻編碼優化技術（尚未獲得技術細節資料），無需對現有的H.264傳輸框架以及各類解碼器進行任何改動，宣稱在提供較好的視覺體驗的同時能降低50%的碼率。基於Harmonic優化的編碼器PURE Compression EngineTM，EyeQTM充分挖掘利用了HVS特性，可以更加精確地度量視頻質量並反饋至編碼決策過程中，能夠有效改善現有ABR Streaming的性能。

圖1 Harmonic編碼優化框架

其中，Harmonic PURE Compression EngineTM集成了Harmonic近年來研發的多種先進壓縮演算法與處理技術，包括多種高效的運動估計演算法模塊，能夠根據視頻內容自適應選擇，並且支持多種視頻格式、編碼器平台以及流傳輸應用，如圖2所示。

圖2 PURE Compression Engine支持各類視頻格式和Codec

在討論Harmonic EyeQTM技術優化OTT視頻流之前，首先簡單介紹一下兩種傳統的ABR Streaming編碼模式，CBR和VBR。

通過HTTP等方式進行OTT視頻流傳輸的ABR Steaming通常採用多個CBR編碼配置方案。一個完整的視頻被分割為多個分塊chunk，每一個chunk使用不同的解析度和碼率組合進行編碼，如圖3所示。客戶端則依據網路的動態變化狀況向CDN服務端請求合適的chunk。這種流傳輸方式在ABR應用最開始的時候就被Microsoft、Adobe、Google以及Apple等公司採用，並沿用至今。但是一段CBR流的碼率通常是最複雜場景編碼的碼率決定的，這個碼率對於其他較低複雜度的場景而言超過了實際所需，因此在很大程度上增加了OTT視頻內容提供商的CDN開銷。

圖3 Apple技術文檔TN2224中的bitrate ladder

VBR通過為視頻中不同場景或片段分配滿足其質量要求的比特數來達到碼率節省的目的。簡單場景編碼使用的碼率要遠低於複雜場景的編碼，並使得編碼後的視頻流具有一致的質量水平。傳統VBR Streaming主要的不足在於，複雜場景的碼率有時會特別高，使得OTT流傳輸的碼率遠超目前網路的承載能力。因此，一般VBR Streaming要基於網路帶寬上限以及複雜場景的質量水平選擇一個最大碼率，這種設定碼率上限的VBR稱為capped VBR(CVBR)，能夠緩解帶寬溢出的矛盾。但CVBR並非一勞永逸，因為一般很難準確得到任意給定場景的壓縮量級，所以CVBR的處理相對粗糙。

為了提供更好的ABR Streaming服務，需要有效地度量編碼視頻質量進而確定每一個視頻場景的壓縮量級。下面先來回顧一下目前常用的視頻質量評價指標PSNR和SSIM。

儘管已經有不少新提出的或改進的指標，PSNR依然是這些年來使用最為廣泛的視頻質量評價指標。PSNR計算簡單，PSNR值越高，則壓縮圖像相對原圖像的保真度越高。但PSNR存在的問題在於，忽略了周圍像素、圖像整體、以及幀間的信息。PSNR沒有考慮周圍像素帶來的掩蓋效應，計算失真時有一定的誤差。例如，PNSR會對低複雜度區域的失真估計不足，而對高複雜度區域的失真過度估計，如圖4所示，左右兩幅圖的PSNR值相同，但視覺質量明顯不一樣，很明顯PSNR對天空區域的失真估計不足。

圖4 相同PSNR下視覺質量不同

SSIM自2004年提出之後，為視頻質量的評估提供了一個更好的度量方式。SSIM的計算從圖像的三個方面入手：亮度，對比度以及結構或質地相似度。由於HVS對圖像結構自身的細節比較敏感，而對像素的細節不敏感。基於這個特性，SSIM著眼於圖像結構信息，分別估計結構和非結構上的失真，提供比PSNR更加精確的視覺質量度量。雖然SSIM要比PSNR更加精確，但仍然存在許多不足，如圖5所示，從左到右從上到下SSIM的值依次是：1, 0.576, 0.641以及0.580。雖然後兩幅圖的SSIM更高一些，但很明顯第二幅的視覺質量卻比它們好。

圖5 SSIM越高視覺質量未必越高

Harmonic的EyeQ內容自適應編碼優化技術利用多種人眼視覺特性（包括HVS對比度敏感函數CSF等等。例如，人眼對對比度變化的敏感度高於亮度變化，人眼具有辨識視頻圖像中物體形狀結構的能力，人眼具有辨識不同面孔的能力，人眼對運動圖像的感知比對質地區域的識別更靈敏），通過在同一視頻幀內對人眼更為敏感的元素和不那麼敏感的元素進行區分，將這些更為敏感的視覺特性加權，可以更加精確地度量視頻質量並根據視頻內容自適應調整，能夠在幾乎沒有引入延時的情況下動態評估並調整編碼參數。通過高效的人工智慧演算法實時度量和調節視頻質量（在重要的地方增加比特，在不重要的地方減少比特），EyeQ技術在降低碼率的同時使得編碼質量更佳，在視頻質量和碼率之間取得了較好的平衡。這個過程可以應用到現有的各類視頻編解碼器中，也無需對目前的H.264傳輸框架做任何改動，與H.264編碼體系完全兼容，減少了遷移到最新編碼標準HEVC的風險、工程複雜度以及專利開銷。相比CBR和VBR，基於多種HVS特性的EyeQ內容自適應編碼優化技術能夠有效降低播放延時、減少緩衝次數，顯著改善終端用戶的視頻觀看體驗，同時有效降低傳輸碼率，特別是在大流量直播時段能夠大幅降低網路負載。

為了比較EyeQ的效果，Harmonic使用工業界標準的x264編碼器（CRF模式）以及Harmonic ElectraTM（EyeQ技術）進行測試。X264的編碼命令如下：

圖6和圖7給出了兩者編碼後文件大小以及碼率波動情況，可以看出EyeQ技術能夠有效降低碼流的碼率以及存儲開銷。

圖6 編碼後的文件大小對比

圖7 編碼的比特率對比

下圖是一個提供體育賽事直播的電信運營商採用Harmonic內容自適應編碼技術的應用框架。其中在源端編碼視頻流時採用的是基於EyeQ技術的Harmonic多媒體處理平台ElectraTM X。這套系統能夠通過各類網路為超過150,000的終端用戶提供高質量的HD直播視頻流，適配各類終端平台，包括電視機頂盒，Apple TV，LG TV以及iOS和Android流媒體應用平台。在提高終端視覺質量的同時，能顯著降低運營商高達50%的帶寬和CDN開銷。此外，還有效提高了該運營商訂閱用戶對OTT服務的滿意度，帶動了相關業務增長。

圖8 OTT流傳輸框架

下面四幅圖給出了分別使用EyeQ和CBR兩種ABR技術通過該運營商的移動網路傳輸視頻流的多個指標對比，依次是：視頻緩衝時間、播放啟動延時、視頻清晰度以及不同配置的切換頻率。從中可以看出，採用EyeQ技術後，有效減少了視頻緩衝時間、播放啟動延時以及不同配置的切換頻率，提高了碼流的清晰度，極大改善了用戶的觀看體驗。