三維視頻的深度圖快速編碼演算法

摘要：為了解決3D-HEVC編碼標準中深度圖計算複雜度過高的問題，利用編碼單元（Coding Unit，CU）的紋理複雜度和多視點間的相關性，對深度圖編碼做優化。具體地，使用Otsu』s運算元計算當前CU的最大類間方差值，提前判決當前CU是否平坦，對平坦CU提前決策最佳分割尺寸；利用視點間的冗餘性，參考已編碼的獨立視點的CU信息，對非獨立視點的CU編碼過程做優化。實驗結果表明，提出的演算法與原始3D-HEVC編碼演算法相比，編碼時間減少25.68%，合成視點的失真可忽略不計；提出的演算法與其他同類型演算法相比，能夠更精確區分平坦的CU和紋理複雜度高的CU,有效降低了深度圖的編碼複雜度。

正文內容：

0 引言

近年來，3D設備越來越多地應用於生活的方方面面。3D視頻的數據量大大增加，給編碼和傳輸帶來了難題。如何高效編碼三維視頻，已經成為研究的熱點。聯合視頻編碼小組（Moving Picture Expert Group，MPEG）基於傳統2D視頻編碼標準——高性能視頻編碼（High Efficient Video Coding，HEVC），以多視點加深度圖（Multi-view Video plus Depth，MVD）為編碼格式，在HEVC編碼標準基礎上，提出了編碼3D視頻的3D-HEVC編碼標準[1-2]。MVD的格式需要編碼幾個不同視點的紋理圖及其對應的深度圖，再利用基於深度圖的繪製（Depth-Image-Based Rendering，DIBR）技術，合成任意位置的視頻信息[3]。

不同視點的採集通過一系列同樣高度、角度不同的攝像頭完成。3D-HEVC標準測試平台的測試序列使用三視點[4]。根據編碼時是否參考其他視點，分為一個獨立視點和兩個非獨立視點。在非獨立視點，根據採集視圖與獨立視點視頻的相對位置，分為左視點和右視點。編碼獨立視點主要利用空域和時域的冗餘性降低編碼複雜度，非獨立視點的編碼還存在視點間的冗餘性。深度圖反映了物體與相機的距離，是灰度圖像。灰度值大，表示距離相機較近；灰度值小，表示距離相機較遠[5]。圖1、圖2依次展示了解析度為1 028×768的一組3D-HEVC測試序列Balloons的紋理圖及其對應的深度圖。對比紋理圖和深度圖，發現平坦區域在深度圖佔據的比例更大，但物體的邊界處較鋒利，物體與背景的交界常呈鋸齒狀[6]。針對深度圖的特性，3D-HEVC改進深度圖的幀內預測過程，不僅沿用HEVC編碼標準對CU的四叉樹分割方式和35種幀內預測模式，還增加了兩種深度建模模式（Depth Modeling Mode，DMM），分別是楔形分割（Wedgelet Partition，DMM1）和輪廓分割（Contour Partition，DMM4）。以上兩種模式採用不規則的劃分方式，能更精確地表示深度圖的鋸齒狀邊緣，但增加了編碼複雜度[7]。

針對深度圖幀內預測的快速演算法，大致可分為兩類，一類是減少幀內預測模式的檢測數目，一類是針對四叉樹分割模型的CU尺寸快速決策演算法。化簡幀內模式數目的快速演算法有：文獻[8]根據哈達瑪變換後的矩陣判斷當前CU是否含有水平或者垂直邊緣；文獻[9]利用Canny運算元判斷當前CU的方向性，對35種幀內模式和DMM模式先做分類，目的是減少需要遍歷的模式數目。化簡四叉樹分割的演算法有：文獻[10]利用已編碼紋理圖的CU編碼信息，對當前CU的幀內模式數目和四叉樹分割方式做簡化；文獻[11]把CU是否繼續分割建立成邏輯回歸函數模型；文獻[12]獲取幀內預測中不同模式下的率失真代價，根據閾值預估計CU的分割深度。然而上述演算法都未利用3D-HEVC的視點間相關性。針對CU的空域和時域相似性的快速演算法效率不高，且對快速運動的序列的效果較差。利用運算元對平坦CU提前判決的演算法，準確度受選取的檢測方法和閾值影響很大。

本文主要研究深度圖中CU的特點和不同視點的相關性，分析和檢測Otsu』s運算元對深度圖CU的適用性，提出了基於Otsu』s運算元的CU尺寸提前決策演算法。具體地，先用Otsu』s運算元計算CU的最大類間方差，對平坦CU提前決策最佳尺寸和跳過其他深度的遍歷。利用視點相關性，編碼非獨立視點中的CU時，參考獨立視點的已編碼CU的深度信息和最佳預測模式。實驗結果表明，本文演算法在合成視點質量基本不變的情況下，有效降低了深度視頻幀內編碼的複雜度。

1　深度圖幀內預測過程

1.1　幀內預測和複雜度分析

3D-HEVC採用四叉樹的編碼結構，即待編碼圖像以64×64大小的最大編碼單元（Largest Coding Unit，LCU）作為四叉樹分割的起始，不斷遞歸分割成4個相同尺寸的子CU，直到分割為最小尺寸8×8的CU。以自下而上的順序依次比較不同層的CU與四個子CU的率失真代價，選擇率失真代價最小的CU尺寸作為LCU的最終分割結果。圖3顯示了深度圖CU的四叉樹分割方式。一個64×64大小的LCU需要逐級分割到尺寸8×8，對應深度級分別從0到3，並對每層的所有CU遍歷幀內模式，計算率失真代價。深度圖中，由於大面積為平坦區域，大部分LCU的最大分割深度為0或者1，只有紋理複雜的或是包含邊緣的LCU會分割成更小的16×16尺寸或者8×8尺寸。由上述分析可知，如果能提前判斷當前CU是否平坦，就能跳過一些不必要的分割過程。

最佳幀內模式的決策，首先是粗略的模式選擇。遍歷35種預測模式，分別是Planar模式、DC模式和33種角度模式，計算每種模式對應的低複雜度的率失真代價，取率失真代價最小的3個或者8個幀內模式組成粗選模式列表——RMD列表（Rough Mode Decision，RMD）。RMD列表加入候選模式列表，根據左側和上方相鄰的已編碼CU的最佳預測模式，推測三種最可能的預測模式（Most Probable Mode，MPM），並加入候選模式列表。遍歷兩種DMM模式，計算每種分割方式對應的最小均方誤差SSE（Sum of Squared Error），從中選出最佳的DMM分割方式，並加入候選模式列表。對候選模式列表中的所有幀內模式分別計算率失真代價，將最小率失真代價對應的幀內預測模式作為當前CU的最佳幀內預測模式。深度圖中，緩慢變化或平坦的CU較多，最佳幀內模式用Planar模式和DC模式的比例很大，新增的DMM模式則通常用於編碼物體的邊緣。DMM模式的編碼時間占深度圖編碼總時間的20%，但選擇DMM模式為最佳預測模式的CU約為1%。所以，如果能夠提前判定當前CU是平坦的或者包含邊緣，然後對不含邊緣的CU跳過DMM模式的檢測，將大大降低計算複雜度。

1.2　視點間相關性分析

多視點加深度的編碼結構，採用先獨立視點後非獨立視點的順序編碼。不同的視點是由一組攝像機在不同的水平位移和不同角度下獲取的，所採集的圖像為相同場景，所以不同視點間的深度圖具有很強的相關性。圖4顯示了序列Balloons的紋理圖和深度圖在第一幀時的三個視點的視頻信息。從圖4可以看出，三個視點展示同樣場景，但有不同方向上的偏移，而不同視點間的相似程度很高。

表1顯示了對高解析度的序列Poznan_Hall、Poznan_Street和低解析度的序列Balloons、Kendo，統計非獨立視點中LCU最終分割深度與獨立視點相同位置的LCU分割深度相等的比例。從表1可以看出，相鄰視點有70%以上的LCU分割深度相等。以上結果表明，相鄰視點間存在很強的相關性。

2　提出的演算法

常用的紋理複雜度的檢測方法有：文獻[9]採用Canny邊緣檢測運算元，邊緣檢測運算元計算量較大，對圖像雜訊敏感；文獻[13]利用角點檢測運算元，以LCU起始，對包含角點的區域繼續分割，對不含角點的區域終止分割。角點檢測運算元能較大程度降低計算複雜度，但深度圖的失真較大，合成視點的質量損失最大。文獻[14]計算當前CU的方差，再與閾值比較，方差的方法計算量較小，但對編碼時間的減小程度和準確率與閾值的選取有較大相關性，若CU中不同區域的像素值差異較小，則該CU的方差值可能非常小，用閾值難以區分平坦CU；文獻[15]利用灰度共生矩陣分析LCU的紋理複雜度，根據矩陣中0的個數跳過DMM模式的檢測，缺點是灰度共生矩陣的計算量太大，且編碼時間減少較小。本文採用Otsu』s運算元計算當前CU的最大類間方差，能很好地區分平坦區域和非平坦區域，檢測準確率優於上述三種運算元，且直方圖經過均衡化處理，圖像的雜訊對Otsu』s運算元的計算結果影響較小，是一種理想的檢測CU紋理複雜度的方法。

2.1　基於Otsu』s運算元的CU提前終止分割演算法

Otsu』s運算元廣泛應用於圖像分割領域，能夠最佳地分離出圖片中地背景和物體，其計算結果稱為最大類間方差。最大類間方差代表圖片的差異程度。最大類間方差值越大，代表圖片內部像素分布的差異較大；最大類間方差值越小，代表圖像內部像素分布接近。計算方法：圖像根據灰度值 分成背景和物體兩類，灰度值為[0，1，L，k] 的所有像素組成類C1，灰度值為[k+1,L,255] 的所有像素組成類C2[16]。遍歷從0到255的閾值，求出一個最佳分割出來的類C1和類C2的閾值，使類間方差值最大。

根據Otsu』s運算元的特徵，本文對深度幀中的獨立視點的64×64到8×8尺寸的CU，用Otsu』s運算元計算最大類間方差值。把小於1的CU定義為平坦的。終止該CU繼續分割，把當前尺寸作為最終分割結果。表2顯示了深度圖獨立視點中不同尺寸CU的最大類間方差小於1時，CU終止繼續分割的正確率。可以看出，本文提出的CU提前終止分割演算法的正確率很高。

2.2　利用視點間相關性提前終止CU分割

因為3D-HEVC編碼標準先編碼獨立視點，所以在編碼非獨立視點時可以參考獨立視點的已編碼CU。為了提前判決非獨立視點中的平坦CU，不必對所有CU計算最大類間方差，可以參考獨立視點對應CU的Otsu』s運算元計算結果，節省編碼時間，降低編碼比特率。對於左視點，獨立視點中相同位置的CU與左鄰近CU與當前CU的相似程度較大；對於右視點，獨立視點中相同位置的CU與右鄰近CU與當前CU的相似程度較大。

本文深度圖非獨立視點CU的快速演算法如下。若當前CU屬於左視點，參考CU為獨立視點相同位置的同位CU和左鄰近CU。若當前CU屬於右視點，參考CU為獨立視點相同位置的同位CU和右鄰近CU。若兩個參考CU的最大類間方差值都小於1，則認定當前CU為平坦的，終止繼續分割。表3統計了非獨立視點中不同尺寸CU的提前終止分割演算法的正確率。從表3可以看出，從64×64到8×8尺寸的CU的終止分割的正確率分別為93.61%、98.72%、99.48%和99.72%。對於小尺寸的CU，本文提出的演算法的正確率較高。但是，對於64×64尺寸的LCU，本文演算法的正確率較低。可見，僅以獨立視點的相鄰CU的最大類間方差與閾值的比較，不足以準確判斷出平坦CU。所以，需要增加參考條件，提高對非獨立視點的LCU提前終止分割演算法的正確率。

具體地，對於深度圖非獨立視點的64×64大小的LCU，僅用其對應獨立視點的兩個鄰近CU的Otsu』s運算元值同時小於1，不足以把當前CU判決為平坦。需要根據最佳幀內模式進一步做判斷。若當前LCU經過幀內預測得到的最佳幀內模式為Planar模式或者DC模式，則當前CU判定為平坦的，終止其繼續分割，而當前CU的尺寸為最佳分割尺寸。

基於以上分析和論述，對本文提出的演算法進行整理，演算法流程圖如圖5所示。

3　實驗結果及分析

本文提出的演算法在3D-HEVC測試平台HTM15.0上進行測試。在通用測試條件（Common Test Conditions，CTC）配置下，使用All-Intra配置文件，分別測試解析度為1 024×768的3組序列Balloons、Kendo、Newspaper1，和解析度為1 920×1 088的5組序列GT_Fly、Poznan_Hall2、Poznan_Street、Undo_Dancer、Shark[17]。紋理圖和深度圖使用的量化參數為（25，34）、（30，39）、（35，42）、（40，45）。測試序列如表4所示。表5顯示了文獻[15]和本文提出的演算法，分別與原始測試平台在編碼複雜度和合成視點質量方面的對比。其中，表示合成視點平均比特率的變化， 表示深度圖的總編碼時間減少。具體計算公式如下：

表4　標準測試序列

表5是本文演算法與文獻[15]的對比。由實驗結果分析可知，本文演算法與HTM15.0平台的原始演算法相比，深度圖的平均編碼時間減少25.68%，合成視點的平均比特率增加0.07%。其中，序列Poznan_Hall和Kendo的編碼時間減少最多，分別減少了43.51%和35.57%。究其原因，在於上述兩個序列對應的深度圖的CU比較平坦，滿足最大類間方差小於1的CU數目較多。此外，與文獻[15]相比，本文演算法在深度圖編碼時間上有較大改善。

圖5和圖6分別顯示了解析度為1 024×768的序列Newspaper1和解析度為1 920×1 088的序列Poznan_Street，在量化參數為25時的合成視點質量的主觀比較結果。圖5是序列Newspaper1的主觀質量比較。其中，圖5（a）是原始演算法的合成視點圖像，圖5（b）顯示了加入本文演算法後的合成圖像。圖6是序列Poznan_Street的主觀質量比較結果。其中，圖6（a）是原始演算法的合成視點圖像，圖6（b）顯示了加入本文演算法後的合成圖像。從主觀比較的結果可以看出，本文提出的演算法的合成視頻圖像能保持較高質量，與原始演算法的合成視頻基本無差異。

4　結　語

本文基於深度圖的特點，提出CU提前終止分割演算法。用Otsu』s運算元計算CU的最大類間方差，判斷當前CU是否平坦，並結合視點間的關聯性，用獨立視點的CU分割信息判斷非獨立視點中的CU是否平坦，對平坦的CU跳過繼續分割的過程。實驗結果表明，本文演算法與3D-HEVC參考模型HTM15.0的原始演算法相比，時間減少25.68%。利用Otsu』s運算元檢測CU的紋理複雜度和利用多視點相似性具有一定創新性，且Otsu』s運算元對平坦CU的判斷準確率高於方差、邊緣檢測運算元、灰度共生矩陣等一些常用方法，同時本文的實驗結果與其他快速演算法相比具有一定優勢。此外，通過分析可知，本文演算法對於序列GT_Fly和Poznan_Street的減少時間不多，因為上述序列的深度圖存在大面積深度值緩慢變化的區域。因此，如何對包含漸變區域的CU編碼做優化，將是下一步的工作重點。

參考文獻：

[1] Ying C,Ye W.The Emerging MVC Standard for 3D Video Services[J].Eurasip Journal on Advances in Signal Processing,2009,2009(01):1-13.

[2] Merkle P,Smolic A,Muller K,et al.Multi-View Video Plus Depth Representation and Coding[C].IEEE International Conference on Image Processing,2007:201-204.

[3] Fehn C.Depth-Image-Based Rendering(DIBR),Compression,and Transmission for a New Approach on 3D-TV[J].Proceedings of SPIE-The International Society for Optical Engineering,2004(5291):93-104.

[4] Tech G,Chen Y,Müller K,et al.Overview of the Multiview and 3D Extensions of High Efficiency Video Coding[J].IEEE Transactions on Circuits & Systems for Video Technology,2016,26(01):35-49.

[5] Vetro A,Chen Y,Mueller K.HEVC-Compatible Extensions for Advanced Coding of 3D and Multiview Video[C].Data Compression Conference IEEE,2015:13-22.

[6] Muller K,Schwarz H,Marpe D,et al.3D High-Efficiency Video Coding for Multi-View Video and Depth Data[J].IEEE Transactions on Image Processing,2013,22(09):3366-3378.

[7] Muller K R,Merkle P,Tech G,et al.3D Video Coding with Depth Modeling Modes and View Synthesis Optimization[C].Signal & Information Processing Association Summit and Conference IEEE,2012:1-4.

[8] Park C S.Edge-based Intramode Selection for Depth-map Coding in 3D-HEVC[J].IEEE Transactions on Image Processing,2015,24(01):155.

[9] Shi Y Y,Cao T F,Liang S Y.Intra Prediction Mode Selection for HEVC Based on Canny Operator[J].Computer Systems & Applications,2016,25(08):176-181.

[10]Han H M,Peng Z J,Jiang G Y.Region Segmentation-based Fast CU Size Decision and Mode Decision Algorithm for 3D-HEVC Depth Video Intra Coding[J].Opto-Electronic Engineering,2015,42(08):47-53.

[11]Hu Q,Shi Z,Zhang X,et al.Fast HEVC intra mode decision based on logistic regression classification[C].IEEE International Symposium on Broadband Multimedia Systems and Broadcasting IEEE,2016:1-4.

[12]Liu P,He G,Xue S,et al.A Fast Mode Selection for Depth Modelling Modes of Intra Depth Coding in 3D-HEVC[C].Visual Communications and Image Processing IEEE,2017:1-4.

[13]Zhang H B,Fu C H.Fast Coding Unit Decision Algorithm for Depth Intra Coding in 3D-HEVC[J].Journal of Electronics and Information Technology,2016,38(10):2523-2530.

[14]Peng K K,Chiang J C,Lie W N.Low Complexity Depth Intra Coding Combining Fast Intra Mode and Fast CU Size Decision in 3D-HEVC[C].IEEE International Conference on Image Processing IEEE,2016:1126-1130.

[15]Guo L,Tian X,Chen Y.Simplified Depth Intra coding for 3D-HEVC Based on Gray-level Co-occurrence Matrix[C].IEEE International Conference on Signal and Image Processing,2017:328-332.

[16]Cheriet M,Said J N,Suen C Y.A Recursive Thresholding Technique for Image Segmentation[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,1998,7(06):918-921.

[17]Mueller K,Vetro A.Common Test Conditions of 3DV Core Experiments[S].Joint Colllaborative Team on 3D Video Coding Extensions (JCT-3V) of ITU_T VCEG and ISO/IEC MPEG,2014.

作者：韓　雪，馮　桂

單位：華僑大學 信息科學與工程學院，福建 廈門 361021

作者簡介：韓　雪，女，碩士，主要研究方向為3D-HEVC視頻編碼、圖像處理；

馮　桂，女，博士，教授，主要研究方向為信號與信息處理、通信系統安全理論、多媒體通信。

本文刊登在《通信技術》2018年第3期（轉載請註明出處，否則禁止轉載）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！