揭秘超解析度的正確打開方式

寫在前邊：圖像和視頻通常包含著大量的視覺信息，且視覺信息本身具有直觀高效的描述能力，所以隨著信息技術的高速發展，圖像和視頻的應用逐漸遍布人類社會的各個領域。近些年來，在計算機圖像處理，計算機視覺和機器學習等領域中，來自工業界和學術界的許多學者和專家都持續關注著視頻圖像的超解析度技術這個基礎熱點問題。本文試著講述超解析度技術的正確打開方式，淺談視頻圖像的超解析度技術的基本概念和應用場景等問題。

1.什麼是超解析度？

1.1 超解析度初體驗

簡單來講，圖像超解析度就是提高圖像的空間解析度，例如將一幅圖片的解析度由352x288擴大到704x576，方便用戶在大尺寸的顯示設備上觀看。圖像的超解析度，是圖像處理相關問題中的基礎問題之一，並具有廣泛的實際需求和應用場景，在數字成像技術，視頻編碼通信技術，深空衛星遙感技術，目標識別分析技術和醫學影像分析技術等方面，視頻圖像超解析度技術都能夠應對顯示設備解析度大於圖像源解析度的問題。

簡單來說超解析度技術可以分為以下兩種：1）只參考當前低解析度圖像，不依賴其他相關圖像的超解析度技術，稱之為單幅圖像的超解析度（single image super resolution），也可以稱之為圖像插值（image interpolation）。

2）參考多幅圖像或多個視頻幀的超解析度技術，稱之為多幀視頻/多圖的超解析度（multi-frame super resolution）。

這兩類技術中，一般來講後者相比於前者具有更多的可參考信息，並具有更好的高解析度視頻圖像的重建質量，但是其更高的計算複雜度也限制了其應用。故，本文後邊將以單圖超解析度/圖像插值為例，進行超解析度技術的介紹。

1.2 超解析度理論描述

這個很直觀的超解析度問題，它的理論描述又是什麼樣子的呢？如圖所示，超解析度就是將左圖中像素點之間的空間位置用像素點進行填充，使得整個圖像具有更多的像素點，更豐富的細節，從信號的角度講就是補充出更多的高頻成分。

通常在處理這個超解析度問題的時候，我們常常探索這個退化信號是如何從我們希望的理想信號變化得到的（即解析度的退化過程），如果對退化過程進行精確地描述，往往對其逆問題的求解有重要的意義。在本文的問題中，即超解析度的退化模型，可以通過以下公式來描述：

Y=HDX+n

其中Y為低解析度的視頻幀/圖像，X為我們理想高解析度的視頻幀/圖像，而H和D分別為模糊運算元和解析度下採樣運算元，n為退化過程中產生的雜訊。

由上述公式可知該退化問題存在著病構特性，即多個不同的高解析度圖像X，經過相同的退化過程處理，可以得到同樣的低解析度圖像Y。這就導致我們無法直接通過Y求解出一個精確的X，也是視頻圖像超解析度問題一直是一個開放性問題的原因（逐漸逼近符合人眼視覺認識的解）。

根據圖像超解析度的技術路線進行分類，圖像超解析度技術大致可以分為以下幾類：基於定參數的線性濾波器技術，基於圖像邊緣結構的技術，基於圖像重構約束的技術和基於機器學習的技術。

2.什麼時候用超解析度？

先舉一個小例子，一張悠久而經典的低解析度老照片，怎麼在一個先進的高清的顯示器上播放？這就是低解析度圖片和高解析度顯示設備之間的不匹配。很明顯，這個場景下我們可以使用超解析度技術，如下圖所示。

單從圖像的後處理顯示的角度來講，目前在PC和手機的屏幕顯示功能上都配有相應的實時的超解析度技術。通過觀察可知，PC機上的超解析度技術相對比較簡單（比如，臨近像素複製or雙線性插值），而手機端屏幕的超解析度技術比PC機顯示的超解析度技術的性能要更好一些，能夠提供較好的主觀視覺質量，且IOS系統的手機的超解析度技術相比於一些Andriod系統手機的超解析度技術性能更高一些。不同的超解析度演算法帶來的增強視覺感受的效果不同，一些軟體的超解析度方法在帶來更好的視覺質量的同時，也引入了很大的計算代價，不斷挑戰著顯示設備的計算能力。

3.超解析度能節省帶寬嗎？

那麼，前邊贅述了這麼多超解析度的基礎概念和使用方法，這個技術看起來就是萬能的嗎？有些人會有疑問，那就可以借著超解析度技術用小解析度的圖進行通信就好了？其實並不是這樣的！

在傳輸圖片的時候，超解析度和帶寬有什麼關係呢？一般來講，現在的通信類應用中，圖片都是需要經過壓縮，傳輸，再解壓縮這樣的一系列過程。最直接的方案A是按照原解析度和現有帶寬來進行壓縮和傳輸，最終直接顯示。而另一種方案B是，先通過下採樣的方法將原視頻圖像的解析度下採為原解析度的1/K，然後在低解析度和現有帶寬下進行壓縮和傳輸，接收端在解碼後通過超解析度技術將該視頻圖像的解析度以K倍重建後顯示。如圖所示

這裡，超解析度技術就不單單是一個視頻圖像的後處理技術，而是基於上下採樣的編碼傳輸框架中的一個重要環節。那麼問題來了，這種下採樣-超解析度的圖片傳輸方案B能夠節省帶寬嗎？（最終圖片的視覺質量一致的前提下），或者說是在相同的帶寬限制下，直接壓縮傳輸大圖片和壓縮小圖片再超解析度顯示，哪一種方案對顯示的主觀質量更好？由於在這個場景下兩個方案之間不能直觀的從理論上比較，所以我們通過實驗來進行說明，設計了以下實驗：

原圖壓縮方案A，即原始高解析度圖像直接通過編碼器進行壓縮和傳輸，在解碼端直接得到原始解析度的重構圖像。基於上下採樣的圖像壓縮方案B，即圖像首先經過一個解析度下採樣（寬高均為1/2倍）的預處理方法，再將得到的低解析度圖像利用相同的第三方的編解碼器WebP進行壓縮和傳輸，最後將在解碼端得到的低解析度圖像利用超解析度技術重建出其高解析度的圖片（這裡超解析度技術選用Google在G+上的方案和一種經典的深度網路的SCN方法）。

下面我們給出兩個不同策略下的圖像壓縮的（圖片質量和文件大小）性能的比較，如下圖所示。

如圖（a）和（b）兩幅圖像的性能比較所示，圖像縱坐標為圖像全參考的視覺質量評價方法SSIM指標（用來比較相同解析度下的原圖和在對端最終顯示的圖像的差異），橫坐標為圖像經由第三方編碼器WebP的壓縮碼流所佔用的存儲空間（KB），上下採樣壓縮曲線的四個數據點對應WebP質量因子分別為40,60,80,100，而原圖壓縮的四個數據點對應WebP質量因子分別是2,5,15,60。

實驗中首先驗證得到兩個認識，一個是隨著碼率（帶寬）的增加，直接壓縮傳輸的方案A能快速的達到近無損壓縮或無損壓縮。另一個是隨著碼率（帶寬）的增加，超解析度的方案B具有性能上限的限制，接近上限時，增加碼率就只會帶來非常微弱視覺性能的提升。

再通過實驗曲線可以得出，在低碼率範圍內，採用原圖壓縮方案的壓縮效率要低於基於採樣的圖像編碼策略（即同等質量下，基於採樣的圖像編碼策略圖片文件更小，節省帶寬），而在中高碼率範圍內，採用原圖壓縮方案的壓縮效率要優於基於採樣的圖像壓縮方案（即同等質量下，超解析度的圖像編碼策略的圖片文件更大，浪費帶寬）。

進而我們結合應用環境得出以下結論，在帶寬嚴重受限的情況下，使用超解析度技術能夠改善其原本較差的視覺質量（即超解析度技術在同等質量下節省傳輸帶寬）；在帶寬良好的情況下，原圖解析度直接壓縮傳輸的方案能夠提供更加好的視覺質量（即超解析度技術在同等質量下浪費傳輸帶寬和後處理計算資源）。

目前，在常見的一些視頻圖像的應用中，我們給定的碼率均為中高碼率以滿足圖像視頻的視覺質量，大部分移動終端上的視頻圖像應用的方案均為在目標解析度上直接壓縮，質量控制在高於WebP質量因子為60的水平，如實驗中驗證的一樣，在這個碼率範圍下，採用現有的直接壓縮原圖方案A要優於下採樣壓縮低解析度圖像再做解壓縮超解析度的方案B。

3.小結

視頻圖像超解析度技術，是圖像處理相關問題中的基礎問題之一，也是近些年來學術界研究的熱點問題。視頻圖像超解析度技術作為圖像的後處理技術能為了匹配更大解析度的顯示設備夠提升圖像的主觀視覺效果。在壓縮傳輸的應用場景中，為了在同等帶寬下獲得更高的圖像質量，超解析度演算法適用於低帶寬時低質量圖像上的增強，在帶寬充足時仍然應該傳輸高解析度圖像，即下採樣—超解析度的技術，受限於其性能上限，僅僅在低碼率傳輸條件下，採用超解析度增強的圖像質量明顯優於的在大圖像上直接編碼（即同等質量節省帶寬）。綜上所述，視頻圖像超解析度技術在應用中要考慮計算複雜性限制，傳輸帶寬的限制和視覺性能上限（主觀視覺效果）等因素，來選擇恰當的應用場景。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！