超十億樣本煉就的CNN助力圖像質量增強，Adobe新功能「增強細節」

選自Adobe，作者：Sharad Mangalick，機器之心編譯，參與：Nurhachu Null、路。

近日，Adobe 宣布推出一項名為 Enhance Details（增強細節）的照片編輯應用程序新功能，該功能使用機器學習來增強圖像的解析度和圖像質量。新功能將在 Lightroom CC 中提供，Adobe 稱該功能可以將某些圖像的解析度提高多達 30％。

近日，Adobe 宣布推出一項名為 Enhance Details（增強細節）的照片編輯應用程序新功能，該功能使用機器學習——一個經過大量訓練的卷積神經網路——為那些真正需要重視的圖片提供最高的質量。增強細節功能在 Bayer 格式（佳能、尼康、索尼等）和 X-Trans 格式（富士膠片）的原始馬賽克文件上都能很好地使用。

打開今日頭條，查看更多圖片

上圖展示了 Fuji X-Trans 文件中細節區域放大到 200% 時的區別。請注意窗戶和街燈中細節的清晰度得到了增強。

照相機是如何看世界的

要想理解「增強細節」的原理，我們先來了解一下普通的數碼相機感測器是如何看世界的。

人眼可以區分數百萬種顏色。我們絕大多數人都是有三色視覺的，我們的視網膜上有不同類型的錐形感光細胞，可以感知紅色、綠色和藍色。每類視錐細胞都可以讓眼睛區分大約 100 種色度，然後人類視覺系統將信號混合在一起來看見這數百萬種不同色度的顏色。

但是，照相機並不是這麼看世界的。

所有的數字照片都是從單色開始的。然後通過逆馬賽克變換過程將照片變成彩色。

數碼相機感測器由兩部分組成。首先是主要的光感測器陣列。微觀光敏腔測量給定像素的光強度。只是光強，並沒有顏色。例如你在沙灘上，觀看太平洋上的日落。

你看到的景象是這樣的：

你記憶中的樣子。

相機上的光感測器陣列只能看到一張單色圖片（可能更暗一些，因為光感測器感知光線的方式與人眼不同，原始處理（raw processing）關心的就是這個問題，但是一張超級黯淡的圖片並不會讓人感興趣，所以......

沒有色彩濾波陣列的相機看到的是這樣的。

在光感測器陣列上面加上色彩濾波陣列後會產生不同的結果。色彩濾波陣列讓感測器記錄每一個像素的顏色，例如：

色彩濾波陣列將每個像素記為單個的紅色、綠色或者藍色。這幅圖呈綠色的原因是拜耳陣列（Bayer array）的綠色像素是紅色和藍色像素的兩倍，這是為了模仿人眼感知顏色的方式。

數碼照相機對每一個給定像素只會記錄三種顏色之中的一個。例如對於紅色像素，色彩濾波陣列會移除所有的藍色和綠色信息，最終導致這個像素僅僅記錄紅色。因此原始圖像中的每個像素都會缺失其他兩種顏色的信息。

軟體是如何重建圖像的

數字照片中每個像素複合的紅、綠、藍色的值是通過逆馬賽克變換過程來創建的。

逆馬賽克變換方法的出現是藝術與科學。有很多種方式可以對一張照片進行逆馬賽克處理。逆馬賽克設計的選擇可以影響一切，從照片的整體解析度到較小顏色區域的保真度，以及精細細節的準確再現。

在其最基本的形式中，逆馬賽克過程會將鄰近像素的顏色值平均化。例如，具有紅色濾波器的像素將僅提供這個像素關於紅色光強的記錄。逆馬賽克演算法會對所有四個相鄰藍色像素的值取平均，來決定最可能的藍色值，然後對周圍的綠色像素也進行同樣的操作得到綠色值。猜測最可能的值是什麼的過程叫做插值，它是逆馬賽克過程的一個重要部分。

在具有平滑色彩梯度或者恆定顏色的圖像區域中，逆馬賽克過程相對簡單一些，比如藍天和白雲。然而，在具有更複雜的圖像區域中，這個過程會變得特別棘手。在具有紋理、精細細節、重複圖案和尖銳邊緣的區域中，標準的逆馬賽克方法會遇到麻煩，從而產生較低解析度和有問題的圖像。

高級的逆馬賽克方法能夠處理這些複雜區域，但是這些方法消耗大量計算資源。構建一幅圖像需要大量數學計算來執行必需的插值操作。即使在最強大的計算機硬體上，這也需要時間。

因此，像 Lightroom 這樣的軟體一直在不斷地進行圖像保真度和速度之間的權衡。

逆馬賽克問題

實際上需要解決的逆馬賽克問題並不多。但是他們一次又一次，以新的和更複雜的形式，在一張又一張的圖像中出現。

• 小尺寸細節：如果圖像具有逼近相機感測器解析度極限的小細節，那麼這是一個大問題。如果幸運的話，你僅僅會把這些細節變成混亂的顏色。如果不幸，你會遇到莫爾圖案，顏色偽影排列成迷宮一樣的圖案。
• 假色：當逆馬賽克演算法跨尖銳的邊緣而不是沿著邊緣進行錯誤插值時，你可能看到顏色的突變或者不自然的變化。
• Zippering：圖像邊緣缺少通常用來插值顏色數據的一半像素，所以可能出現邊緣模糊。

Adobe 一直在努力提升逆馬賽克演算法。多年來，Adobe 已經將演算法改進到能夠在大多數圖像上表現得非常好的程度。但是這些特殊的難題仍需要我們以不同的方式思考這個問題。

增強細節

進入 Adobe Sensei。Sensei 集成了人工智慧的所有分支，包括機器學習。

增強細節使用一個經過大量訓練的卷積神經網路進行圖片質量最大化的優化。Adobe 使用有問題的示例訓練一個神經網路來對原始圖像進行逆馬賽克處理，然後利用內置於最新 Mac OS 和 win10 操作系統中的機器學習框架來運行這個網路。增強細節使用的神經網路已經在超過十億示例上進行了訓練。

這十億示例中的每一個都包含一或多個上述問題，它們給標準的逆馬賽克方法帶來了嚴重的麻煩。Adobe 訓練了兩個模型：一個用於 Bayer 感測器，另一個用於 Fujifilm X-Trans 感測器。

所以，增強細節帶來了令人驚嘆的效果，包括更高的解析度、更準確的邊緣和細節渲染、更少的偽影（如假色和莫爾圖案）。

Adobe 用西門子星解析度測試卡進行了計算，發現「增強細節」在 Bayer 和 X-Trans 原始圖像上能夠提供高達 30% 的解析度提升。如果你想自己嘗試一下，請自行下載富士膠片原始文件（https://theblogimages.adobe.com/wp-content/uploads/2019/02/Fuji-X-Trans-Sample-File.zip）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！