CVPR 2019 召開在即，亮風台端到端的投影儀光學補償入選 oral 論文

新聞 05-21

雷鋒網 AI 科技評論消息，隨著 CVPR 2019 的臨近，越來越多的企業和高校公布自家的入選論文信息。

近日，AR 產品與服務提供商亮風台公布了投影 AR 演算法研究最新成果，主要用於解決投影儀光學補償問題，即當投影屏幕不是理想的白色漫反射時，儘可能消除投影面上的圖案，相關論文《End-to-end Projector Photometric Compensation》已經入選 CVPR 2019 的 oral presentation 環節。以下便是亮風台對這篇論文的詳細解讀。

《End-to-end Projector Photometric Compensation》的貢獻主要在以下幾點：

1. 首次將投影儀光學補償問題闡述為一個端到端的深度學習問題，然後構造一個新穎的名為 CompenNet 的卷積神經網路（CNN）來隱式的學習這個複雜的補償函數。

2. 首次提出一個獨立於設備和實際投影的資料庫和評價基準，今後類似的工作可以在這個評價基準上統一比較，而不需要復現該研究中使用的設備和實際投影，以前的工作是沒有這樣的評價基準的。

3. 提供了一個預訓練的方法，將預訓練好的 CompenNet 遷移到新的投影屏幕和硬體設置上，只需要拍攝少量的採樣圖片就可以媲美甚至超過從零開始訓練 CompenNet 和傳統方法，這樣可以大量的節省採樣圖拍攝時間和訓練時間。

4. 在亮風台提出的評價基準上比較了 CompenNet 和其他傳統的方法，以及一個通用的圖到圖遷移的深度學習框架 pix2pix，實驗結果顯示在數值和質量效果上新方法都大幅度優於其他參與比較的方法。

背景介紹

這篇工作主要解決投影儀光學補償問題，即當投影儀屏幕不是理想的白色漫反射時，屏幕的顏色和紋理會導致用戶看到失真的效果，如下圖 1 所示。

CVPR 2019 召開在即，亮風台端到端的投影儀光學補償入選 oral 論文

打開今日頭條，查看更多圖片

圖 1. (a) 正常光照下的具有紋理和顏色的投影屏幕。(b) 投影儀投射的圖片（也是我們想要看到的效果）。(c) 相機拍攝到的，沒有補償的投影結果，即將 (b) 直接投影到 (a) 上。(d) 我們模型計算出的補償圖。(e) 相機拍到的補償後的效果，即將 (d) 投影到 (a) 上。比較 (c) 和 (e)，可以看到明顯提升的效果和細節。

為了解決投影儀光學補償問題，一般是用一個相機來拍攝大量的投影儀投射的圖片，然後從這些拍到的和投射的圖片對中擬合出一個光學補償函數，再將要投射的圖片經過這個光學補償函數補償，最後由投影儀投射，這樣投射的補償正好可以抵消非理想屏幕的顏色、紋理和投影儀本身的非線性光學特性。

但是以上的光學過程過於複雜，所以很多傳統方法以及目前效果較好的演算法，都是將這個過程簡化為投影儀像素與相機拍到的像素只是一一對應，然後獨立地對每個像素擬合一個光學補償函數。這樣的假設，往往忽略了很多重要信息，比如由於投影儀和相機跟屏幕的距離，投影儀相機輕微失焦和屏幕表面相互反射等因素，每一個投影儀的像素並不是跟每個相機像素一一對應，很可能一個投影儀像素覆蓋了幾個相機的像素，這樣的簡化勢必影響投影儀光學補償的效果，實驗的結果也印證了這一點。

研究方法

為了避免過於簡化，我們採用一個新思路，即用 CNN 網路來端到端隱式地學習這個複雜的光學補償函數。這樣的好處主要是：

1. CNN 有足夠的模型複雜度來擬合複雜的光學過程。

2. CNN 濾波器本身就對領域像素採樣，這樣我們不需要像傳統方法那樣進行像素一一對應的簡化。

3. 根據我們的數學推導，發現可以用一張相機拍到的屏幕照片

來表示投影屏幕本身的光學特性，然後將這張照片作為 CompenNet 的第二個輸入，指導 CompenNet 學習相機拍攝的失真圖

和屏幕光學特性

的關係, 如下圖 2 所示。

圖 2. CompenNet 的結構。比較訓練（左）和補償（右）過程，我們發現學習從相機拍攝的未補償圖到投影儀輸入圖片的反映射

，就是學習從投影儀輸入圖片（想要用戶看到的效果）到補償圖片的映射

。

網路訓練和光學補償的流程如下圖 3 所示。