伯克利提出分層表面預測：可根據單張彩色圖重建高質量3D形狀

選自BAIR

作者：Christian H?ne

機器之心編譯

參與：panda

根據圖像重建 3D 幾何形狀是計算機視覺領域的核心問題之一，其應用也多種多樣，比如電影製作、視頻遊戲內容生成、虛擬現實和增強現實、3D 列印等等。前段時間，伯克利人工智慧研究所（BAIR）的幾位研究者提出了一種可根據二維圖像重建高解析度三維形狀的方法——分層表面預測（HSP）。BAIR 官網近日發文對該研究成果進行了簡單介紹，更多詳細信息請閱讀原論文。

論文地址：https://arxiv.org/abs/1704.00710

本文討論的任務是根據物體的單張彩色圖像重建高質量的 3D 幾何形狀，如下圖所示：

人類具有不費吹灰之力就推理出物體和場景的形狀的能力，即使只看單一一張圖像也能辦到。注意，我們兩隻眼睛的雙目視覺方式讓我們可以感知深度，但對於理解 3D 幾何形狀而言並不是必需的。即使我們只看一個物體的一張照片，我們也能很好地理解它的形狀。此外，我們也可以推理物體上看不見的部分，比如背部，這是一種可以幫助我們抓取物體的重要能力。那麼問題就來了，人類是怎麼根據單張圖像就推理出物體的幾何形狀的呢？而在人工智慧方面，我們可以怎樣教機器學會這種能力？

形狀空間

基於不明確的輸入重建幾何形狀的基本原理是：物體的形狀並不是任意的。因此其中有的形狀更有可能出現，一些形狀則不太可能。一般來說，物體表面往往是平滑過渡的。在人工製造的環境中，它們還常常是分段線性變化的。這種高級規則適用的物體有很多。比如飛機通常有一個機身，兩側各安裝了一個翅膀，尾部還有一個垂直穩定翼。人類可以通過用眼觀察、用手交互而獲取這種知識。在計算機視覺中，因為物體的形狀不是任意的，這讓我們可以將一種或多種物體類別的所有可能形狀描述為一個低維形狀空間，這可以從大量樣本形狀的集合中習得。

使用 CNN 預測體素

3D 重建領域近來一些研究（https://arxiv.org/abs/1604.00449，https://arxiv.org/abs/1603.08637）使用了卷積神經網路（CNN）來預測物體在 3D 空間中的形狀。這種 3D 輸出的體積形狀可以被細分為體積元素，即體素（voxel），並且每個體素都被安排了是否被佔據或為空——即分別表示該物體的內部和外部。其輸入通常是描繪了該物體的單張彩色圖像，而該 CNN 使用了一個上卷積解碼器（up-convolutional decoder）架構來預測物體的體積佔用。該網路是端到端訓練的，並且使用了已知的 ground truth 體積佔用——這些數據來自合成的 CAD 模型數據集。使用這種 3D 表徵和 CNN，可以學習到適用於多種物體類別的模型。

分層表面預測

使用 CNN 預測體積佔用的主要缺陷是：輸出空間是三維的，因此解析度會以立方的方式增長。這個問題導致上面提到的研究成果難以預測得到高質量的幾何形狀，因此局限於粗糙解析度的體素網格，比如上圖中的 32^3。在我們的研究成果中，我們認為這是一種不必要的限制，因為物體的表面實際上只有兩維。通過分層預測解析度精細的體素，我們利用了表面的二維本質，只是其中表面是根據低解析度預測判斷的。其基本思想接近八叉樹表示法，這種方法常常在多視角立體圖和深度圖融合中用來表示高解析度幾何形狀。

方法

基本的 3D 預測流程以一張彩色圖像作為輸入，它首先會被一個卷積編碼器編碼成一個低維表徵。然後這個低維表徵會被解碼成一個 3D 體積。我們方法的主要思想被稱為分層表面預測（HSP/hierarchical surface prediction），這種方法的解碼階段一開始是預測低解析度的體素。但是和體素要麼被佔據要麼為空的傳統方法不同，我們使用了三類：空空間、被佔據空間和邊界空間。這讓我們可以分析低解析度的輸出，並且僅在有證據表明包含表面的體積處預測有更高解析度的部分。通過迭代這個精細化過程，我們可以分層地預測出高解析度的體素網格（見下圖）。有關該方法的更多細節請參閱我們的論文。

實驗

我們的實驗主要是在合成的 ShapeNet 數據集上完成的。

• ShapeNet 地址：https://shapenet.org (https://shapenet.org/)

• 數據集相關論文：https://arxiv.org/abs/1512.03012

我們研究的主要任務是根據單張彩色圖像預測高解析度的幾何形狀。我們將我們的方法與我們稱為低解析度硬（LR hard）和低解析度軟（LR soft）的兩個基準進行了比較。這兩個基準的預測解析度都是粗糙的 32^3，但訓練數據的生成方式有所不同。LR hard 使用了體素的二元分配。如果至少有一個對應的高解析度體素被佔據，那麼所有體素都會被標記為佔據。LR soft 則使用了分數分配，反映了其佔據的體素在對應高解析度體素中所佔的百分比。我們的 HSP 方法的預測解析度為 256^3。從下圖中的結果可以看到，相對於低解析度基準，高解析度預測在表面質量和完成度上都有優勢。定量結果和更多實驗可參閱我們的技術論文。

原文地址：http://bair.berkeley.edu/blog/2017/08/23/high-quality-3d-obj-reconstruction/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！