聖路易斯華盛頓大學劉晨：室內場景的結構化重建｜AI研習社68期大講堂

雷鋒網AI研習社按：隨著增強現實，家務機器人等應用的普及，室內場景重建研究正在得到越來越廣泛的關注。與傳統底層密集重建方法不同，講者的研究集中在分析重建場景中的高層結構化信息。

在本次AI研習社大講堂上，來自聖路易斯華盛頓大學的計算機系在讀博士劉晨分享了其結構化重建的最新工作。

分享嘉賓：

劉晨，聖路易斯華盛頓大學計算機系在讀博士，導師是Yasutaka Furukawa教授，主要研究方向為三維視覺，場景理解等。其研究工作曾在 CVPR、ICCV、ECCV等會議發表。

公開課回放地址：

http://www.mooc.ai/open/course/538?=Leiphone

分享主題：室內場景的結構化重建

分享提綱：

• 結構化場景重建的定義及意義

• 單目結構化重建

• 俯視圖結構化重建

• 多目結構化重建

雷鋒網AI研習社將其分享內容整理如下：

非常高興能在這個平台上和大家分享我們組的最新研究成果，這次的分享題目是《室內場景的結構化重建》。

大家都知道，從一個場景中理解分析三維的幾何信息是一個非常重要的計算機視覺問題。傳統的方法多是用一些底層次的三維表示，比如說密集的點雲、密集網格模型或者是深度圖。這些低層次的三維表示雖然看起來很美觀，但是卻不好分析和理解，因此並不是很實用。

我們的研究希望出一個中看也中用的表示。作為人類，我們會及時辨別一個場景中哪些部分是完整的地面，哪些部分是完整的牆，我們希望計算機也能做到。

在俯視圖結構化重建上，由於牆和地面往往是垂直的，所以俯視圖能夠給我們提供非常多的信息，我們的目標是希望能夠得到矢量圖形平面圖，主要是基於牆角的點以及所有牆角之間的連線，這將對我們理解整個室內結構提供非常多的有用信息。

為了獲得矢量圖形平面圖，我們會考慮使用 PNG 圖像、點雲、鐳射掃描作為輸入。

對於結構化的定義，有以下這三點：

一、 場景與結構的表示是簡潔的

二、 場景是根據語義來分割的

三、 分析理解的方式與人類保持一致

結構化表示可以在機器人導航、室內裝飾、虛擬購房導航以及虛擬現實效果優化等方面起作用。

單目結構化重建

目前實現結構化表示方面我們遇到哪些挑戰呢？

首先，高層次的場景理解需要提取整個平面；

其次，室內存在許多造成干擾的遮擋物體；

最後，室內場景的平面往往缺乏紋理。

為了應對挑戰，我們提取了室內場景的特性：平面性與正交性，利用這兩點來做單目結構化重建的工作。我們試圖從照片中提取出所需要的平面，並估計每個平面的三維參數，進而確定平面的三維結構信息。

過去雖然有一些底層次的三維重建工作也取得了不錯的效果，卻面臨著不夠直觀和平滑的問題。

在我們的工作中，我們假定一個圖像擁有十個平面，每個平面分別用三維空間中的三個參數來表示，最終確定三維結構；為了進一步確認在三維空間中的範圍，我們會計算 segmentation masks；至於非平面區域，則估算 pixel-wise 的 depth map。

這三種信息合起來便是圖片的三維場景信息。

這樣做會遇到什麼挑戰呢？那就是我們無法確認第一個輸出的平面長什麼樣，因為我們是根據 geometry 來做分割。

於是我們使用 set matching解決以上問題——在確認 prediction 以後，我們在 Ground truth 里為每個 prediction 找到最近零作為監督。為了進一步提升重建效果，我們還用ground truth 的 text來做監督學習。

此外，我們使用了包含多種三維模型的ScanNet 數據集作為訓練網路，結合相機參數，將三維空間中的平面投映到二維上來，以獲得最終需要的訓練數據——plane parameters, segmentation masks 和非平面區域的 depth map。

這份工作的意義在於，我們可以在平面圖上添加一些虛擬元素（電視、動態 logo、遊戲），以增強虛擬現實的呈現效果。

從上圖來看，我們的演算法對於大平面的檢測質量還是比較穩定的，只是在一些邊緣部分或者小平面還存在一些問題。

另外，我們最終獲得的 depthmap，不單能夠保證內部的絕對平滑，且在精度上也不比其他演算法差。

關於這項工作，我們未來試圖探索的方向有：

一、 如何將單幅圖像結構重建拓展到多幅圖像；

二、 考慮分析遮擋信息；

三、 用於室外場景；

四、 考慮更複雜的表面表示信息。

俯視圖結構化重建

關於俯視圖結構化重建，我將著重分享如何從Jpeg 圖像和點雲中進行恢復重建。

這種矢量圖的價值在於：

可以幫助我們對建築做出直觀的分析理解；

在有需要時可以將結構圖轉成三維空間實現渲染效果；

如果你是一名建築師，還可以隨時修改自己的設計圖。

為了獲取矢量圖，我們借鑒了 Human pose estimation 方法，並解決了所面臨的任意拓撲挑戰。在我們的工作中，會先通過深度網路找到圖中的關鍵元素（牆角、門、物體……），然後再利用 Integar Programming（IP）進行優化。總的來說，前者構成了我們的中間層表示，後者最終優化出最終的結構圖。

【更多關於 Integar Programming 的優化細節，請回看視頻 00：25：20 處，http://www.mooc.ai/open/course/538?=Leiphone】

以下都是我們的工作成果。

我們和其他的演算法進行了比較，結果顯示，在不同結構化信息的 accuracy 和 recall 上，我們的演算法基本上達到了 90 分，效果甚至比一些傳統的演算法要好。

此外，為了達到簡化生成俯視結構圖流程的目的，我們後續做了通過點雲生成矢量圖的工作，也就是說，只要一部可以拍出包含深度信息照片的手機，我們就可以輕易獲得空間的點雲，進而生成俯視結構圖。

生成流程方面，我們只是將之前的輸入從 Jpeg 圖像換成了點雲。

這項工作的挑戰在於如何從點雲中提取出中間層表示，原因有三：

一、 現有的三維學習方法不擅長處理大規模的點雲；

二、 全局的分析理解需要基於整體點雲的理解；

三、 如何將 3D 信息與圖像信息結合到一起。

【更多關於點雲中間層提取的細節，請回看視頻 00：36：44 處，http://www.mooc.ai/open/course/538?=Leiphone】

以下是我們最終的工作成果，結果顯示我們的 Prediction 和 Ground Truth 很接近：

在下一步的工作中，我們會著重在以下三個方面進行拓展：

一、 擺脫 primitive detection 的框架

二、 用深度網路取代 Integer Programming（IP）

三、 直接使用 rgb 圖像進行重建

多目結構化重建

多目結構化重建希望可以實現用戶拍攝一組 rgb 照片，結合照片和機位信息，就可以完美重建結構化模型。

這項工作的難點在於：

一、 缺少三維信息的數據；

二、 難以找到兩幅圖像之間的對應關係；

三、 當前的分析可能會基於早先的發現。

作為進行中的工作，我們先提出了一些 baselines 模型：

一項是基於 Wireframe3D 的表示，可以檢測出二維空間里的角點和連線信息，進而獲得三維空間中的 Wireframe 表示。

另外一項則是增強了魯棒性的 LayoutNet++，網路先對兩幅圖像的共同之處做聚類，再根據聚類對信息進行單獨處理，最後將所有輸出拼到一起。

【更多關於 LayoutNet++的操作原理，請回看視頻 00：44：50 處，http://www.mooc.ai/open/course/538?=Leiphone】

我今天的分享就這麼多，謝謝大家。

以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網AI研習社社區（https://club.leiphone.com/）觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！