高精度，高效率點雲三維重建，清華等聯合提出PointMVSNet網路框架

知識 09-02

機器之心發布

作者：Rui Shen、Songfang Han、Jing Xu、Hao Su

本文介紹了一種基於點雲的 MVS 神經網路框架 PointMVSNet。通過對場景的點雲進行處理，融合三維深度和二維紋理信息，提高了點雲重建的精度。論文作者來自清華、港科大、加州大學聖地亞哥分校等，已被 ICCV 2019 大會接收。

背景

多視角三維重建（MVS）是計算機領域的一項基礎任務，目標是通過相機拍攝的圖像和相機參數推導出現實環境中物體的三維信息。不同角度拍攝的圖像會存在一些公共部分，合理分析並利用不同圖像的關聯是三維重建的基礎。

近年來，基於深度學習的一系列研究在該任務上取得了卓越的成績，受到廣泛關注。然而，現有的方法需要在相機參考空間或物體空間構建一個三維卷積網路。這個三維卷積網路會隨著場景精細度的增加而顯著增加。現有方法的主要瓶頸在於空間複雜度和時間複雜度。

為了解決這一瓶頸，本文介紹了一種全新的基於點雲的 MVS 神經網路框架 PointMVSNet。區別於之前的深度學習方法，該網路直接將目標場景作為點雲進行處理，而不是整個三維空間，從而降低了網路複雜度。該方法首先生成粗粒度的深度圖，通過相機參數轉化成初始點雲。在這組初始點雲上估計當前深度圖與真實深度圖之間的殘差，從而對點雲迭代優化。該方法將二維紋理信息與三維幾何信息進行融合，生成特徵增強的點雲，并迭代更新點雲位置。實驗證明，該基於點雲的網路結構可以達到更高的精度，計算效率與靈活性。

項目鏈接：http://hansf.me/projects/PMVSNet/

論文鏈接：https://arxiv.org/pdf/1908.04422.pdf

開源代碼鏈接：https://github.com/callmeray/PointMVSNet

方法

本文中，我們創新性地提出了基於三維點雲的多視角三維重建神經網路結構 PointMVSNet。首先，我們用現有的方法生成一個初始粗粒度點雲。之後，利用我們所提出的 PointFlow 模塊作用於點雲以及點雲附近的局部區域優化。點雲特徵包含從圖像多尺度二維神經網路中提取的紋理特徵和從點雲中提取的幾何特徵。PointFlow 模塊會通過這些特徵優化點雲位置。這個優化過程會經過幾次迭代，每次迭代都會更新點雲特徵，以獲得更準確的位置預測。

圖像特徵提取

高質量的紋理特徵對於 MVS 具有重要意義。因此我們選擇採用圖像金字塔網路，並融合不同尺度的紋理特徵。之後，我們利用動態特徵提取從圖像金字塔網路中提取三維點雲中每個點在各視角圖像中的紋理特徵，構建特徵增強點雲。值得注意的是，這一步驟與基於 cost volume 的網路結構存在顯著區別，其中基於 cost volume 的方法中每個體素所對應的圖像特徵由其空間劃分所確定並無法改變，而這裡我們方法會根據更新後的點雲位置動態從圖像中提取紋理特徵，因此可以集中於圖像中感興趣的區域。

PointFlow

為了使網路更好地更新點雲位置，我們提出使用猜想點輔助網路預測。如上圖所示，對於點雲中的每一個點，我們沿著相機方向採樣等步長的若干猜想點。為預測每個點的三維位移，我們利用 EdgeConv 處理由猜想點所構成的特徵增強三維點雲，學習猜想點的概率分布，將猜想點的期望位移作為每個點的預測位移。相比於簡單的點雲神經網路，EdgeConv 利用圖神經網路將鄰域的三維結構信息用於點雲中各點間的特徵傳播，可以更有效的傳播有效信息。PointFlow 可以迭代地作用於更新的三維點雲，從而逐步優化點雲位置，以達到更好的預測效果。

實驗結果

首先是 PointMVSNet 在 DTU 數據集上重建結果，這裡對比了現有的傳統演算法和深度學習演算法。可以看出，PointMVSNet 取得了更好的重建完整度和整體效果。