CVPR2018 | 海康、UCLA、北理聯合提出3D DescriptorNet：可按條件生成3D形狀，克服模式崩潰

選自

arXiv

作者：

Jianwen Xie等

機器之心編譯

參與：

Huiyuan Zhuo、劉曉坤

近日，海康威視、UCLA、北理工聯合提出了新的模型 3D DescriptorNet。該模型通過結合能量模型和容積式卷積神經網路的優點，對 3D 形狀的容積形狀模式進行概率建模。其獨特優勢有：可通過 MCMC 方法合成真實的 3D 形狀模式；可被修改成條件式版本，應用於 3D 物體恢復和 3D 物體超解析度；不同於對抗訓練，利用該模型得到的 3D 生成器是穩定的，沒有模式崩潰問題；可應用於半監督學習。

3D 形狀的統計模型

最近，隨著諸如 ShapeNet[29,4] 引入大型 3D CAD 數據集，人們在基於體素化 3D 形狀數據對物體進行識別和合成上，進行了一些有趣的嘗試。從統計建模的角度來看，現有的 3D 模型可以被分為 2 大類別：(1) 3D 判別器，例如 Voxnet[16]，它旨在學習一個從 3D 體素輸入到語義標籤的映射，從而實現 3D 物體的分類和識別；(2) 3D 生成器，例如 3D-GAN[28]，它是一種隱變數模型，這種模型假設 3D 體素信號可以由一些隱變數生成。判別器的訓練通常依賴於具有注釋的大數據並通過直接最小化預測誤差來完成訓練，而生成器的訓練是學習一個從隱變數空間到 3D 體素數據空間的映射。

儘管生成器模型在合成 3D 形狀模式中很有用，但是在極大似然學習的推斷步驟中會遇到困難 (比如從後驗分布中取樣)，因此變分推斷 [12] 和對抗學習 [6,18,28] 的方法被廣泛使用，在這些方法中，一個額外的網路被納入學習演算法中用以克服後驗推斷的困難。

過去幾年中，人們在建立 3D 形狀數據的判別器模型和生成器模型方面取得了顯著進步。然而，在基於能量模型對 3D 形狀數據進行建模的研究方面沒有太多進展。我們稱這種類型的模型為描述性模型或者是描述器網路 [34]，因為這種模型是基於從數據中學習到的自下而上的描述性特徵來解釋數據的。本文的重點是為體素化形狀數據構建一個容積 3D 描述器網路。可以認為這是針對 3D 形狀生成的 3D-GAN[28] 的替代品。

3D 形狀描述器網路

具體來說，研究者結合了能量模型 [14] 和容積式卷積神經網路 [16] 的優點，提出了一種新的框架對容積形狀模式進行概率建模。該模型是直接定義在體素化形狀信號上的概率密度函數，同時，該模型是基於能量的深度卷積網路模型，其中特徵統計量或能量函數由將 3D 信號映射到特徵上的、自下而上的容積式 ConvNet 定義。該模型被稱為 3D DescriptorNet，因為它使用了容積式 ConvNet 從體素化數據中提取 3D 形狀特徵。

本文所提出模型的訓練過程遵循一種「綜合分析」方案 [7]。不同於變分推斷或對抗學習，在學習過程中，該模型不需要併入一個額外的推斷網路或一個對抗判別器。學習和採樣的過程由單一模型的相同參數集合引導，這使得該模型成為一個特別自然且統計上嚴謹的框架。

通過概率密度函數對 3D 形狀數據進行建模的方法，具有一些獨特的優勢：首先，它能夠通過 MCMC 方法（比如 Langevin 動力學），從分布中採集樣本，來合成真實的 3D 形狀模式。其次，該模型可以被修改成一個條件式版本，可應用於 3D 物體恢復和 3D 物體超解析度。具體來說，訓練一個將破損的 (或低解析度的)3D 物體映射到完整的 (或高解析度的)3D 物體的條件概率密度函數。然後，通過把破損的或低解析度的 3D 物體作為條件輸入，從學習到的條件分布中採樣，可以實現 3D 恢復 (或 3D 超解析度)。第三，不同於對抗訓練，該模型可以用於一種合作訓練方案 [31]，從而通過 MCMC 指導去訓練一個 3D 生成器模型。通過這樣一種方案訓練的 3D 生成器是穩定的，並且不會有模式崩潰的問題。最後，該模型對於半監督學習也很有用。在從未標記的數據中學習模型之後，學習到的特徵可以被用於訓練用於標記數據的分類器。

本文所提出的 3D DescriptorNet 可以用於合成真實的 3D 形狀模式，並且其條件式版本對於 3D 物體恢復和 3D 物體超解析度很有用。由採用合作方案的 3D DescriptorNet 訓練的 3D 生成器，可以生成有關 3D 物體的語義信息。由採用無監督形式的 3D DescriptorNet 訓練的特徵圖對於 3D 物體分類很有用。

本文的研究貢獻：

(1) 通過結合容積式 ConvNets[16] 和生成式 ConvNets[33]，本文提出了 3D DescriptorNet，一種基於能量的 3D 深度卷積模型，對 3D 物體模式進行建模。

(2) 本文展示了在模型學習過程中的模式尋找和模式轉換解釋性。

(3) 本文展示了學習過程中的零度限制（zero temperature limit）的對抗性解釋。

(4) 對於恢復任務，本文提出了一種條件式學習方法。

(5) 本文提出了評估 3D 生成式模型的有用指標。

(6) 為了訓練 3D 生成器，本文提供了一種 3D 合作訓練方案作為對抗學習方法的備選。

圖 1：生成 3D 物體。圖中每一行都展示了一個實驗，其中前 3 列的 3D 物體是一些觀測到的樣例，第 4、5、6、7、8、9 列是通過 Langevin 動力學從學習到的模型中採樣得到的合成 3D 物體。對於最後 4 個合成的物體 (第 6、7、8、9 列)，從訓練集中檢索到的，與它們最相近的物體，顯示在第 10、11、12、13 列中。

表 3：在遮擋實驗中的恢復誤差。

表 4：在 ModelNet10 數據集上的 3D 物體分類結果。

論文：Learning Descriptor Networks for 3D Shape Synthesis and Analysis（學習描述器網路進行 3D 形狀合成和分析）

論文地址：https://arxiv.org/abs/1804.00586

本文提出了一種對容積形狀模式進行建模的 3D 形狀描述器網路，該網路是一種基於能量的深度卷積模型。模型的極大似然訓練遵循一種「綜合分析」方案，並且其可以被解釋為一種模式尋找和模式轉換過程。通過諸如 Langevin 動力學的 MCMC 方法，該模型可以從概率分布中進行採樣來合成 3D 形狀模式。通過 MCMC 指導，該模型可以被用於訓練一個 3D 生成器網路。3D 形狀描述器網路的條件式版本可以被用於 3D 物體恢復和 3D 物體超解析度。實驗表明，本文所提出的模型能夠生成真實的 3D 形狀模式，並有助於 3D 形狀分析。

本文為機器之心編譯，

轉載請聯繫本公眾號獲得授權

?------------------------------------------------

加入機器之心（全職記者/實習生）：hr@jiqizhixin.com

投稿或尋求報道：editor@jiqizhixin.com

廣告&商務合作：bd@jiqizhixin.com

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！