生成的圖像數據集效果不好？也許你需要考慮內容分布的差異

雷鋒網 AI 科技評論按：大家都知道深度學習模型的表現會隨著訓練數據增加而提高，所以為了不斷提高模型表現，模型本身的設計和訓練數據擴增方面的研究也都非常多。對於圖像相關的任務，傳統上有基於變換的數據擴增方法，雷鋒網 AI 科技評論曾經介紹過谷歌式的暴力收集、有Facebook 利用用戶上傳圖像的標籤，也有蘋果的生成並微調。生成數據的方法當然是最理想的，畢竟許多任務中所有有關的圖像加起來也沒有多少，而且生成數據的同時也直接獲得了真實標籤。但生成數據的方法也有嚴重的問題，那就是生成數據集和真實數據集的數據分布之間會有差異，這些差異限制了生成數據方法的效果。

對生成數據集和真實數據集差異的探究目前也有不少成果，比如學習不同任務通用的圖像特徵、學習圖像風格遷移等，這樣可以讓生成數據集中的圖像看上去更像真實圖像。不過這篇論文的作者們認為，圖像風格的差異其實只是很小的因素，更重要的差異在於圖像內容的差異，而且生成的圖像應當對新的任務有幫助。以往的圖像生成方法只能覆蓋有限的場景、有限的物體、有限的變化，對真實世界物體的多變性和屬性的分布刻畫不足；而且作者們提出，以 KITTI 數據集為例，它的數據是在德國採集的，但也許別的研究人員使用這個數據集訓練的系統是想要在日本使用的，場景內容一定會有所不同；甚至服務的任務目標也可以不同。這都是現有的數據生成方法沒有解決，甚至沒有考慮的方面。如果完全在虛擬環境中複製重現的話，資金和時間成本也都非常高昂。

所以在論文《Meta-Sim: Learning to Generate Synthetic Datasets》中，作者們旗幟鮮明地提出，他們的研究目標是自動生成大規模標註數據集，而且這個數據集是對下游任務有幫助的（數據集中的內容分布能夠符合目標使用場景）。作者們提出的方法是 Meta-Sim，它會學習到關於新合成的場景的生成式模型，而且可以通過一個圖形引擎同步獲得訓練用的圖形和對應的真實標籤值。作者們接著用神經網路對數據集生成器進行參數化，使得它能夠學會修改從場景內容分布概率中獲得的場景結構圖的屬性，以便減小圖像引擎輸出的圖像和目標數據集分布之間的差異。如果要模仿的真實數據集帶有一個小的有標註驗證集的話，作者們的方法還可以額外針對一個元目標進行優化，也就是說可以針對當前數據集任務的下游任務進行優化。實驗表明，與人工設計的場景內容分布概率相比，他們提出的方法可以極大提高內容生成質量，可以在下游任務上定性以及定量地得到驗證。更多具體細節可以參見論文原文。

這篇論文的作者們來自英偉達、多倫多大學、Vector 人工智慧學院以及MIT。

項目主頁參見： https: //nv-tlabs.github.io/meta-sim/

論文地址：https://arxiv.org/abs/1904.11621

雷鋒網 AI 科技評論報道

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！