CVPR 2018摘要：第三部分

本文為 AI 研習社編譯的技術博客，原標題 ：

NeuroNuggets: CVPR 2018 in Review, Part III

作者 | Sergey Nikolenko、Aleksey Artamonov

翻譯 | 老趙 校對 | 醬番梨

整理 | 菠蘿妹

原文鏈接：

https://medium.com/neuromation-io-blog/neuronuggets-cvpr-2018-in-review-part-iii-82a5a3129caf

NeuroNuggets：CVPR 2018年回顧，第三部分

CVPR 2018（計算機視覺和模式識別）會議已經結束，但我們不能停止回顧其精彩的論文; 今天，我們學習第三部分。在第一部分中，我們簡要回顧了2018年CVPR中關於計算機視覺GAN的最有趣的論文; 在第二部分中，增加了人性化，並談到了人類的姿勢估計和跟蹤。 今天，我們轉向Neuromation中內部研究的主要焦點之一：合成數據。 像往常一樣，論文沒有特別的順序，我們的評論非常簡短，所以我們絕對建議完整閱讀論文。

合成數據：模仿學習

合成數據是指通過3D建模和渲染（通常用於計算機視覺）或通過其他方式人工生成的數據，然後用於訓練機器學習模型。 合成數據在機器學習中是一個令人驚訝的主題，最令人驚訝的是它被忽略了多長時間。 有關合成數據的一些著作可以追溯到2000年代，但在2016年之前它基本上沒有引起任何興趣。 它所使用的唯一領域是訓練自動駕駛汽車，對模擬環境的需求和收集真實數據集的不可能性使其成為合成數據集的完美情況。

現在興趣正在迅速增長：我們現在擁有模擬室內環境的SUNCG數據集，用於駕駛和導航的室外環境，用於學習姿勢估計和跟蹤的合成人的SURREAL數據集，以及甚至最近應用GAN來生成和改進合成的數據（我們希望回到這一點並解釋它之後的工作原理）。 那麼讓我們看看CVPR 2018作者對合成數據的看法。 由於這是我們的主要關注點，因此我們將比通常更詳細地考慮合成數據的工作。

R. Volpi等人，無監督域適應的對抗特徵增強S. Sankaranarayanan等人，生成適應：對齊域使用生成性對抗網路

有一個非常有趣和有前途的領域，即使用GAN生成合成數據集來訓練其他模型。 從表面上看，沒有多大意義：如果你有足夠的數據訓練GAN，為什麼不用它來訓練模型呢？ 或者甚至更好，如果你有一個訓練有素的GAN，你為什麼不採取鑒別器並將它用於你的問題？

但是這個想法在自適應域設置中變得更加有趣。 假設你有一個大的源數據集和一個小的目標數據集，並且需要使用針對目標的源數據集訓練的模型，該模型可能完全沒有標記。 這裡，對抗域適應技術訓練兩個網路，一個生成器和一個鑒別器，並用它來確保網路不能在源數據集和目標數據集中的數據分布之間進行壓縮。 這個領域是在Ganin和Lempitsky的ICML2015論文中開始的，其中使用鑒別器來確保這些特徵保持域不變：

以下是2017年對抗性判別領域適應論文中這一想法如何略微概括的示意圖：

在Volpi等人的CVPR 2018論文中，來自義大利和斯坦福的研究人員使對抗訓練不是在原始圖像上，而是在特徵空間本身。 GAN對預訓練網路提取的特徵進行操作，這使得有可能實現更好的域不變性並最終提高域適應的質量。 以下是Volpi等人改編的整體培訓程序：

另一種方法是由Sankaranarayanan等人在馬里蘭大學的研究人員在2018年的CVPR中提出的。 他們使用GAN來利用無監督數據，使源和目標分布在特徵空間中彼此更接近。 基本上，該想法是使用鑒別器來控制從嵌入產生的圖像保持用於源分布的真實圖像，即使嵌入是從目標分布的樣本中獲取的。 以下是它的工作原理，作者再次報告了改進的域適應結果：

A. Zlateski等，關於標籤質量對語義分割的重要性

合成數據的主要賣點之一始終是像素完美的標籤質量，你可以使用合成數據輕鬆實現。 合成場景總是帶有完美的分割 - 但它有多重要？ 這項工作的作者研究了如何精確（或多麼粗略地）標記你的訓練集以從現代卷積體系結構中獲得良好的分割質量......當然，與合成場景相比，執行此研究的工具更好。

作者使用他們專門開發的Auto City數據集：

在他們的實驗中，作者表明，毫不奇怪，最終的分割質量確實與生產標籤所花費的時間量密切相關，但與每個單獨標籤的質量無關。 這表明，生產大量粗標籤（例如，使用眾包）比對每個標籤執行嚴格的質量控制更好。

K.Rematas等人，桌面遊戲里的足球

在Neuromation，我們喜歡足球（是的，俄羅斯世界盃花了我們很多工作時間），這項研究真的太酷了。 作者提出了一個系統，可以拍攝足球比賽的視頻流並將其轉換為移動的3D重建，可以投影到桌面上並使用增強現實設備進行觀看。

系統提取玩家的邊界框，使用姿勢和深度估計模型分析人物圖形併產生非常精確的3D場景重建。 請注意，專門針對足球領域的模型培訓如何真正改善結果：

它還激勵我們的心，他們實際上訓練從FIFA遊戲中提取的合成數據。 而且結果非常酷。

感謝您的關注。 下次我們可以更詳細地了解一些關於合成數據和域適應的CVPR 2018論文。

Sergey NikolenkoChief Research Officer, Neuromation

Aleksey ArtamonovSenior Researcher, Neuromation

想要繼續查看該篇文章相關鏈接和參考文獻？

長按鏈接點擊打開或點擊【CVPR 2018摘要：第三部分】：

http://ai.yanxishe.com/page/TextTranslation/1195

查看 CVPR 2018摘要 系列更多文章，請點擊：雷鋒網雷鋒網雷鋒網

• CVPR 2018摘要：第一部分

• CVPR 2018摘要：第二部分

AI研習社每日更新精彩內容，觀看更多精彩內容：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！