CVPR 2018摘要：第一部分

本文為 AI 研習社編譯的技術博客，原標題 ：

NeuroNuggets: CVPR 2018 in Review, Part I

作者 | Sergey Nikolenko、Aleksey Artamonov

翻譯 | 老趙 校對 | 李晶

整理 | 菠蘿妹

原文鏈接：

https://medium.com/neuromation-io-blog/neuronuggets-cvpr-2018-in-review-part-i-f22b8c223202

NeuroNuggets：CVPR 2018年回顧，第一部分

在Neuromation，我們一直在尋找有助於我們的研究的新的有趣想法。 還有什麼比頂級會議更適合尋找它們的地方。 我們已經在CVPR（計算機視覺和模式識別）會議的研討會DeepGlobe介紹了我們如何取得成功。 這次我們將仔細研究一下CVPR本身最有趣的論文。 這段時間，頂級會議是非常重要的事情，所以我們準備了一系列的推文。 我們介紹的論文沒有特別的順序，不僅選擇優秀的論文，而且與我們在Neuromation所做的研究相關。 這一次，Aleksey Artamonov（你以前見過的人）準備了這份列表，我試圖對其補充一些介紹。 在這個系列中，我們將非常簡短，試圖從每篇論文中提取最多一個有趣的點，所以在這種方式我們不能真正了解完整的工作，並強烈建議完整閱讀論文。

GAN和計算機視覺

在第一部分中，我們專註於生成模型，即不僅可以區分貓狗，還可以生成新的貓和狗圖像的機器學習模型。 對於計算機視覺，最成功的一類生成模型是生成性對抗網路（GAN），其鑒別器網路學習區分生成的對象和真實對象，生成器學習去欺騙鑒別器。 我們已經多次寫過GAN（例如，這裡和這裡），所以讓我們直接進入正題。

Y. Bai等人，用生成性對抗網路在戶外尋找小小的面孔

在沙特和中國研究人員的合作中，作者使用GAN來檢測和放大人群照片上的非常小的面孔。 即使僅檢測小面孔也是一個有趣的問題，普通的人臉檢測器（例如，在我們之前的帖子中出現）通常無法解決該問題。 在這裡，作者提出了一個端到端的流水線來提取面部，然後應用生成模型將其提升到4倍（一個稱為超解析度的過程）。 以下是論文中的流水線概覽：

PairedCycleGAN化妝

H. Chang等人，PairedCycleGAN：用於和去除化妝的不對稱樣式轉移

條件GAN已經廣泛用於圖像處理; 我們已經提到過超解析度，GAN也成功應用於風格轉換。 使用GAN，可以學習與特定圖像元素相對應的顯著特徵 - 然後更改它們。 在這項工作中，來自普林斯頓、伯克利和Adobe的研究人員提出了一個修飾照片的框架。 這項工作的一個有趣的部分是作者為不同的臉部組成部分（眼睛，嘴唇，皮膚）訓練單獨的生成器並分別應用它們，用不同的網路提取臉部組成部分：

F. Mueller等人，GANerated Hands for Mon-time RGB for Real-Time 3D Hand Tracking

我們已經寫過關於姿勢估計的文章。 姿勢估計的一個非常重要的子集（通常需要單獨的模型）是手部跟蹤。 通過揮動雙手來操縱計算機的科幻主題尚未完全實現，仍然需要專門的硬體，如Kinect。 像往常一樣，主要問題之一是數據：在哪裡可以找到3D標記的真實視頻流？在這項工作中，作者提出了一種條件GAN架構，能夠將合成的3D模型轉換為圖像 然後用於訓練手部跟蹤網路。 這項工作非常吸引我們，合成數據是Neuromation研究的重點，所以我們之後可能會更詳細地考慮它。 同時，這裡是「合成到實際」的GAN架構：

L. Wei 等人，Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

人物重新識別（ReID）是在不同條件和不同情況下拍攝的不同照片上找到同一個人的問題。 這個問題自然而然地成為許多研究的主題，現在已經相對較好地解決了，但是領域差異問題仍然存在：不同的數據集與人物的圖像具有非常不同的條件（照明，背景等），在一個數據集上訓練的網路在轉移到另一個數據集（以及例如現實世界的應用程序）時損失很大。 上圖展示了不同的數據集。 為了解決這個問題，這項工作提出了一種GAN架構，能夠將圖像從一種「數據集樣式」轉移到另一種「數據集樣式」，使用GAN來通過複雜的變換增強真實數據。 它的工作原理如下：

K.Wang等人，用於眼睛圖像合成和眼睛凝視估計的分層生成模型

倫斯勒理工學院的這項工作解決一個非常特殊的問題：生成人眼的圖像。 這不僅對於生成圖像中漂亮的眼睛重要，而且用生成的眼睛解決視線估計問題：人們在看什麼？ 這將為真正的科幻界面鋪平道路......但這仍然是未來，目前甚至合成眼睛生成也是一個非常難的問題。 作者提出了一個複雜的眼形合成概率模型，並提出了一個GAN架構，根據這個模型生成眼睛 - 取得了巨大的成功。

J. Yu等人，Generative Image Inpainting with Contextual Attention

Adobe Research和伊利諾伊大學厄本那 - 香檳分校的這項工作試圖解決填補圖像空白這個極具挑戰性的問題（見上面的例子）。 通常，修復圖像需要了解潛在場景：在上圖中的右上角，你已經知道臉部是什麼樣的，以及我們根據看到的頭髮和頸部預測臉可能是什麼樣的。 在這項工作中，作者提出了一種基於GAN的方法，可以利用周圍圖像的特徵來改善生成。 該結構由兩部分組成，首先生成粗略結果，然後使用另一個網路對其進行細化。 結果非常不錯：

今天就是這樣。 這只是第一部分，我們將在下一期繼續進行CVPR 2018回顧，再見。雷鋒網雷鋒網雷鋒網

Sergey NikolenkoChief Research Officer, Neuromation

Aleksey ArtamonovSenior Researcher, Neuromation

想要繼續查看該篇文章相關鏈接和參考文獻？

長按鏈接點擊打開或點擊【CVPR 2018摘要：第一部分】：

http://ai.yanxishe.com/page/TextTranslation/1193

AI研習社每日更新精彩內容，觀看更多精彩內容：

使用 SKIL 和 YOLO 構建產品級目標檢測系統如何極大效率地提高你訓練模型的速度？良心推薦：一份 20 周學習計算機科學的經驗貼（附資源）數據科學家應當了解的五個統計基本概念：統計特徵、概率分布、降維、過採樣/欠採樣、貝葉斯統計

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！