用對抗網路生成訓練數據：A-Fast-RCNN的實現

選自Github

作者：王小龍等

機器之心編譯

參與：李澤南

最近，卡耐基梅隆大學（CMU）的王小龍等人發表的論文《A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection》引起了很多人的關注。該研究將對抗學習的思路應用在圖像識別問題中，通過對抗網路生成遮擋和變形圖片樣本來訓練檢測網路，取得了不錯的效果。該論文已被 CVPR2017 大會接收。

論文鏈接：http://www.cs.cmu.edu/~xiaolonw/papers/CVPR2017_Adversarial_Det.pdf

Github：https://github.com/xiaolonw/adversarial-frcnn

論文：A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

摘要

如何確定物體探測器能夠應對被遮蔽、不同角度或變形的圖像？我們目前的解決方法是使用數據驅動的策略，收集一個巨大的數據集——覆蓋所有條件下物體的樣子，並希望通過模型訓練能夠讓分類器學會把它們識別為同一個物體。但是數據集真的能夠覆蓋所有的情況嗎？我們認為像分類、遮蔽與變形這樣的特性也符合長尾理論。一些遮蔽與變形非常罕見，幾乎永遠不會發生，而我們希望訓練出的模型是能夠應付所有情況的。在本論文中，我們提出了一種新的解決方案。我們提出了一種對抗網路，可以自我生成遮蔽與變形例子。對抗的目標是生成物體探測器難以識別的例子。在我們的架構中，原識別器與它的對手共同進行學習。實驗證明，我們的方法與 Fast-RCNN 相比，在 VOC07 上的 mAP 上的升幅為 2.3%，在 VOC2012 物體識別挑戰中的 mAP 升幅為 2.6%。我們同時發布了本研究的代碼。

圖 1：在論文中，我們提出了使用對抗網路來生成帶有遮擋和變形的例子，從而讓物體探測器難以進行分類。隨著探測器的性能逐漸提升，對抗網路產生的圖片質量也在提升。通過這種對抗策略，神經網路識別物體的準確性得到了進一步提升。

圖 2：該方法的 ASDN 網路架構以及如何與 Fast RCNN 結合的示意圖。我們的 ASDN 網路使用輸入圖片加入 RoI 池化層中得到的補丁。ASDN 網路預測遮擋/極高光蒙版，然後將其用於丟棄特徵值，並傳遞到 Fast-RCNN 分類塔。

圖 3：（a）模型預訓練——尋找難度最高的遮擋用於訓練 ASDN 網路。（b）ASDN 網路生成的遮擋蒙版事例，黑色區域在通過 FRCN 管道時被遮擋。

圖 4：ASDN 與 ASTN 網路組合架構示意。首先創建遮擋蒙版，隨後旋轉路徑以產生用於訓練的例子。

表格 1：VOC 識別測試的平均精度，FRCN 指使用我們訓練方式的 FRCN 成績。

該研究的 Caffe 實現：A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

介紹

本實現是 Caffe 版本的 A-Fast-RCNN。儘管我們在論文中的初始實現是在 Torch 上進行的。但 Caffe 的版本更加簡單、快速和易於使用。我們發布了用 Adversarial Spatial Dropout Network 訓練 A-Fast-RCNN 的訓練數據的代碼。

許可

本代碼是在 MIT License 之下發布的（請參閱 LICENSE 文件獲取詳細信息）。

引用

如果你認為本內容對你的研究有幫助，可以進行引用：

@inproceedings{WangCVPR17afrcnn,

免責聲明

本實現是建立在 OHEM 代碼的一個 fork 上的，後者又建立在 Faster R-CNN Python 代碼和 Fast R-CNN 之上。請在使用時選擇相應的研究論文加以引用。

OHEM：https://github.com/abhi2610/ohem

Faster R-CNN Python：https://github.com/rbgirshick/py-faster-rcnn

Fast R-CNN：https://github.com/rbgirshick/fast-rcnn

結果

注意：研究中記錄的結果基於 VGG16 網路。

安裝

請遵循 VOC 數據下載和安裝規範，這方面與 Faster R-CNN Python 一樣。

使用

想要運行代碼，請輸入：

./train.sh

它包括三個階段的訓練：

./experiments/scripts/fast_rcnn_std.sh [GPU_ID] VGG16 pascal_voc

這曾被用來進行標準 Fast-RCNN 一萬次迭代的訓練，你或許需要下載模型和 log。

模型：http://suo.im/2cgwYG

Log：http://suo.im/39gkhf

./experiments/scripts/fast_rcnn_adv_pretrain.sh [GPU_ID] VGG16 pascal_voc

在對抗網路的預訓練階段，可能會需要下載模型和 log：

模型：http://suo.im/2cgwYG

Log：http://suo.im/1TSiRh

./copy_model.h

用於複製上述兩個模型的權重，用於初始化聯合模型。

./experiments/scripts/fast_rcnn_adv.sh [GPU_ID] VGG16 pascal_voc

用於 detector 聯合訓練對抗網路，在這一步中你可能會需要下載模型和 log：

模型：http://suo.im/25uFFX

Log：http://suo.im/2UTbnC