CVPR精彩論文解讀：對當下主流CNN物體檢測器的對比評測

雷鋒網 AI科技評論按：雖然CVPR 2017已經落下帷幕，但對精彩論文的解讀還在繼續。下文是Momenta高級研發工程師李俊對此次大會收錄的Speed/Accuracy trade-offs for modern convolutional object detectors一文進行的解讀。

如何選擇物體檢測器

——對當下主流CNN物體檢測器的評測

自2014年RCNN被提出以來，基於卷積神經網路的物體檢測已經成為主流。Faster RCNN、SSD、YOLO、 R-FCN等諸多檢測演算法百花齊放，每種方法都在各自的維度上達到當時的state-of-the-art。而由於各種不同方法在實驗時所使用的特徵提取網路、圖像解析度、軟硬體架構等諸多因素不盡相同，目前對於不同的檢測方法一直缺乏一個實際的公平比較。這篇論文主要討論多種物體檢測演算法在速度、精度做不同權衡時的表現，進而指導實際應用中對物體檢測器的選擇。

在這篇文章裡面我們主要討論以下幾點：

• 本文為什麼要做檢測器對比

• 如何對不同檢測器做對比

• 對比的結論是什麼

• 總結與思考

1.為什麼要做檢測器對比

近年來由於CNN的發展與應用，物體檢測領域得到了快速發展，如Faster RCNN, R-FCN, Multibox, SSD, YOLO等演算法已經成功應用於實際產品中，並在各種計算設備上展現出可觀的性能。在實際應用中，由於不同的場景下有不同的限制和需求，需要根據實際情況權衡選擇最適合的檢測方法。這就需要我們對不同檢測器的性能有更客觀的認識。

然而，從這些演算法的原始文章很難直接獲得對不同演算法在多個維度的對比。一方面，不同方法的原始論文在特徵提取網路、框匹配方式、框的表示、回歸的Loss函數選擇等方面存在差異（如下表所示）。另一方面，我們缺乏客觀的評價標準：Pascal VOC或者COCO數據集上標準的評價準則mAP只能反映精度，而比賽獲勝的方法通常會採用多模型融合，如multi-crop和multi-scale等方法來犧牲時間提升精度。

我們需要系統客觀地對不同演算法在速度、精度、空間佔用等多個維度進行評測，以用於指導選擇在不同實際情景下所需要的最佳物體檢測器。

2.如何對不同檢測器做對比

本文對比了Faster RCNN, SSD和R-FCN三種方法，每種方法都基於TensorFlow的實現，對比單模型、單次前傳的性能。每一種方法都首先在TensorFlow中復現了原論文的報告精度，然後在此基礎上進行修改對比。具體地：特徵提取器採用了VGG16, Resnet101, Inception V2, Inception V3, Inception Resnet V2, MobileNet等多個模型；Faster RCNN和R-FCN選用同樣的feature map層來預測region proposal；SSD在最上層的feature map基礎上加入多個2倍大小的額外層做預測；Faster RCNN和R-FCN的proposal數量從10變化到300；本文同時探索了feature map的stride從32變化到16、8的影響；保持參數量不變；匹配方式統一為二分圖，匹配框統一encode為[10*x_c/w_a, 10*y_c/h_a, 5*logw, 5*logh]，回歸的loss統一設置為Smooth L1 Loss；輸入圖像解析度統一resize到短邊為600，同時對比了短邊為300解析度的情況；計算時間包含了一次forward加上post-processing的時間。

3. 對比的結論是什麼

對比不同方法的速度-精度圖如下：

Faster RCNN使用更少的proposal，可以顯著加速但僅僅小幅度影響了精度。另外SSD受feature extractor的影響沒有Faster RCNN和R-FCN大。最後本文指出了滿足速度要求情況下的最佳速度精度權衡的物體檢測器。如下圖所示：

最快的模型為低解析度下MobileNet+SSD，精度最高網路為Inception Resnet v2 + 300 proposal Faster RCNN。速度精度權衡到最佳的模型為Resnet 101 + 100 proposal Faster RCNN和Resnet 101 + 300 proposal R-FCN。

4.總結與思考

論文的價值體現在，在相對公平的環境中對比了當前最好的一些檢測演算法，通過大量不同配置的對比，對於實際應用中檢測任務的方法選擇給出了一定的指導。實際應用中Faster RCNN和R-FCN可以達到更好的速度與精度權衡折衷, 兩步迭代的方案一邊保證了高recall, 一邊保證高precision。另外不考慮運行時間的話Faster RCNN仍然是刷榜的首選。

CVPR 作者現場QA：

1. 不考慮時間，當參數量相同時，哪種方法的精度更高？

A：Faster RCNN > R-FCN > SSD，其中SSD的主要優勢是快（同樣參數量情況下）。

2. 為什麼two-stage的方案（Faster RCNN、R-FCN）會比SSD的精度更高？

A：Faster RCNN第一步關注proposal的效果，第二步關注refine的效果。提取的ROI區域會有一個zoom in的效果，因而會比SSD混雜在一起單步學習精度更高。

論文地址：https://arxiv.org/abs/1611.10012

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！