10篇論文＋5項第一，記曠視科技ECCV之旅

機器之心發布

來源：曠視科技

當地時間 9 月 14 日，歐洲計算機視覺頂級學術會議 ECCV 2018 在德國慕尼黑圓滿落幕。據悉，ECCV 2018 規模空前，有近 3200 人參加，接收論文 776 篇；另有 43 場 Workshops 和 11 場 Tutorials。曠視科技研究院在院長孫劍博士的帶領下遠赴盛會，推動全球範圍計算機視覺的技術交流與產品落地。

長期以來，計算機視覺三大學術頂會 CVPR、ECCV 和 ICCV 一起發揮著舉足輕重的平台擔當作用，幫助產學研各方代表展示技術實力，增進學術交流。曠視科技作為全球人工智慧獨角獸代表，是計算機視覺三大「C 位」會議的積极參与者，ICCV 2017 曠視科技打破谷歌、微軟壟斷，成為第一個問鼎 COCO 冠軍的中國公司；CVPR 2018 曠視科技全面進擊，論文、Demo、挑戰賽、酒會，一個不少，掀起一股產學研交流熱潮。

這次的 ECCV 2018，曠視科技同樣保持著較高的參與度並收穫頗豐：

ECCV 2018 共收錄 10 篇曠視研究院涵蓋多個 CV 子領域的論文；

贏得 2018 COCO+Mapillary 挑戰賽四項世界第一，成為 ECCV 奪冠最多的企業；

基於深厚的人臉識別技術積澱，曠視摘得 2018 WIDER Face Challenge 世界冠軍。

下文將一一呈現曠視科技 ECCV 之行的點滴瞬間。

10 篇接收論文全面展現技術硬實力

據 ECCV 2018 官網信息，曠視科技共有 10 篇接收論文。從內容上看，論文涵蓋 CV 技術的多個層面，小到一個新表示的提出，大到一個新模型的設計，乃至神經網路設計原則和新任務、新方法的制定，甚至弱監督學習的新探索，不一而足。

具體而言，曠視科技在以下技術領域實現新突破：網路架構設計（1 篇）、通用物體檢測（2 篇）、語義分割（3 篇）、場景理解（1 篇）、文本識別與檢測（2 篇）、人臉識別（1 篇）。

神經網路架構設計領域，ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design不僅授之以魚，還授之以漁，針對移動端深度學習提出第二代卷積神經網路 ShuffleNet V2，實現速度與精度的最優權衡，同時給出了神經網路架構的四個實用設計準則。這無疑將加速推進由深度學習驅動的計算機視覺技術在移動端的全面落地。此外，論文還提出網路架構設計應該考慮直接指標，比如速度，而不是間接指標，比如 FLOPs。

通用物體檢測方面，曠視科技通過設計 1）新型骨幹網路 DetNet 和 2）目標定位新架構 IoU-Net 推動該領域的發展。

曠視科技語義分割領域的論文佔比最高：1）實現實時語義分割的雙向網路 BiSeNet；2）優化解決語義分割特徵融合問題的新方法 ExFuse；以及 3）通過實例級顯著性檢測和圖劃分實現弱監督語義分割的新方法。

BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation 的提出基於三種主流的實時語義分割模型加速方法，並在特徵融合模塊和注意力優化模塊的幫助下，把實時語義分割的性能推進到一個新高度。

ExFuse: Enhancing Feature Fusion for Semantic Segmentation 針對語義分割主流方法直接融合高低特徵不奏效的問題而提出，創新性地在低級特徵引入語義信息，在高級特徵嵌入空間信息，優化解決特徵融合的問題。

Associating Inter-Image Salient Instances for Weakly Supervised Semantic Segmentation 通過整合顯著性檢測和圖劃分演算法，提出一種新型弱監督學習方法，加速語義分割發展，其最大亮點是既利用每個顯著性實例的內在屬性，又挖掘整個數據集範圍內不同顯著性實例的相互關係。

曠視科技藉助統一感知解析網路 UPerNet 來優化場景理解問題。Unified Perceptual Parsing for Scene Understanding提出名為統一感知解析 UPP 的新任務，要求機器視覺系統從一張圖像中識別出儘可能多的視覺概念；又提出多任務框架 UPerNet，開發訓練策略以學習混雜標註。UPP 基準測試結果表明，UPerNet 可有效分割大量的圖像概念。

在文本識別與檢測方面，曠視科技貢獻了 1）新型端到端可訓練網路 Mask TextSpotter 和 2）檢測任意形狀文本的靈活表徵 TextSnake 兩個技術點。

Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes 受到 Mask R-CNN 啟發，通過分割文本區域檢測文本，可勝任任意形狀的文本；另外，相比其他方法，Mask TextSpotter 還可藉助語義分割實現精確的文本檢測和識別。

TextSnake: A Flexible Representation for Detecting Text of Arbitrary Shapes 可以擬合任意形狀的文本，就像蛇一樣改變形狀適應外部環境；基於這一表示，出現了一種有效的場景文本檢測方法，在包含若干個不同形式（水平、多方向、曲形）的文本數據集上做到當前最優。

GridFace 是曠視科技人臉識別領域的一項新突破。GridFace: Face Rectification via Learning Local Homography Transformations可通過學習局部單應變換減少人臉變形，先校正，再識別，過硬的校正技術大幅提升了人臉識別的性能。相關實驗結果已證明該方法的有效性和高效性。

2018 COCO+Mapillary 包攬四冠成最大贏家

ECCV 2018 最受矚目的 COCO+Mapillary 聯合挑戰賽，中國戰隊奪獲全部冠軍。曠視科技參戰 3 項 COCO 比賽和 1 項 Mapillary 比賽，分獲 3 項 COCO 第一和 1 項 Mapillary 第一，四戰皆勝，攬下了挑戰賽的「大半江山」，在實例分割、全景分割和人體關鍵點檢測上進行了迭代式新探索。

實例分割

實例分割是當前器視覺物體識別最前沿的技術之一，也是計算機視覺最核心的任務之一。曠視科技奪冠的關鍵是在模型的核心組件 Head 上做功夫，提出一種名為 Location Sensitive Header（LSH）的新方法。

傳統 Mask R-CNN 方法藉助 RoI Align 提高實例分割定位精度，但對 RoI Align 之後的組件 Head 無暇顧及。曠視研究員發掘出一個對實例分割友好，對定位精度敏感的 Head。概括來說，LSH 重新設計了任務之間的組合，把分類和分割 combine 起來，這樣做不僅可以優化開發實例分割定位能力，還可有效避免定位和分類之間的衝突。最終，曠視科技以 mmAP 0.486 的成績拿下並列第一。

全景分割

全景分割是這次挑戰賽的一項全新任務，代表著當前計算機視覺識別技術最前沿，沒有之一。從任務層級看，全景分割會比實例分割更進一步。針對這次大賽，在端到端框架探索折戟之後，曠視研究員選定一種 two-fold 方案：整合語義分割和實例分割演算法的輸出。

這一做法需要克服兩個問題：1）Stuff 的特殊性；2）Thing 的遮擋。首先，曠視研究員針對 Stuff 設計試驗了更強的 Encoder Network，又針對 Stuff Context 設計專門的 Object Context Network，保證 Stuff 的性能；其次，由於放棄端到端框架，在圖像融合之時會出現遮擋問題，曠視研究員給出了專門的 Spatial Hierarchical Relation 方法，根據不同物體的重疊面積排定圖像理解的層級。曠視科技高歌猛進，最終在 COCO+Mapillary 實例分割兩項任務中分別以 PQ 0.538 和 0.412 的成績實力奪魁。

人體關鍵點檢測

人體關鍵點檢測需要在多角度、多目標、多尺寸等不受限條件下檢測人體，同時精確定位人體關鍵點，自 2016 年第二屆 COCO 挑戰賽以來一直保留，目前是第三次迭代。COCO 2017，曠視科技曾奪得第一，這次乘勝追擊，背後支撐的依然是「曠式」突破性技術。

由於當前主流的人體姿態估計網路都遭遇了瓶頸問題：增大骨幹網路 Backbone 對精度提升的作用趨近於飽和，曠視研究員設計了新型 Cascade Backbone Network（CBN），可採用多層次跨階段連接和由粗到細的監督策略，實現大幅的精度提升。CBN 採用小網路、多階段、多層中間監督，跨階段連接實現檢測結果逐階段精細提升，最終在 COCO 2018 人體關鍵點挑戰數據集中獲得 mmAP 0.764 的精度，順利衛冕。

2018 WIDER Challenge 人臉識別挑戰賽勇奪第一

ECCV 2018 WIDER Face and Pedestrian Challenge 是一項全球範圍內的計算機視覺頂級賽事和新基準競賽，吸引超過 400 多支隊伍參加，曠視科技參戰其中的人臉檢測比賽 WIDER Face Challenge，最終以 mmAP 0.5582 的成績技壓群雄，勇奪冠軍。

這項比賽中，曠視科技基於 RetinaNet 提出一種新型級聯檢測器，既吸取了 Cascade R-CNN 不斷提高閾值 refine 檢測框的 insight，又保證了 inference 時依然是單階段檢測器，取長補短，兼得性能與速度。這一原創方法在單模型單尺度下 mmAP 超過第二名 1.4 個點，最終 mmAP 超過第二名 2.5 個點，以較大領先優勢奪得第一名。

以上是曠視科技 ECCV 2018 之行的一些掠影。

作為全球計算機視覺獨角獸參加計算機視覺頂會，是對自身實力的一個驗證和砥礪，也是一次相互交流和學習的好機會。曠視科技始於計算機視覺，深耕計算機視覺，人工智慧的爆發與深度學習的發軔也在計算機視覺，從機器之眼開始，正如五億四千萬年之前，寒武紀生物大爆發的一個主要誘因是眼睛的出現。

能看的機器之眼，是計算機視覺技術與應用的共同目標，只不過技術是第一步。ECCV 2018，曠視科技交上了一份滿意的答卷。

本文為機器之心發布，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！