微軟、中科大開源基於深度高分辨表示學習的姿態估計演算法

作者 | 周強（CV君）

昨天arXiv出現了好幾篇被CVPR 2019接收的論文。

其中來自微軟和中國科技大學研究學者的論文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相應代碼甫一公布，立刻引起大家的關注，不到一天之內，github上已有將近50顆星。

今天就跟大家一起來品讀此文妙處。

該文作者信息：

該文為第一作者Ke Sun在微軟亞洲研究院實習期間發明的演算法。

基本思想

作者觀察到，現有姿態估計演算法中往往網路會有先降低解析度再恢復高解析度的過程，比如下面的幾種典型網路。

為便於表達，在下面的a、b、c、d四幅圖中，同一水平線上的特徵圖為相同解析度，越向下解析度越小，在最終的高解析度特徵圖heatmap中計算姿態估計的關鍵點。

Hourglass

Cascaded pyramid networks

Simple baseline

Combined with dilated convolutions

其中的網路結構說明如下：

作者希望不要有這個解析度恢復的過程，在網路各個階段都存在高解析度特徵圖。

下圖簡潔明了地表達作者的思想。

在上圖中網路向右側方向，深度不斷加深，網路向下方向，特徵圖被下採樣解析度越小，相同深度高解析度和低解析度特徵圖在中間有互相融合的過程。

作者描述這種結構為不同解析度子網路並行前進。

關鍵點的heatmap是在最後的高解析度特徵圖上計算的。

網路中不同解析度子網路特徵圖融合過程如下：

主要是使用strided 3*3的卷積來下採樣和up sample 1*1卷積上採樣。

這麼做有什麼好處？

作者認為：

1）一直維護了高解析度特徵圖，不需要恢復解析度。

2）多次重複融合特徵的多解析度表示。

實驗結果

該演算法在COCO姿態估計數據集的驗證集上測試結果：

與目前的state-of-the-art比較，取得了各個指標的最高值。相同解析度的輸入圖像，與之前的最好演算法相比增長了3個百分點！

在COCO test-dev數據集上，同樣一騎絕塵！

在MPII test 數據集上，同樣取得了最好的結果！

作者進一步與之前最好模型比較了參數量、計算量，該文發明的HRNet-W32在精度最高的同時，計算量最低！

如下圖：

在PoseTrack2017姿態跟蹤數據集上的結果比較：

同樣取得了最好的結果。

下圖是演算法姿態估計的結果示例：

不僅僅是姿態估計

作者在官網指出，深度高解析度網路不僅對姿態估計有效，也可以應用到計算機視覺的其他任務，諸如語義分割、人臉對齊、目標檢測、圖像分類中，期待更多具有說服力的結果公布。

論文地址：

http://cn.arxiv.org/pdf/1902.09212.pdf

項目主頁：

https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html

代碼地址：

https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

（本文為AI科技大本營轉載文章，轉載請微信聯繫原作者）

群招募

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！