「中科院自動化所AAAI Oral」從哈希到卷積神經網路

新智元推薦

來源：中國科學院自動化研究所

作者：程健研究團隊

轉載編輯：張乾

【新智元導讀】程健研究員團隊最近提出了一種基於哈希的二值網路訓練方法，揭示了保持內積哈希和二值權重網路之間的緊密關係，表明了網路參數二值化本質上可以轉化為哈希問題，在ResNet-18上，該方法比當前最好方法的精度提高了3%。

近年來，深度卷積神經網路已經深入了計算機視覺的各個任務中，並在圖像識別、目標跟蹤、語義分割等領域中取得了重大突破。在一些場景下，當前深度卷積網路性能已經足以部署到實際應用中，這也鼓舞著人們將深度學習落地到更多的應用中。

然而，深度卷積網路在實際部署時面臨著參數量和時間複雜度等兩方面的問題，一方面是深度網路巨大的參數量會佔用大量的硬碟存儲和運行內存，這些硬體資源在一些移動和嵌入式設備中往往是很有限的；另外一方面就是深度網路的計算複雜度較高，這會使得網路推理速度很慢，同時會增加移動設備的電量消耗。

為了解決此類問題，人們提出了很多網路加速和壓縮方法，其中網路參數二值化是一種將網路參數表示為二值參數的方法。由於二值網路中參數只有+1和-1兩種值，乘法運算就可以被加法運算替代。由於乘法運算比加法運算需要更多的硬體資源和計算周期，使用加法運算替代乘法運算能夠實現網路加速的目的。

另一方面，原始網路參數的存儲格式是32位浮點數，二值參數網路只使用1位來表示+1或者-1,達到了32倍的壓縮目的。但是將參數從32位量化到1位會導致較大的量化損失，當前的二值網路訓練方法往往會導致較大的網路精度下降，如何學習二值的網路參數同時又不帶來較大的精度下降是一個問題。

圖自網路

自動化所程健研究員團隊的胡慶浩等人最近提出了一種基於哈希的二值網路訓練方法，揭示了保持內積哈希（Innerproduct Preserving Hashing）和二值權重網路之間的緊密關係，表明了網路參數二值化本質上可以轉化為哈希問題。

給定訓練好的全精度浮點32位網路參數

，二值權重網路（BWN）的目的是學習二值網路參數

並維持原始網路精度。學習二值參數

的最樸素的方式就是最小化

與二值參數

之間的量化誤差，但是這種量化誤差和網路精度之間存在著一定的差距，最小化量化誤差並不會直接提高網路精度，因為每一層的量化誤差會逐層積累，而且量化誤差會受到輸入數據的增幅。

一種更好的學習二值參數

的方式是最小化內積相似性之差。假設網路某一層輸入為

，

是原始的內積相似性，則

是量化之後的內積相似性，最小化

與

之間的誤差可以學習到更好的二值參數

。從哈希的角度來講，

代表著數據在原始空間中的相似性或者近鄰關係，

則代表著數據投影到漢明空間之後的內積相似性。而哈希的作用就是將數據投影到漢明空間，且在漢明空間中保持數據在原始空間中的近鄰關係。至此，學習二值參數

的問題就轉化成了一個在內積相似性下的哈希問題，該哈希主要是將數據投影到漢明空間並保持其在原始空間中的內積相似性。

團隊首先在VGG9小網路上對方法進行驗證，並且在AlexNet和ResNet-18上超過當前的二值權重網路。特別的，在ResNet-18上，該方法比當前最好方法的精度提高了3個百分點。獲得了較好的實驗結果。

表1：不同方法在VGG9上的分類錯誤率

表2：不同方法在AlexNet的分類精度

表3：不同方法在ResNet-18的分類精度

Dasgupta等人[2]在2017年11月份的《Science》上撰文揭示了果蠅嗅覺神經迴路其實是一種特殊的哈希，其哈希投影是稀疏的二值連接。對比二值權重網路（BWN）,我們可以發現二者之間有著密切的關係，首先，二者的網路都是二值連接，這意味著二值權重在生物神經迴路中有存在的生物基礎，這也為二值權重網路的潛在機理提供了啟發；其次，二者都是為了保持近鄰關係，並且可以描述為哈希問題，這種現象表明神經網路的某些連接是為了保持近鄰關係。最後，果蠅嗅覺迴路中的稀疏連接和卷積層的參數共享機制有著異曲同工之處，都是對輸入的部分區域進行連接。

相關工作已經被AAAI2018接收[1]，並將在大會上作口頭報告。

參考資料：

[1] Qinghao Hu, Peisong Wang, Jian Cheng. From Hashing to CNNs: Training Binary Weight Networks via Hashing. AAAI 2018

[2]Dasgupta S, Stevens C F, Navlakha S. A neural algorithm for a fundamental computing problem. Science, 2017, 358(6364): 793-796.

團隊簡介：

程健研究員團隊將在大腦認知機理啟發下，圍繞類腦晶元、深度神經網路高效計算、大規模計算平台等核心問題開展研究，促進類腦智能計算技術和產業的發展。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！