計算機視覺應用背後 對深度學習框架有怎樣的挑戰

7月19日消息，現今伴隨人工智慧在技術上的不斷突破，一些領域如計算機視覺，已開始與各個行業進行了深度融合。例如保險行業已通過人臉識別這種新時代的認證方式，來對用戶身份信息進行識別與審核。

而在計算機視覺背後，是以深度學習為依託進行的展開，目前深度學習較為成熟分別是人臉識別、物體檢測、物體跟蹤等方面的應用。而在應用的背後，深度學習計算的優化亦成為了重中之重，畢竟深度學習的模型是迅速迭代的，開發者要針對每一個模型嘗試不同的模型和演算法，從而對其參數和網路結構進行調整。

但大模型的訓練要耗費上數天乃至數月的時間，所以若想實現模型的快速迭代，高效的訓練和推理的方式顯得尤為重要。因此模型優化雖然費時費力，但卻是個高回報的投入。

深度學習框架的現狀與挑戰

眾所周知，深度學習對人工智慧的發展起著至關重要的影響，但深度學習也是一項極具挑戰的工作。其一是深度學習領域以大規模標註數據為支撐進行的展開，必須要以數據為前提才能利用現有的統計學模型。

其二是需要先進的網路模型的創新，記得在2015年，微軟奪冠ImageNet計算機視覺識別挑戰時，曾揭開過152層的神經網路模型，比VGG網路深8倍，並使用「殘差學習」理論來指導神經網路結構的設計。但如此深的模型，自然也對系統提出了很高要求。

雖然目前硬體和網路的發展極為迅速，GPU、晶元等硬體的發展也提供了比以往更為強大的計算能力，同時網路連接也為深度學習帶來了全新的發展機遇。但遺憾的是，系統方面所出現的瓶頸問題卻尚未得到解決，如何將不同模型高效地映射到相應的硬體上並定製優化，是深度學習目前面臨的挑戰之一。

對於微軟而言，其願景是讓每個人都能用上人工智慧，解放從業者不必要的工作量，因此若想讓人工智慧變得更為大眾化，系統優化上的工作自然落在了微軟的肩上。

深度學習優化三大挑戰

在此前一次媒體交流的活動中，微軟亞洲研究院資深研究員伍鳴曾指出，目前深度學習計算的優化主要面臨三大挑戰：擴展性、局部計算以及內存的使用效率。

擴展性方面，微軟通過遠程直接數據存取（RDMA）以及NVLink（英偉達開發並推出的一種匯流排及其通信協議）等高速的網路硬體能力，設計出了一個討巧的零拷貝通信機制，讓計算能力能夠線性增加。也為深度學習開發人員帶來更大的想像空間。

此外優化演算法是求解目標函數中極為重要的一環，需要設計並行與分散式優化演算法。但開發者通常更關注於神經網路結構和演算法的本身，並不擅長指導其在分散式環境中去具體執行，為此微軟開發了一套能夠實現自動優化的系統軟體，能夠自動把模型做分散式的執行。

利用RDMA優化分散式的深度學習訓練，微軟有效提高了多機訓練的吞吐量和收斂速度，在不同應用類型下，取得了2-8倍的加速效果。

（紅色是微軟的數據，藍色是原始數據）

在局部計算方面，目前很多深度學習模型背後有著大規模的數據流圖，在這其中有很多非常小的運算元組成，這些運算元在GPU上啟動執行時都存在著內存開銷。為了減少這些系統開銷避免影響計算效率，微軟設計了一個能自動內核融合的方式。

在個標準循環神經網路LSTM模型的例子，微軟通過把整個模型所有的運算元融合成一個內核函數，從而基本消除了所有框架本身的額外開銷。跟原始的TensorFlow相比快了10倍之多，而與TensorFlow開發的編譯優化系統XLA相比，也有很大程度的提升。

最後在內存使用效率上，如GPU或者定製硬體加速器，這些硬體的內存資源有限，很可能限制模型的規模。微軟的解決方法是利用模型量化和壓縮去減小它的體積，或是如果模型很大，可以將其放在host內存中，使數據分段地傳輸到GPU里，但對於不同的模型任務或應用，需要挑選最合適的方法。同時也對TensorFlow做了一些改進，將介面更為便捷的開放給開發者進行嘗試，以此來實現不同的壓縮和量化方法。

微軟的意圖很明顯，就是將技術更好的對外進行輸送，幫助開發者、企業能夠更聚焦在自家業務方面，而不是去關注底層系統到底是如何運行的。

通過這些巨頭的不斷努力，或許終有一天大多深度學習框架都將具備互通統一特性，就好比當年的資料庫，最早資料庫有很多類型，但最後伴隨Relational algebra（關係代數）為基礎的資料庫的誕生，讓所有資料庫模型都成為一種統一的模型。而在人工智慧方面，從系統角度來看，這必然是未來的大趨勢之一。

正如微軟印度公司人工智慧部門總經理桑達爾·斯理尼萬森所說，微軟要讓所有個人和機構都使用上人工智慧。未來即使是非人工智慧或是機器學習方面的專家，也能將最新的人工智慧技術融入到自家所研發的產品當中。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！