技術新進展！谷歌AI部門宣布發現新技術以加速AI神經網路訓練

谷歌的張量處理器(TPU)和英特爾的Nervana神經網路處理器等人工智慧加速器硬體有望加速人工智慧模型訓練，但由於晶元的架構方式，訓練管道的早期階段(如數據預處理)並沒有從提升中受益。

這就是為什麼近日Google Brain (谷歌的人工智慧研究部門)的科學家在一篇論文中提出了一種名為「數據響應」(data echoing)的技術。

TPU、Nervana與神經網路

TPU是一種高速定製機器學習晶元，最初是在2016年5月由該公司進行的 I/O 開發者大會上推出的。搜索、街景、照片、翻譯，這些Google提供的服務，都使用了Google的TPU(張量處理器)來加速背後的神經網路計算。

據稱，TPU與同期的CPU和GPU相比，可以提供15-30倍的性能提升，以及30-80倍的效率(性能/瓦特)提升。

TPU設計封裝了神經網路計算的本質，可以針對各種神經網路模型進行編程。

英特爾則於今年1月的CES 2019展會上發布了Nervana系列神經網路處理器的最新型號NNP-I，這種晶元適用於企業級高負載推理任務的加速，計劃於今年投入生產。

英特爾推出的Nervana神經網路處理器據稱可以在訓練任務上達到其競爭對手GPU的十倍速度。

Facebook是英特爾的合作夥伴之一，而7月3日，英特爾還宣布將與百度合作開發英特爾Nervana神經網路訓練處理器(NNP-T)。這一合作將全新定製化加速器，以實現極速訓練深度學習模型的目的。

數據響應技術

研究人員表示，這種目前性能最好的數據響應演算法可以使用較少的上游處理來匹配基線的預測性能，在某些情況下，可以抵消4倍慢的輸入管道。

「訓練一個神經網路需要的不僅僅是在加速器上運行良好的操作，所以我們不能僅僅依靠加速器的改進來在所有情況下保持加速。」合著者表示。

一個神經網路訓練計劃可能需要讀取和解壓培訓數據，對其進行清洗、批處理，甚至對其進行轉換或擴充。

這些步驟可以使用到多個系統組件，包括cpu、磁碟、網路帶寬和內存帶寬。

在典型的訓練環節中，人工智慧系統首先讀取和解碼輸入數據，然後對數據進行重組，應用一組轉換對其進行擴充，然後將示例收集到批次中，并迭代更新參數以減少錯誤。

研究人員的數據響應技術是在管道中插入一個階段，該階段在參數更新之前重複前一個階段的輸出數據，理論上可以回收空閑的計算能力。

在實驗中，團隊使用在開源數據集上訓練的AI模型，評估了兩個語言建模任務、兩個圖像分類任務和一個目標檢測任務上的數據響應。

他們將訓練時間作為達到目標指標所需的「新鮮」訓練示例的數量來衡量，並研究了數據響應是否能夠減少所需的示例數量。

合著者報告說，除了一種情況外，所有情況下，與基線相比，數據響應所需的新例子都更少，而且訓練也更少。

此外，他們注意到前面的響應被插入到訓練環節中——即，在數據增強之前，與成批處理後相比，需要的新示例更少，並且在較大的批處理大小下，響應的性能偶爾更好。

該團隊寫道:「當訓練管道在上游某個階段遇到瓶頸時，所有的數據響應變數都至少達到了與基線相同的性能……(這)是一種提高硬體利用率的簡單策略。」

「數據響應是優化訓練管道或增加額外工人來執行上游數據處理的有效替代方案，而這可能並不總是可行或可取的。」

此前，谷歌的神經網路還有過很多別的應用。麻省理工學院和谷歌人工智慧實驗室的研究人員提出了一種自動破譯失傳文字的神經網路演算法。這一演算法首次實現了古希臘邁錫尼文明時期「線形文字B」的自動翻譯，準確地把67.3% 的線形文字B同源詞翻譯成了希臘語。

谷歌還訓練過兩個神經網路，意圖在嘈雜的環境里分離出目標人聲。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！