AI將需要超百萬倍計算力，三因素決定深度學習模型計算

最新 09-08

1新智元報道

作者：胡祥傑

【新智元導讀】人工智慧三大支柱之一的計算目前發展是什麼樣的？它足以支撐人工智慧的火速發展嗎，會不會拖後腿，讓人工智慧的發展停滯？9月7日首屆AI計算大會上述問題得到了很好的解答。在會上發表演講的嘉賓首先對「計算力對新一波人工智慧浪潮的影響有多大」進行了討論。浪潮集團VP胡雷鈞在主題演講中對新的model對計算能力的需求三個因素進行了剖析，這裡其中一個是網路深度，一個是網路里節點單元的個數和節點單元連接的複雜度，一個是處理的數據集的規模。

AICC首屆AI計算大會，9月7日上午在北京國際飯店盛大開幕，中國工程院王恩東院士、李德毅院士、微軟技術院士黃學東、集群超算架構創始人Thomas Sterling、浪潮副總裁胡雷鈞、國家超算無錫中心主任楊廣文、百度人工智慧技術委員會主席朱勇、曠視科技首席科學家孫劍、深度學習框架評測專家褚曉文、Uber機器學習主任王魯明等大咖在主論壇發表演講，吸引到2000領域精英。

人工智慧計算大會(AI Computing Conference，簡稱AICC)由中國工程院信息與電子工程學部主辦、浪潮集團承辦，以「創新計算賦能AI」為主題，主旨是圍繞AI當下需求及未來發展，從計算創新著眼，聯合從事AI計算及應用的公司、用戶、專家、開發者共同打造探討促進AI計算的交流合作平台，推動AI產業的可持續發展。新智元作為獨家社群直播合作夥伴在新智元專家社群中對此次大會進行了圖文直播，引起熱烈討論。

院士之辯：第三次人工智慧浪潮是計算力催生的嗎？

中國工程院院士、浪潮集團首席科學家王恩東回溯了計算的發展歷史，在評價當前的計算髮展時，他提到，現在的晶元計算除了原來的CPU以外，有了GPU、TPU和DPU，一堆的「PU」，為什麼是這樣的？這說明計算性能還不夠。「看上去開發了一批專用的晶元，實際上就是ASIC」。

王恩東院士說，圖靈先發明的計算機的基本原型，又提出了人工智慧，計算機是大兒子，人工智慧是二兒子。大兒子和二兒子的特點不一樣，大兒子比較穩重比較有耐性，持續的發展，不調皮不搗蛋，像摩爾定律說的一直按照這個規律持續發展。二兒子比較活躍，有創新思維，敢冒險，於是經歷了三起三落或三落三起。

他認為，人工智慧的發展離不開計算、演算法和數據，計算是基礎。今天一台小小伺服器的計算速度是20年前最快計算機的60倍。正是由於計算能力的快速發展，結合互聯網、物聯網帶來的海量數據和深度學習等先進演算法，才共同催生了第三次人工智慧浪潮。

隨後中國工程院院士、中國人工智慧學會理事長李德毅。他在演講中提醒人們要冷靜地看待人工智慧熱潮，計算只是這波人工智慧發展的三個要素之一。他認為，當下，首先受到人工智慧衝擊的四個行業分別是：製造業、教育、醫療和金融。

微軟黃學東：新的語音識別里程碑，感謝計算的威力！

最近，微軟宣布，微軟的語音對話研究小組在Switchboard語音識別任務中，將錯誤率從去年的 5.9% 再一次降低到 5.1%，達到目前最先進水平。

微軟語音首席科學家、技術院士黃學東在本次演講中解讀了微軟的這一工作。他說，核心技術用了三類很大的標準的神經網路，DNN、CNN、RNN。微軟用了將近十幾個神經網路在並行的工作，語言模型也用了好幾種不同的語言模型神經網路在並行的工作，通過跑了好幾千個試驗，用了好幾百個模型的比較。「感謝計算的威力，我們的系統bug比較少。我們的工具比較快，CNTK比同類的深度學習工具做語音識別任務上至少快3-4倍」，因此，他也說到，CNTK可以認為是他們的秘密武器。

針對新的語音識別準度的突破，黃學東說，有這樣研究的突破，大家會問這個能幹什麼事情？跟電腦交互的時候會不會做到真的跟人一樣好？我可以告訴大家，今天的產品因為需要實時，所以還需要計算的更加努力，更加強大的GPU，大家才能真正用上超人水平的語音識別，但這只是時間問題。

浪潮集團 VP 胡雷鈞：我們真正需要的是超過現在100萬倍的計算能力

根據此前的報道，浪潮的AI解決方案在全中國的佔有率達到了60%，為BAT提供的產品佔比達到80%。那麼，浪潮具體為BAT提供的是什麼？

在接受新智元的採訪時，浪潮集團VP胡雷鈞說：「一個是系統平台。比如浪潮研發的面向AI的產品家族，有十幾款產品幾十種組合。這等於為我們的客戶應用這類技術提供了一個非常好的條件和環境。另外在底層的系統軟體方面我們有AIStation，能夠幫助客戶去管理計算平台和分析計算瓶頸。我們在AI計算的框架上做了Caffe-MPI，是面向集群的非單機的比較好的並行計算框架。同時我們也很好的工程師隊伍，能夠幫助客戶移植和優化AI的應用，能夠在GPU、MIC、FPGA加速器平台上得到比較好的應用效果。」

上圖：綠線是人工神經網路在某一類應用，紅線是訓練這個模型訓練這個網路需要的總計算量。

浪潮集團 VP 胡雷鈞在演講中提到，新的model對計算能力的需求由三個因素決定，一個是網路深度，一個是網路里節點單元的個數和節點單元連接的複雜度，一個是處理的數據集的規模。這三個因素加在一起使得我們訓練這個模型需要的計算能力是非常大的，比如說用120萬張圖片的數據集來訓練一個ResNet，需要的時間是41天，整個浮點運算操作的總量是2200億億次。

他說，AI計算平台會遇到很多瓶頸，比如數據的瓶頸、計算能力的瓶頸、延遲的瓶頸、通信能力的瓶頸。這裡邊無非有幾個核心問題，第一處理單元能多快速度的取到它處理的數據，第二每次處理之後能以多快的速度去交換數據，這是通訊問題。第三我們在單位的空間內能集成多少計算能力。這是約束著一個計算系統最大規模也是約束著我們能以多快的時間完成一個模型的訓練的問題。

胡雷鈞說，監督式學習的訓練複雜度相對要小一些，無監督學習不但訓練的數據是變的，網路本身也是變的，網路的深度、每一層的節點的數量、每一層與每一層之間的連接都是變動的，在這些變動之下我們需要的計算規模可能要達到100個E級。而對於通用人工智慧，以目前在摩爾定律約束下的專用化計算能力，還看不到在哪一天能夠真正達到人腦級的運算。結論是計算推動 AI 快速發展，訓練一個模型需要的計算能力是非常大的。

胡雷鈞強調只有生態勢能可以讓AI突破計算能力的局限。他說，人工智慧要想繼續往前發展，就必須體系化、層次化的構建它的生態系統。有一個相對完整的生態系統的支撐，我們才能推動計算系統能夠面嚮應用需求。在具體的實踐中，我們認為AI的計算平台、AI的系統管理、AI的計算框架、AI的應用方案作為一個生態系統里不可或缺的幾個重要環節，在滾動推動著AI的發展。

在演講中，胡雷鈞介紹了浪潮在Caffe的嘗試，叫Caffe-MPI。

浪潮是首個把Caffe的計算模型從原先的單機版擴展成為集群版，通過這個集群版可以做到在一個系統里運行更大尺寸的神經網路，同時通過MPI的編程能夠更有效的調動系統的資源來完成一個高性能計算。

這實際上就是把在高性能計算領域裡的應用模式和應用方法移植到了AI的平台上，通過原先已經有的在大規模計算平台上的經驗，提高AI應用或者說提高神經網路的訓練效率。Caffe-MPI目前是一個開源項目，由浪潮貢獻，可以自由下載。

要構築一個AI系統無論它是一個訓練的系統、還是它的應用系統，無論是AI模型的供應者還是訓練者，都要仔細考量系統應該怎麼構成。胡雷鈞總結了四步法：任務分解也就是用戶需求的分解；數據準備，要有大批的數據去訓練，這些數據通過採集、篩選、清洗最終把它歸類，把它送到AI的平台裡面去；演算法選擇，目前針對不同的應用有不同的演算法。有了演算法之後還要在系統平台上做一些試驗看看我們應該構建什麼樣的系統平台，才能讓這個演算法訓練得更好、運行得更好；系統構造，構造這個系統的時候我們要考慮應該用什麼樣的計算平台，應該用什麼樣的管理平台，應該怎麼考慮線下的訓練，應該怎麼考慮線上的識別。

在這個基礎上面向AI的應用，浪潮提供了E2E的解決方案。在這裡有高密度高性能的模型訓練的平台AGX-2。胡雷鈞說，它是目前世界上最高密度的AI計算平台，在2U空間之內支持NVLink，支持P100GPU，有基於FPGA的F10A加速卡，有高效的人工智慧管理平台AIstation，有高性能深度學習框架Caffe-MPI，同時還有非常有經驗的工程師隊伍可以幫助優化演算法。

AICC8大金句