神經網路突變自動選擇AI優化演算法，速度提升50000倍！

新智元AI WORLD 2018世界人工智慧峰會

倒計時13天

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，南京大學計算機系主任、人工智慧學院院長周志華教授屆時將親臨會場做《關於機器學習的一點思考》主題演講。周志華教授是AI領域會士「大滿貫」得主，AAAI 2019程序主席、IJCAI 2021程序主席，《機器學習》一書的作者。

活動行購票二維碼：

新智元報道

來源：venturebeat、IBM

編輯：大明

【新智元導讀】為特定任務尋找最合適的優化機器學習演算法是一件耗時費力的工作，因為沒有一種演算法能適用於所有任務。IBM的研究人員提出「神經突變」進化演算法，可以為機器學習任務自動選擇最合適的演算法，選擇速度提升了50000倍，錯誤率僅上升0.6%.

機器學習系統並非是「生而平等」的。沒有一種演算法能應對所有的機器學習任務，這就讓尋找最優的機器學習演算法成為一項艱巨又耗時的工作。不過這個問題現在有希望解決了，最近IBM的研究人員開發了一套能夠自動選擇AI優化演算法的系統。

IBM愛爾蘭研究院的數據科學家Martin Wistuba,在其近日發表的博客文章中介紹了自己開發的這套系統。他聲稱，該系統將自動選擇優化AI演算法的速度提升了5萬倍，錯誤率僅上升了0.6%。

Wistuba表示，這套進化演算法系統能將選擇適當的機器學習架構的時間縮減至幾個小時，讓每個人都能有條件對深度學習網路架構進行優化。

面向機器學習的神經網路突變演算法

該方法將卷積神經網路架構視為神經細胞序列，然後應用一系列突變，以找到一種結構，可以提升給定數據集和機器學習任務的神經網路的性能。

這種方法大大縮短了網路訓練時間。這些突變會改變網路結構，但不會改變網路的預測，網路的結構變化可能包括添加新的層、添加新連接或擴展內核或現有層。

保留原函數的神經網路突變示例。右側的體系結構是突變後的網路，但與左側的體系結構具有相同的預測結果（由相同顏色表示）

實驗評估：速度提升5萬倍，錯誤率僅上升0.6%

實驗中，研究人員將新神經進化方法與CIFAR-10和CIFAR-100數據集上的圖像分類任務的其他幾種方法進行了比較。這些數據集通常用於訓練機器學習和計算機視覺演算法的圖像集。

與最先進的人工設計架構、基於強化學習的架構搜索方法、以及基於進化演算法的其他自動化方法的結果相比，結構突變演算法在分類錯誤上稍高出前幾種方法，但耗時要少得多，比其他方法快了50000倍，錯誤率最多僅比基準數據集CIFAR-10上的最有力競爭對手高出0.6％。

下圖所示為演算法的優化過程。在圖2中，每個點代表不同的結構，連接線代表突變。不同顏色所示為每個結構的精度，x軸表示時間。可以看到，準確率在前10個小時內迅速上升，之後緩慢上升、最後趨於穩定。

深度學習網路設計的進化演算法優化

圖示為隨時間推移，進化演算法的優化過程

下圖所示為隨著時間的推移，深度學習網路結構的演變情況。

網路結構隨時間的演變，圖中某些中間狀態未顯示

實際上，自動演算法選擇並不新鮮。谷歌在智能手機面部識別和目標檢測上也在使用這類方法，如果IBM這一的系統性能確實如其所言，它可能代表著該領域內的一次重大進步。

將來，研究人員希望將這種優化集成到IBM的雲服務中，並將其提供給客戶。此外還計劃將其擴展到更大的數據集上，如ImageNet和其他類型的數據，如時間序列和文本、自然語言處理任務等。

Wistuba將於9月在愛爾蘭都柏林舉行的歐洲機器學習和資料庫知識發現會議（ECML-PKDD）會議上介紹這種方法。

參考鏈接：

https://venturebeat.com/2018/09/04/ibms-new-system-automatically-selects-the-optimal-ai-algorithm/

https://www.ibm.com/blogs/research/2018/09/ai-design-deep-learning/

新智元AI WORLD 2018大會倒計時13天

門票已開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

http://www.aiworld2018.com/

活動行購票鏈接：

http://www.huodongxing.com/event/6449053775000

活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！