在深度學習大熱的同時，我們也要直面這六個挑戰……

來源：Hackernoon

編譯：Tom R

深度學習已經成為人工智慧領域最主要的研究方向，我們熟知的人工智慧應用（語音識別、圖像處理和自然語言處理）背後都有深度學習在支撐。深度學習演算法通過模擬人腦的神經結構來學習處理特定的問題，在各個領域都取得了很驚人的成果，但目前深度學習還面臨著一系列挑戰。今天我們就一同來直面這些挑戰。

一個神經網路架構

Andrew Ng有句名言：「我相信深度學習是實現真正人工智慧的最佳途徑。」

如果你用心觀察周圍的世界，你就會明白這句話里包含的重量。從蘋果的Siri到微軟的小娜，從谷歌照片到Facebook的圖像識別，從搜索引擎里的文本自動糾錯到在線音樂平台的推薦引擎，這些技術為我們的生活帶來了無限的便利，而它們的背後都有深度學習在支撐。當然這僅僅只是深度學習應用的幾個例子，它已經深入到我們生活的方方面面並改變著我們的生活。

但是這項偉大的技術同樣面臨著一系列複雜的挑戰，主要包括以下幾個方面：

龐大的數據需求

模型的過擬合

模型的優化

高性能的硬體需求

神經網路的不可解釋性

缺乏泛化性

接下來讓我們一起逐一分析這些挑戰！

龐大的數據需求

深度學習是一種數據驅動的演算法，大量的數據是建立精確模型的前提和保證。就像人類需要從經歷中總結經驗學習和提取信息一樣，人工神經網路也需要巨量的數據來分析、提取和總結。越抽象越強大的模型就需要越多的參數，同時也意味著需要更多的數據來支撐。

舉個栗子，如果我們要訓練一個語音識別程序，我們需要不同方言不同長度的語音數據以及人口數據，並將這上萬G的數據送到演算法中，經過漫長的訓練和調優後才能得到一種語言的語音識別程序。這是一個十分漫長的過程並且需要巨大的演算法處理能力，IBM、微軟、蘋果等等都是經過了許多年的技術積累才打到了今天的程度。在一定程度上，可以說利用深度學習解決某一個問題就是一個如何充分利用巨量數據的問題。

同時神經網路的複雜性可以通過其中所包含的參數數目來表示。在深度神經網路中，參數的數目都達到了上百萬甚至上億的量級。如果我們把這個數字記為P的話，那麼訓練出一個較好性能的神經網路所需的數據規模至少是P*P。

神經網路的過擬合問題

有時，訓練數據集中出現的錯誤和新的未看到的數據集中遇到的錯誤有很大差異。它一般發生在複雜的模型中，比如對於觀察目標來說有過多的參數。一個模型是否有效一般是通過事先不可見的數據集判斷的，而不是通過對提供給它的訓練數據的性能進行評估。

這主要是模型在訓練的過程中為了優化在訓練集上的表現不斷調整參數，使得模型「記住了」訓練樣本的樣子，但卻失去了對於新情況下樣本和數據的適應能力，使得模型使其泛化性。在深度學習中，一般使用正則化方法來處理這一問題，但在一些情況下還面臨著許多尚未解決的問題。

超參數優化

超參數是那些在訓練和學習過程前預先定義好的神經網路參數，這些參數對於神經網路有著巨大的影響，差之毫厘謬以千里。超參數調優是深度學習中一項重要的工作，一個網路的性能優劣很可能就取決於超參數的細微差別，這也是深度學習和神經網路中的最需要經驗的地方。

高性能計算的需求

為了解決真實世界中的問題，我們的深度學習演算法需要巨量的數據，同時也需要機器擁有處理龐大數據的能力。為了縮短訓練的時間提高效率，深度學習領域一般會使用多卡高性能GPU工作站，甚至是超算中心來進行訓練。這些設備不菲的價值外還會帶了很高的能耗。

工業界使用的產品級深度學習系統往往會運行在高端的數據中心，而智能手機、無人機可穿戴設備等卻需要小型的高效處理單元。在現實世界中部署神經網路需要平衡效率和能耗以及成本的關係。訓練和實現深度學習解決方案是一件耗時耗力耗錢的工作！

神經網路的不可解釋性

對於神經網路，我們知道了模型的參數、也知道了輸入的數據以及如何將這些連接成網路的方式，但是我們卻還無法知道它是如何實現這一過程的。神經網路就像一個神經的黑箱，它有十分神奇的功能但是我們對它如何工作如何推演的過程卻無從知曉。

神經網路的不可解釋性阻礙了這一技術的抽象和總結，限制了高水平認知智能的研究和發展。同時神經網路的操作對於人類來說太過抽象，我們無法很好的驗證它的工作過程是否合理。

但最近帝國理工的教授Murray Shanahan及其團隊發表了一篇討論深度符號強化學習的論文，正在致力於解決這一問題。

https://arxiv.org/pdf/1609.05518.pdf

缺乏靈活性和適應性

深度學習模型一旦訓練完成就可以十分精確和高效的處理特定的問題，然而目前的神經網路具有高度分化的專一性，只能在特定的問題上具有良好的表現。

DeepMind的科學家Raia Hadsell對目前這種狀況進行了精闢的總結：「這個世界上沒有那個神經網路可以同時完成物體識別、音樂識別和玩星際入侵遊戲這些任務！」

今天絕大多數的深度學習系統對於一個特定的問題有令人十分滿意的表現。但只要面臨的任務稍微改變一點，哪怕是相似的任務，它也需要重新進行訓練和評估，更別提不同的任務了。目前研究人員正致力於創造出一種可以適應多種任務的神經網路架構。

目前科學家們在利用進步神經網路（Progressive Neural Networks）獲得了些許的進展。

https://arxiv.org/pdf/1606.04671.pdf

同時在多任務學習（MTL）同也獲得了重大的突破。

來自谷歌大腦和多倫多大學的研究人員們發表了一篇關於多模型的論文，通過綜合視覺、語言和語音神經網路的優勢可以實現同時解決多種不同任務的深度學習模型，包括圖像識別、翻譯和語音識別等方面。

https://arxiv.org/pdf/1706.05137.pdf

結 語

深度學習是當今人工智慧最為火熱的研究領域，但它並不是無所不能的。但我在拓展認知科學的新邊疆時，勢必會遇到無數的困難和調整，這個過程和所有的技術進步一樣在曲折中不斷進步。「深度學習會是實現AI的最好方式嗎？」只有未來才知道答案，作為AI領域的研究人員，我們一起拭目以待！

-END-

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！