當人工智慧出錯時，我們可能沒有能力理解出錯原因

軟體在屏幕後主導著我們大部分的日常生活，從瀏覽哪類信息到跟誰約會。對某些人，秘密的演算法還能判斷出他們未來實施犯罪的風險大小。想了解這些黑盒子如何實現這一切是很自然的事情，尤其在它對我們的影響如此直接的情況下。

人工智慧始終在進步。例如谷歌最近用一種被稱為深度學習的技術在圍棋比賽中完勝人類對手，而圍棋是一種有幾千年歷史而且極其複雜的棋盤遊戲。研究者還認為深度學習能更快地處理大量數據，因此也能用來尋找更有效的藥物。蘋果也把此項技術植入了 Siri，使她變得更聰明。

未來主義者認為，可能以後計算機程序會為我們做所有的決定——從誰能拿到保險到死罪適用什麼樣的刑罰。甚至很快人工智慧就能在戰場上指導士兵作戰了。實際上，計算機能承擔大部分保險推銷員、法官和行刑者的工作。

這些擔憂促成了歐盟一項計劃於 2018 年生效的新法案，如果某項「完全基於自動化過程的」決策會產生「不利的法律效果」或對於利害關係人產生相似的負面影響，該法案將會禁止這項決策的實行。該法案聲明這種決策可能會包括「拒絕線上信貸申請或網路招聘實例。」

一旦機器足夠複雜，那麼就幾乎不可能能完全解釋它的行為。

如果機器會把一個人的生活搞得一團糟，那麼專家相信這項新法案會為他帶來要求得到答案的可能性。雖然法案並沒有明確規定對演算法決策的「解釋獲得權」，一些學者仍舊認為它會給因計算機所作所為而受苦的人們創造一個。

雖然這項被提議的權利很崇高，但卻不可能實施。這是一個關於我們面對最強大人工智慧——深度學習所處的境地的悖論。

我們後面會更詳細地解釋這一點，但大致來說，深度學習系統就是「一層層」的數字神經元，其中每個神經元都用輸入數據運行各自的計算，並自行重新排列。基本上，它們自己「教會」自己要在龐大的信息流中關注哪些東西。

雖然這些程序被用在我們日常生活的很多方面，但谷歌，蘋果還有其他開發商並不確切地知道這些演算法一開始到底是如何做決策的。如果我們無法解釋深度學習，那就不得不思考一下我們能不能控制這些演算法，又該怎樣去控制，更重要的是，我們能信任它們到什麼程度。因為沒有任何立法，無論意圖多崇高，都無法打開這些黑匣子。

2016年3月，谷歌的 AlphaGo 對弈圍棋棋手李世石

52歲的 Yoshua Bengio 自從1993年就在加拿大蒙特利爾大學工作了。有一群計算機科學家通過黑暗中的摸索把深度學習從可能葬送職業前途的墳場轉變成了價值幾十億美元的產業，他就是這些屈指可數的人中的一個。

因為那個會讓所有相信機器人有朝一日會毀滅全人類的人都脊背發涼的想法：我們並不能真正理解深度學習系統做決策的原因，我致電給他，希望他能緩解我的焦慮。

他並沒有真的讓我放鬆下來。事實上他說，深度學習軟體之所以能取得這麼好的效果，正是因為我們無法從數學上拆解它們所作的決策。

「一旦機器足夠複雜，那麼就幾乎不可能能完全解釋它的行為。」Bengio 說道，「想想人類或動物，他們的大腦用幾千億個神經元進行計算。即使你能夠測量這些神經元，也無法得到你能使用的答案。」

Bengio 說深度學習系統的核心數學其實很簡單，但問題在於：一旦它們運行起來，它們的行為就會複雜到難以解釋。你可以把它們用來做決策的計算全部放入一個電子表格中，但得到的結果就是一堆只有計算機才能理解的數字了。

但值得強調的是，深度學習還是在計算機上運行的，這意味著我們不必過分神話它。讓我們這樣想：過去很多人受雇去當人類計算機。「computer（計算機）」這個詞帶有一種含蓄的歷史連續性，它讓我們意識不到這樣一個事實：今天這些強大的計算機做的工作跟原始的人類計算機完全一樣，只不過速度快很多。

你並不能完全理解你面前的這個人（大腦運作）的具體細節，但你卻信任他們。

讓我們考慮下圖靈機，一個阿蘭·圖靈於 1930 年提出的概念，在今天仍被用來釐清那些關於智能機器倫理的麻煩問題。但在圖靈看來：「一個有紙、鉛筆和橡皮並且遵循嚴格規範的人實際上就是一台通用機器。」

那些極其強大的深度學習計算機本質上還只是計算機而已，但從某種程度上看，它們也是專家——輸入數據就能得到響應的輸出。我們能理解維持它們運轉的數學和高層次上的概念，但它們的內建邏輯卻超出了我們的理解範圍。

Bengio指出信任一台電腦並不比信任另一個人類更難或更危險。他繼續解釋說：「你並不能完全理解你面前的這個人（大腦運作）的具體細節，但你卻信任他們。這跟複雜的人體構造是一樣的，因為沒有人能完全掌控它們相互作用的方式。我們怎麼能信任這些呢？有時我們永遠也無法完全信任他們，並且還要時刻防備著他們。」

這就是歐盟新法案中有關人工智慧的條款背後的核心思想。法案只禁止那些完全由自動化程序做出而且給人帶來負面影響的決策，那可以推測出，如果在決策鏈的某些環節讓人類參與，應該還是被允許的。

但可以想像，即使有這樣的警告，有些情況下還是需要某種類型的「解釋獲得權」的。比如說，一輛自動駕駛車輛出了車禍。假設數據處理過程是完全自動化的，而且至少會對車上的乘客產生負面效應。也許這輛汽車會莫名其妙就決定左轉而不是右轉。我們可以說這是機器失靈，也可以說這是一個糟糕的決策。

為了滿足「解釋獲得權」而探尋這個決策是如何做出的，我們可以拆開機器的大腦，但所有那些我們拽出來的數據.....它們也只是十幾億次獨立自動運算生產的結果，而非對一次人類慘劇的清楚解釋。

在這裡，或者其他那些由於人工智慧行為不佳造成的對個人沒那麼大傷害的案例中，從來就不存在能讓人滿意的解釋，不管有沒有這項權利。對於自動駕駛汽車事故或人工智慧拒絕保險責任範圍而言，這一點都一樣。

1949 年的人類計算機

深度學習系統，或者叫神經網路，是在輸入數據（比如數百萬張貓圖片上）運行半隨機計算的節點「層」。這些節點是加權的，而且會通過自我重組得到一個輸出，比如一隻貓的決定性的視覺識別特徵。這個過程叫做訓練。谷歌在 2012 年做到了這點，他們把 16,000 個計算機處理器連接起來運行了十億個獨立「神經元」。

這些系統在它們所「知道」的信息的基礎上做預測。如果你給一個訓練過的神經網路看一張它以前從未見過的貓的圖片，它能夠以某種程度的確定性說這也是一隻貓。研究者用不同種類的數據訓練它們，就能讓它們做不同的事情，比如不用貓咪照片而用書或人類語音等不同種類的數據訓練它們。

如果有了十幾層和幾十億個連接，對於給定決策的路徑進行反向工程就太過複雜了。到不是說這些系統有魔法。它們還是受數學支配的，只不過是非常複雜的數學。比方說，你烤了一個蛋糕，但這個蛋糕不能被反向還原成開始的原料。懷俄明州大學致力深度學習系統的計算機科學家 Jeff Clune 解釋說：「假設你是一個經濟學家，我告訴你十億人的具體購買行為。即使我告訴你所有這些，你仍舊對於會出現怎樣的結果一頭霧水。」

Clune 補充說，即使連接數量很少的神經網路也要花費幾年時間才能被完全破解。

我不知道這個和聲聽起來會是什麼樣的，不知道這個音樂聽起來怎麼樣。

Clune 繼續說：「我能看到每個獨立神經元背後的代碼，但我不知道（它們組合起來的）和聲會是什麼樣的，不知道這個音樂聽起來怎麼樣，我想未來我們會信任那些運行非常好的機器學習系統，但其中的原因我們並不能完全理解，甚至連部分理解都做不到。」

這並不意味著研究者們就不會去試圖理解神經網路了。比如 Clune 就開發了一種可視化工具，它能顯示神經網路每層中每個神經元在拿到數據時「看到」了什麼。他和同事還寫了一種演算法，它產生的圖片能最大限度地激活單個神經元，以確定它們在輸入數據流中到底在「尋找」什麼。

谷歌的工程師們正是運用這種反向方法去搞清楚神經網路在構建 Deep Dream 時到底做了什麼，這個程序能純粹根據網路對這個世界的理解生成一系列迷幻的圖片。一個解釋這種方法的谷歌博客上寫道：「理解每一層上到底發生了什麼是神經網路領域的一大挑戰。」

我們的終極目標並不是要理解這種超智慧存在的神秘大腦的運作方式，而是要讓這些程序能在非常基本的層面上更好地運作。Deep Dream本身就暴露出這樣一個問題：計算機對於日常物品看起來的樣子會產生非常奇怪的想法（更別說也是不準確的）。

但事實是，深度學習是我們到目前為止構建的最有效的機器學習形式，而且科技界也深知這一點。這也就是為什麼這項技術已經投入應用了，但我們對它還缺乏更深入的理解的原因。

我致電了倫斯勒理工學院認知科學系主席、計算機科學家 Selmer Bringsjord，想了解他對這個問題的看法。他告訴我所有這些意味著一件事：「我們正向著一個黑暗的未來前進，未來充滿了黑箱。」

圖片：谷歌搜索

目前的演算法在分析在犯罪風險時已經會區別對待不同種族的人群了，這種情況下談論對黑箱的信任並沒有什麼幫助。一篇最近的論文還發現一個規模和訪問量都很龐大的機器學習資料庫中含有種族主義和性別歧視的語言。

我們如何確信機器人不會變得嗜血或有種族歧視呢？我們要做的第一步也許就跟歐盟的演算法鑒別法案建議的一樣：確保決策鏈中有人類的參與。當然，我們也無法確保人類不會有偏見，或者在某些情況下——比如自動駕駛汽車，讓人類去發號施令也許是不可能的或者不可取的。

Bengio 認為，我們應該有選擇地給這些系統投喂數據。比如，我們可以確保神經網路不會看到《我的奮鬥（Mein Kampf）》（希特勒自傳）一書。相反我們可以讓計算機閱讀《愛心樹（The Giving Tree）》或者W·E·B·杜波依斯的作品。

Bengio 說：「一旦我們了解了問題所在，比如說我們不想讓計算機依賴某些特定類型的信息，那我就可以訓練它們忽略這些信息。」

他還補充道，也就是說禁止深度學習和先進人工智慧底層技術的研發是毫無意義的，但我們可以引導它朝著有利於人類的方向發展。但要做到這一點需要政治意願的參與，而不能只是讓企業追逐自己的利益。

無論這些系統用來做什麼——殺人還是會計——也無論我們怎樣監管它們，我們始終無法理解它們。將來受深度學習進程驅動，對人工智慧做的決策要求「解釋獲得權」幾乎是不可能的。

坦白說，人工智慧有效，現代科技產業也正因此而促使著這項我們無法理解的技術不斷擴增，目前的問題是：我們該做些什麼。

根據 Bengio 的建議，我們要麼被迫學會信任這些系統，要麼試圖控制它們。因為當不透明的演算法帶來災難時，我們再去要求解釋可能就毫無意義了。

請您繼續閱讀更多來自 機器之心 的精彩文章:

TAG:機器之心 |

※補充營養可能也會出錯！
※代碼有問題？人工智慧現在可以幫你挑出錯誤
※善惡果報從不會出錯 到底是誰在「管理」？
※簡單又不會出錯的時尚法則，看完你也能成為時尚精！
※99個最有可能出錯的字，你敢說你沒有錯過嗎？
※如何理解幹細胞的歸巢性才不會出錯
※如果不是定價出錯，這款車也許真能拉下寶馬
※不要一出錯就怪男人
※為什麼我們的判斷總出錯？原因是你的認知有偏差
※難怪母乳總是不夠吃，原來是這件事出錯了
※人在緊張時為什麼會更容易出錯？
※這樣買翡翠絕對不會出錯！躺著都能升值
※厲害了 | 這樣穿仔褲絕對不會出錯！能逛街能上班還能約會
※他不愛你？是你的表現形式出錯了吧
※哪些劉海才會不出錯，更讓你脫穎而出呢？
※約會時怎樣打扮絕對不會出錯？
※自然分娩常識 知道這些才不會出錯
※不用會修圖也可以拍出錯覺照片！只要有手機就行
※永遠不會出錯的時尚法則，你造嗎？