Fran?ois Chollet：對於AI，我們究竟該擔憂什麼？

作者：Fran?ois Chollet

編譯：Bot

編者按：日前，Keras作者Fran?ois Chollet在Twitter炮轟深陷用戶隱私泄露案的Facebook，雖然此舉贏得了不少吃瓜群眾的讚賞，但他本人也因言辭偏激、立場曖昧受到眾多機器學習領域內人士的指責。具體事件可閱讀Keras作者Fran?ois Chollet：Facebook的演算法要「吃人」進行回顧（也可關注論智知乎專欄查看完整辯論記錄）。近日，Fran?ois Chollet在Medium上正式發文表明立場，那他這次又帶來了什麼觀點呢？

以下是論智對原文的編譯。

免責聲明：以下內容僅代表個人觀點，而非為我的僱主（谷歌）發聲。如果你要引用這篇文章，請誠實列出這幾個重點：這是個人的、投機性的觀點，需要讀者結合自身情況進行評判。

如果你經歷過20世紀八九十年代，你可能還記得現在已經絕跡的「計算機恐懼症」。隨著PC逐漸進入到我們的生活、工作和家庭中，許多人開始焦慮、恐懼，甚至作出一些攻擊性行為，直到21世紀初，我還親眼目睹過這種情況。雖然我們中的一些人被計算機深深吸引，並驚奇地發現它們擁有如此大的潛力。但大多數人並不了解這一點，在他們眼裡，計算機是外星人，是玄學，在很多情況下，它是威脅。人們擔心被技術取代。

大部分人類對技術改革的態度是消極的，好一點是充滿反感，最差的情況是恐慌。也許這種態度適用於任何變化。但值得注意的是，大多數我們擔心的事最終並不會發生。

幾年後，當年的那些計算機仇視者開始學會和機器一起生活，並把它們用來服務自己。計算機也沒有取代人類，引發大規模的失業——事實上我們現在都無法想像沒有筆記本電腦、平板電腦和智能手機的生活。過去充滿威脅的技術改革如今已成為舒適的現狀。但與此同時，由於我們的擔憂沒有變成現實，計算機和互聯網確實也在其他領域產生了威脅，而這些威脅是20世紀八九十年代的人未曾想到的。無處不在的大規模監視：黑客們正在竊取有關基礎設施和個人數據的信息、社交媒體正在追蹤我們的心理變化，我們喪失了耐心和專註力，在網上成了一群易受激進政治、宗教思想影響的人。而敵對外國勢力也正在劫持我們的社交網路，以破壞西方國家的民主和和平。

如果我們的恐懼大多是非理性的，那反過來說，過去那些因技術革新出現的不良局面就都應該歸結為人類的不作為，在真正的後果暴露出來前，誰都無動於衷。一百多年前，我們無法預料到這些正在開發的運輸和製造技術會產生一種新的工業戰爭形式，並在兩場世界大戰中奪去數千萬人的生命。我們也沒有早早地意識到，電台的發明會促成一種全新的大眾宣傳形式，為義大利和德國的法西斯主義興起拓寬渠道。20世紀二三十年代的理論物理學發展沒有引起報社的警惕，所以也沒有文章焦慮地宣傳這些科研進展將為熱核武器奠基，並使世界處於被毀滅的威脅下。而今天，即便數十年來氣候這個嚴峻的時代問題警鐘長鳴，但很大一部分（44%）美國公眾仍然做出了選擇性忽視的決定。作為一種文明，我們似乎很難正確區分對於未來的真正威脅，並用正確的態度面對它們。就像我們似乎非常容易因為非理性的恐懼而出現恐慌一樣。

今天，和過去的很多次一樣，我們正面臨一場根本性變革的新浪潮：認知自動化。或者簡而言之，AI。同樣的，我們又開始擔心這種新技術會傷害我們——AI導致大規模失業，或者AI會獲得自我意識，成為超人，然後消滅人類。

圖片來源：facebook.com/zuck

但是如果這次我們和之前的每一次一樣，又選錯了擔憂目標呢？如果AI真正的危險之處並不是現在許多人害怕的「超級智能」和「奇點」呢？在這篇文章中，我想提高人們對AI威脅問題的認識：AI可以高效、高度可擴展地操控人類，以及公司、政府對AI技術的惡意使用。當然，這不是認知自動化技術發展過程中出現的唯一有形風險——它還有許多其他問題，特別是機器學習模型中包含的文化偏見等。而對於這些問題，其他人比我更有資格來講述。我選擇撰寫這篇關於大規模人口操控的文章，是因為我看到了這個問題的迫切性，以及我個人對這種趨勢的不讚賞。

事實上，這種風險到如今已經成為現實，技術發展的長期趨勢決定了它會在未來幾十年內產生越來越重要的影響。而隨著我們生活的日益數字化，社交媒體對個人生活和思維的畫像也越來越清晰。他們正在用更多的技術操控媒介——尤其是通過新聞傳播演算法控制我們的信息消費。這是一個AI問題，它把人類行為看做是優化問題：社交媒體公司通過調整參數進行迭代，進而控制用戶完成特定行為，就像遊戲中的AI智能體會根據得分反饋反覆修改自己的遊戲策略，最終達到預期的等級。這一過程中的唯一瓶頸就在於循環演算法的智能程度——正如現實中正在發生的事一樣，那家全球最大的社交網路公司正在投入數十億美元，以進行基礎的人工智慧研究。

我來詳細解釋一下。

把社交媒體作為心理監獄

在過去的20年里，我們的個人生活和公共生活已經遷移到網路上。每天我們花在屏幕上的時間越來越多。我們的世界也正向著一個新狀態轉變，在那裡，數字化的信息消費、修改和創造將構成人類的大部分工作生活。

這個長期趨勢的副作用是公司和政府正在收集有關我們的大量數據，特別是通過社交網路服務。我們和誰交流，我們說了什麼，我們消費了哪些內容——圖片、電影、音樂、新聞，我們在特定時間內又有怎樣的心情。最後，我們能感知到的幾乎所有東西，以及我們所做的一切可能都會被記錄在某個遠程伺服器上。

從理論上來說，這些數據允許收集者把它們用來建立非常準確的個人和團體心理情況畫像。你的觀點和行為可以與成千上萬個與你相似的人的行為交叉關聯，進而得出你為什麼選擇這項內容的真正原因——這可能比你自己反思得出的結論更具預見性（例如Facebook喜歡用演算法更好地評估你的個性，他們的結論比你的摯友更準確）。這些數據可以提前幾天預測你將在何時談戀愛/結婚，或是分手/離婚，可以預測誰有自殺傾向。即便你還在猶豫該把選票投給誰，他們也能計算出你更傾向於哪一方。這不僅僅是個人級別的分析能力，由於行為的「平均值」能夠去除隨機性和個別異常值的影響，演算法對大規模團隊的預測會更加精準。

把數據信息消費作為心理控制向量

它並不止步於被動收集數據。社交網路服務正越來越多地控制著我們消費的信息。我們在Newsfeed（Facebook新聞推送工具）上看到的推送內容已經成了一種「策劃」，不透明的社交媒體演算法正變本加厲地決定我們該閱讀哪些政治文章、觀看哪些電影預告片，該和哪些人保持聯絡，或是收到哪些關於我們看法的評論。

綜合多年的曝光，演算法管理著我們消費的信息，它也在我們的生活中攫取了相當大的權力——圍繞著我們是誰，我們將要成為什麼樣的人。如果Facebook決定了你在今後幾年中將看到的新聞、看到的政治權利更替，決定了誰能關注到你的信息，那麼事實上，他們正在控制你的世界觀和政治信仰。

Facebook的業務在於影響用戶，這也是他們向客戶銷售的服務——廣告客戶，包括政治廣告客戶。他們已經建立了一套微調的演算法引擎，不僅能影響你對品牌的看法，影響你購買哪款智能音箱，還能影響你的情緒。通過調整推送給你的內容，它能讓你開心或是生氣。順便的，它甚至還能影響選舉。

把人類行為作為優化問題

簡而言之，社交網路公司可以同時考評我們的一切，並控制我們消費的信息。這還有種加速的趨勢。當你有機會同時得到感知和行動的數據時，你就可以把它看做是AI問題。你可以著手為人類行為構建優化循環：觀察目標當前的狀態，並不斷調整給定的信息，直到目標開始表現出符合你預期的意見和行為。AI領域的一大部分——特別是強化學習——是關於開發演算法以儘可能有效解決這些優化問題的。最後，演算法結束循環，並實現對目標的完全控制——在這種情況下，目標=我們。我們正在將自己的生活移至數字化領域，我們也將不可避免地易被該領域的統治者——AI演算法所影響。

強化學習控制人類行為的循環

而由於人類的思維是非常容易受簡單社會操縱模式影響的，所以這一切就變得更容易了。比如說，我們來看看這些心理攻擊：

身份強化。這是自歷史上第一則廣告出現以來一直被人使用的技巧，並且它的效果始終如一。身份強化的做法是將給定產品和你想要（或者說希望你有這方面需求）的東西關聯在一起，使你在有這方面需求時能自動聯想到他們的產品。在經過AI優化後的社交媒體消費背景下，控制演算法可以確保你只看到自己能聯繫起來的內容，也就是自己認同的內容，或者用你無法認同的內容催促你趕緊離開。

消極強化。如果你發表了一篇文章，而其中的觀點不符合演算法對你的期待，那系統會把它只推送給了和你持相反意見的讀者（熟人、陌生人或機器人），讓他們嚴厲地批評你。反覆多次後，這種社會反饋很有可能會讓你逐漸背離初衷。

積極強化。如果你發表了一篇符合演算法預期的文章，那系統可能會選擇把它推送給同樣「喜歡」這些觀點的讀者（甚至是機器人）。這樣的反饋能增強你的信念，並讓你覺得自己是多數人那一方。

採樣偏差。演算法也可能會更傾向於向你推送和你持相同觀點的朋友（或廣大媒體）發布的帖子，身處這樣的信息泡沫中，你會覺得支持這些觀點的行為比現實中更普遍。

參數個性化。演算法還可能會觀察到，當那些和你心理狀態相似的人閱讀了某些內容後，他們的關注點會發生轉移。然後它也試著向你提供這些方面內容，因為它覺得這類消息對於你這類人預計會有效。從長遠來看，這樣的演算法到最後甚至會針對你從頭開始生成這種高效信息。

從信息安全的角度看，我們可以把它們看作是「安全漏洞」，可以接管整個計算機系統的已知漏洞。如果我們還保有人類的心智，那麼這些漏洞就永遠不會被修補，因為它們是我們的存在方式、是我們的DNA、是我們的心理學。在個人層面上，每個人都沒有實際的方法來保護自己。這是一個靜態的、脆弱的系統，但它將遭受智能AI演算法越來越頻繁的攻擊。演算法會完整地觀察我們的所作所為、我們的信仰，然後把我們消費的內容掌握在自己手中。

當前的局面

值得注意的是，那些被放置在我們的日常生活中目標是實現大規模的人口控制——特別是政治控制——的AI演算法，並不一定要用到非常先進的技術。它沒有自我意識，沒有超級智能，但它的確成了一個可怕的威脅——目前的技術就已經足夠了。近幾年來，社交網路公司已經開展了長期研究，並取得了顯著的成果。雖然他們可能只是試圖最大化「參與」並影響你的消費決定，而不是操縱你的世界觀，但他們開發的工具已經被敵對國家劫持，作為實現政治目的的武器——如2016年的英國脫歐和美國大選。這已經成為現實。那麼既然大規模的人口控制是可能的，或者說在理論上是可行的，世界怎麼還沒毀滅呢？

簡而言之，我認為這是因為我們的AI研究水平真的很低。但這個局面是會發生變化的，我們並不是沒有繼續上升的空間，而只是卡在了技術瓶頸上。

直到2015年，整個行業的所有廣告定位演算法都還只限於邏輯回歸，事實上，這種情形到今天也沒發生多大變化——只有極小數巨頭開始轉向更先進的模式。邏輯回歸是一種早於計算機時代的演算法，是可被用於個性化推薦的最基本的技術之一。這也是我們常在網上看到許多和自己毫不相關的廣告的原因。演算法還不成熟。同樣的，那些被敵對國家用來引導公眾輿論的社交機器人也不是AI。現在這些技術都很原始，但也只是現在。

近年來AI技術取得了飛速進展，而這些技術正在開始被部署進演算法和社交機器人中。直到2016年左右，公眾才在新聞和廣告上得知深度學習的概念，但Facebook已經在IT上投入了大量資金。所以誰知道接下來會發生什麼呢？Facebook的錢已經砸進去了，他的目標也很明確：成為AI領域的領導者。這一點非常驚人。如果你的產品只是Newsfeed，那你研究自然語言處理、研究強化學慣用來做什麼？

我們正在尋找一個強大的實體，以建立包含20億人的精細心理畫像信息，並在上面運行大規模的行為來操縱實驗，旨在開發世界上最頂尖的AI技術。就我個人而言，這樣的描述讓我感到害怕。我甚至覺得Facebook不是其中最令人擔憂的威脅，比如……（此段內容涉及政治敏感信息，且完全不符合論智觀點，不譯）很多人喜歡把大公司想成現代世界的全能統治者，但他們擁有的權力與政府相去甚遠。如果演算法開始奴役我們的思想，那真正的結果可能會更糟。

所以現在我們能做些什麼呢？我們該如何保護自己？作為技術人員，我們該怎麼通過Newsfeed推送來避免大規模操縱的風險？

硬幣的另一面：AI可以為我們做什麼

重要的是，這種威脅的存在並不意味著所有演算法策略都是不好的，或者說所有針對性廣告都是不好的。雖然兩者天差地別，但它們也能發揮一些有價值的作用。

隨著互聯網和AI的興起，將演算法應用於我們的日常生活不僅僅是一種必然趨勢——這是個理想的趨勢。我們的生活正變得越來越數字化和互聯，我們世界的信息也正變得越來越密集，我們需要AI提供一個連通人類和世界的介面。從長遠來看，教育和自我發展將是AI最具影響力的應用領域。而這件事則一個動態的過程，能完全展示一個邪惡的AI是如何用NewsFeed來控制你的。這之中的區別只在於誰在設定演算法目標。算髮信息管理潛力巨大，它能賦予個人更多潛力，也能幫助社會進行自治。

問題不在AI本身，而在於控制。

我們不應該允許NewsFeed通過操縱用戶來實現不透明的目標，如控制政治觀點、最大限度的浪費時間。我們應該讓用戶負責演算法優化的目標。畢竟，我們現在談論的是你的新聞、你的世界觀、你的朋友、你的生活——技術對你的影響應該理所應當地置於你自己的控制之下。信息演算法不應該被作為一種神秘力量，用作實現與人類利益相悖的目標；相反地，它應該成為我們手中的工具，一種我們可以用來實現自身價值的工具，如教育和個人發展，而不是娛樂。

以下是一些想法——任何採用AI技術的新聞推送演算法應該符合這幾點要求：

透明公開演算法優化的目標，以及這些目標會如何影響人的信息消費；

開發優化目標自定義工具，如個人應當享有配置新聞源的權利，用戶可以自由選擇在特定方向最大限度提升學習水平和個人成長；

用可視化方式呈現用戶在信息消費上耗費的時間；

開發控制用時的在線工具，如每天設定一個固定指標，超出指標後將不提供新的推送；

在保持自製的同時用AI提升自我

我們研究AI技術的目標應該是服務人類，而不是個人牟利或是政治牟利。如果NewsFeed的演算法不再像賭場莊家那麼運作，事情會變成什麼樣？相反地，如果它扮演的角色更接近一位導師，或是一名好的圖書管理員，而它知道成千上萬個和你有同樣心路歷程的人最愛什麼書，那麼當它把這本書推薦給你時，你的收穫將是得到共鳴並快速成長。這種滿足你生活需求的引導工具——這種AI，才能指引你找到最佳的體驗路徑併到達理想的彼岸。你能想像那個遍歷百萬生命的演算法是如何看待你的生活的嗎？你想和一個讀過所有書的系統一起寫書嗎？或者，你願不願意和一個囊括了人類所有知識的系統攜手，一起做做研究。

這是一種完全由人控制且能不斷和人交互的AI產品，它的演算法更複雜，但決不會是威脅。它會在每個人實現目標的過程中產生積極的影響。

研發反Facebook產品

總而言之，我們的未來就是AI將成為人類與世界的介面——一個由數字信息組成的世界。它能使個人和社區獲得更大的生命控制權，但同樣能使我們喪失這些權利。令人遺憾的是，現在社交媒體走的是錯誤的道路。但趁著現在還早，我們還能扭轉這一局面。

作為一個行業，我們需要開發那些用戶需求和演算法作用相一致的產品類別和市場，而不是用AI來奴役用戶的頭腦，從中獲取經濟利潤或政治收益。我們要努力開發反Facebook產品。

未來，這些產品可能會採取AI助理的形式。它們被編程為為你提供幫助，並由你控制交互時產生的目標需求。在當下，搜索引擎可以被看作是一個早期的AI驅動的信息界面。這是一個十分原始的例子，它為用戶服務，而不是試圖劫持他們的心理空間。搜索引擎是你主動用來達成目標的工具，它不會讓你處於一直被「填鴨」的被動狀態，而是想你展示可選擇的內容。你告訴它你想要的，它直接給你找出答案或解決方案，比起浪費你的時間，它更傾向於降低耗時、提高效率。

你可能會想，既然搜索引擎仍然處於人和消費的信息之間，那它是否會控制呈現結果來試圖控制我們。是的，每種信息管理演算法都存在這種風險。但與社交網路形成鮮明對比的是，在這種情況下，市場激勵實際上與用戶需求相一致，推動搜索引擎儘可能相關和客觀。如果它們不能最大限度地發揮作用，那麼用戶會直接轉向競爭產品。重要的是，搜索引擎的心理攻擊範圍將比社交新聞饋送的範圍小得多。我們在這篇文章中描述的威脅需要以以下這幾種方式出現在產品中：

感知和行動。這些產品會控制向你推送的信息，它能通過點贊、聊天消息和狀態更新來「感知」你目前的心理狀態。沒有認知和行動，就不能建立強化學習循環。

人們生活的中心。社交網路產品是一部分用戶的主要信息來源，用戶每天在上面花費的時間應該控制在幾小時。所以一些輔助的、專業化的推送（如亞馬遜商品推薦）不會是威脅。

社會組成部分。因為非人情味的新聞饋送只佔一小部分，所社交網路媒體很可能會演變為更廣泛和更有效的一系列心理控制媒介。

這些產品的目的旨在操縱用戶，並讓他們在上面花費更多的時間。

大多數AI驅動的信息管理產品不符合這些要求。另一方面，社交網路上充滿風險。作為技術專家，如果這個產品存在危險的濫用潛力，那我們就應該傾向於那些不具備這些特徵的其他產品，並且將它們結合在一起。把AI技術用於搜索引擎和數字助理，而不是社會新聞源，可以讓推薦演算法更透明、可配置性更高、更富有建設性，而不是讓它像個機械怪物，最大限度地提高「存在感」並浪費人力和時間。把你的重點放到用戶界面、用戶體驗和AI專業知識上，為你的演算法構建優秀的配置面板，使你的用戶能夠按照自己的需求使用產品。

重要的是，我們應該告訴用戶這些問題，以便他們選擇是接受還是拒絕。足夠的市場壓力可以被作為技術行業的激勵機制與消費者的激勵機制。

結論：在未來的三岔路口

社交媒體不僅建立起了一個足夠了解我們每個人、每個團體的強大心理模型，而且也在控制日常信息消費中扮演了一個越來越重要的角色。它可以通過一系列非常有效的心理暗示，操控我們的信念、感受和所作所為。

足夠先進的AI演算法能同時觀察我們的感知和行為，不斷循環，直至它能有效劫持我們的信念和行為。

把AI作為我們和世界的介面這件事本身沒問題。這樣的人機交互方式，如果設計良好，它很可能會為所有人帶來巨大的幫助和權益。但其中有一個關鍵點：用戶應該可以完全控制演算法的目標，將其用作追求自己目標的工具（與使用搜索引擎的方式相同）。

作為技術專家，我們有責任拒絕無法控制的產品，並致力於構建由用戶控制的信息界面。不要將AI用作操縱用戶的工具；相反的，給你的用戶一個AI，讓他們以自己的方式通過這個工具獲得想要的東西。

在這個三岔路口，一條路通向一個讓我覺得害怕的地方，另一條路則指向一個更人性化的未來。我們還有時間來採取更好的選擇。如果你是AI從業人員，請牢記這一點，你可能沒有邪念，也可能完全不在乎，比起人類的未來，你甚至可能更關心自己手裡的股票，但無論你在意與否，因為今天的你掌握著數字世界的發展基礎，所以你的選擇會影響我們所有人的明天。你終究要為他們負責。

原文地址：https://medium.com/what-worries-me-about-ai-ed9df072b704

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！