機器之心編譯

參與：機器之心編輯部

一個理想社會是什麼樣？

我擁有計算機科學和哲學學術背景，相應地我的工作就是思考兩者的關係。 在創造人工智慧的思考中關於人類自身我們了解到了什麼？ 如何從計算機的角度來思考人類問題並由此理解人類是如何做決策的？ 多年來，我對這些問題一直很感興趣，從一方面來講，在物種層面上，什麼決定了人類智能？ 其次，在個體層面上，我們在生活中是如何做決策的，以及世界拋給了我們什麼問題？

通過一些不同的方式，我發現我對團體、社會以及公民層面的東西比較感興趣。 當下科學領域興起了一種公開化、再現性以及共享模型和數據的深刻運動。 我見證了過去幾年中科學規範的改變，這讓我深受鼓舞。 在過去，研究人員都不願意去公開模型，因為這些都是保密的，是保證他們優於其他研究團體的優勢。

在深度學習領域，比如伯克利的一個團隊就把他們的研究模型放在了互聯網上。這樣做使他們的工作成為了試金石，當別人使用這些成果的時候都會把他們的工作作為參考。 他們正在對這個領域的社會規範進行重建，在這種準則下，如果你不分享模型，也不允許別人再現你的工作，就會被認為有些可疑。 對我來說，這是一個令人鼓舞的趨勢。 我感興趣的地方在於把這種準則更多地應用於公民空間，並推動新聞行業之中的再現性。

你可能會在新聞報道中看到一個圖表，上面是「這是這段時間內的犯罪情況」或者「這是這段時間內的按揭利率」或者一些類似情況。 如果足夠幸運的話，你會在圖表底部看到一些信息：「來源：能源信息管理局（Energy Information Administration）。」 這可能是你獲得的最有效信息。 我們不可能通過遠程獲得一些理想的科學信息並對其進行再現。 公民是完全沒有辦法去重建圖表並通過第一原理對其進行分析。

這也正是我感興趣的地方。 我目前與一群合作人共同工作，我們想知道我們可以在計算機科學和新聞的交叉點做些什麼，讓人們可以用再現的方式來講述故事、表達主張。 這是我作為一個公民而言一直以來認為有價值的東西。 我很喜歡看小說，通常試著把文章的標題給抹去，然後利用文章的內容來推測為什麼用它來作為這篇文章的題目。

例如，我看到這樣一個聲明，「在這 X 年中舊金山的月平均租金增率首次穩定」。這是一個很好的信息，因為在一些時間序列中會涉及一些短期利益，但這個聲明幾乎不會給我提供任何查看歷史數據的方式，所以我們無法在時間序列中為我們自己挖掘一些信息並得出結論。

我記得在奧巴馬最近的國情咨文中，談到了失業數字，他說：「自從我上任以來，我們創造了1400 萬個就業機會。」FactCheck.org（一個真相核查機構） 卻反駁說這一數字這並不是從他的任期開始，而是 從經濟衰退的低谷期開始的，並且他只談論了私營部門，因為公共部門的情況不容樂觀。 我的態度是，如果聲明和圖表是為了反映工作情況，我們不需要以一種散文的形式來反映這些對比情況。 我認為這是一種錯誤的媒介形式。

我在公民空間一直做的事情之一是思考如何為人們以可再現的方式發出聲明提供工具，工具中要包括實際的模型構建和假設。 我認為這是一個可以用一種直接的技術方案解決的問題，當然也有文化解決方案（cultural solution）。 為之，我非常鼓舞，例如，在技術層面我們可以使用 Jupyter 項目。

由加州大學伯克利分校發起的 Jupyter 項目是一個用於可再現數據分析的網路平台。 你可以將散文塊和代碼塊一同在瀏覽器中執行，然後它就可以生成圖表了。 這是數據科學和硬科學（hard science）社區廣泛採用的東西。 我有極大的興趣把它引入公民空間，然後創造一個記者專用的版本，這將對公民產生影響。

當記者採訪的時候，會記許多的筆記，然後他們只會公布採訪過程中的某些訪談內容，他們手中還有更多的筆記沒有被發布。 事實上，他們通常也不會與自己的同事分享這些內容。我認為這和硬科學中的問題類似。 這就像囚徒困境：如果每個人試圖囤積信息，那麼你也會；但是如果每個人分享信息，你也會分享。

我們不相信那種以不可再現的形式發出的聲明，我認為這很公平合理。 如果一個政客選定了一個特定的數字，我們有權利去問數字是怎麼得出的。但是他們並不會總去公開它，不過我們可以創造一種準則，即如果他們不公開，我們就可以懷疑，我認為這合情合理。 如果你打算使用能源管理局的數據，你就必須提供某種 Jupyter，並在其中說明：「好吧，這些就是我未公開的代碼。」

我正在與一些設計師、數據科學家以及一些研究 Notebook 的硬科學工作者建立這個原型。 我們將採納什麼還有待確定，不過每次當我與記者談論到這個問題時，總能引起其共鳴，他們也相當熱情。上述的這些東西大概是我目前工作的一半的內容。

我擁有計算機科學和哲學的學術背景，我在兩者之間對每一個原則進行換位思考。 哲學訓練你的是組合與拆解論據：有人設計了一個案例 X，你被訓練對其進行拆解——找到其中的薄弱環節並展開攻擊。 訓練與被訓練平行展開就如同一個計算機科學家灌輸給我這一基本信念：散文是我們在公民空間中進行討論的錯誤形式。

我在大學時曾經出任一場辯論比賽的裁判。這件事對我思考現場修辭論證頗有啟發，因為這種奇怪的語言體裁里並沒有你期待的公民對話的任何特點。一個人先做個十分鐘的發言，為自己的立場提出大概一打不同的論據。另外一個人則做十分鐘的反駁，卻只選擇之前十二個論據中最弱的一個大書特書，以羞辱前者。如果注意力不夠集中，你最後會認為第二個人贏得了辯論。而實際上，未反駁的十一個論據都對第一個人有利。

侯世達（Douglas Hofstadter）對我的職業發展影響深遠。他在 70 年代寫出了《哥德爾、埃舍爾、巴赫》，這是一本瘋狂跨界之書，內容包括了數論、音樂理論和視覺藝術史，而最終這本書對人類意識提出了看法。侯世達對計算機和哲學兩個領域的跨越在書中展現得淋漓盡致。在書中，他說他準備藉由印符數論（typographical number theory）來解釋人類意識。在少年時代接觸到這些對我影響巨大，我對待生活的方式也由這個信念驅動：在最根本的哲學問題和以數學、計算機科學方式思考問題產生的精確性之間，存在著深遠的聯繫。

我認為認知科學是計算機科學和哲學的主要交匯點；這也是我一直以來的主要興趣之一。丹尼爾·丹尼特在我另外一個研究領域也給了我很多啟發——以全然不同的方式研究計算機科學和政治，也就是利用人工智慧思考道德問題。

丹尼特在 80 年代有過一場演講，叫做《道德急救手冊》（ 「The Moral First Aid Manual」）。在他看來，在道德領域存在著如下一個主要問題：一個人掌握無限計算能力的個人如何做出正確而又合理行動的jeu ce。你會想到著名的思維實驗：電車難題（the trolley car problem）。電車正在沿軌道行駛，可能會撞死一個或者五個人。你控制道口，或者你可以把某個人扔到電車前面。

很多人都指出，在討論自動駕駛汽車時，這個問題突然就從一個十分抽象的概念變成了實際問題。我曾在 Google 和 Peter Norvig 討論過自動駕駛汽車和電車問題。他指出，為自動駕駛汽車編程就有一點類似電車難題。這邊是一個人，那邊是五個人，你手裡有一個按鍵——哦，太晚了，你只能在 50 毫秒內做出選擇。在思維實驗中你好像有一個可以讓宇宙暫停的按鈕，可以坐下來好好思考後果，但現實中不僅不能暫停，還有計算能力的限制，這些都讓問題變得完全不同。

我們猛然進入了一個各種問題都成為現實的世界。回想過去幾百年，我們僅僅因為樂趣而研究質數（prime number），數學家們則誇口質數是多麼無用，幾乎就是數學中最無用的子領域。可在 20 世紀的一瞬間，隨著密碼學的發展，質數變得意義重大。現在，世界經濟就依靠這些巨大的質數蓬勃發展。這些道德領域的思維實驗在哲學領域已經發展了幾十年甚至更久，而我們正在見證他們突然成為實際、並且需要我們提供臨時性回答的問題。

一兩個月前有一則引起關注的新聞，新聞報道了用演算法決定哪些囚犯可以獲得假釋。我們訓練這些機器學習模型以預測哪些罪犯會再犯。ProPublica 對此進行了大型的調查，發現這個演算法的輸出結果存在著種族偏見。

這又是一個人工智慧——在這裡是機器學習方法——和道德、公民問題以一種非常有希望和進步的方式交匯的例子。在我們的社會中，這些價值觀以格言的形式存在，比如機會平等、正義和公平，在很多方面看來這些價值都是故意被模糊了的。這種故意的彈性和模糊性讓很多東西成為不斷更新的文本，並一直保持相關性。然而現在我們必須開始評價機器學習模型了：這個模型在種族問題上是否公平？我們必須從計算和數學上定義這些概念。

在短期內，這個問題會很棘手，因為我們不知道我們在做什麼；我們沒有解決問題的方法。在稍長的長期——五或者十年——有一個深刻的機會作為政治團體聚集在一起，精確定義特定受保護群體的正義或公平是什麼。這是否意味著有相同的假陽性率？意味著有相同的假陰性率嗎？我們願意做出什麼樣的折衷？在這個模型建立的過程中，我們要設立哪些約束？這是一個深刻的問題，現在我們不得不著手解決它。未來幾年將會有一場清晰定義這些概念的公民對話。

回到公民問題：一個理想的社會是什麼樣？這個哲學問題至少可以追溯到古希臘。在後續的哲學發展中，該問題得到了更多重視。在《理想國》中，柏拉圖討論了理想社會的樣子。社會、城邦和公民單元在新近的哲學中出現的更少。

對於我來說，這個問題又作為根本問題之一重新浮現，主要原因是人工智慧的影響。我們現在需要非常明晰地定義這些社會概念。我們知道好的駕駛習慣是什麼樣，我們有駕駛考試等等。但是如果一個駕駛演算法要服務數以百萬計的乘客，駕駛里程每天達到千萬英里，那麼我們就要深思熟慮一番；這種思忖，要比每個人實例化好駕駛員標準的一個稍微不同的版本要認真地多。

在未來十年至二十年，社會價值和規範的界定將會成為一個危機，但最終持樂觀態度。大部分的人工智慧系統通過優化目標函數運行，而我們最終確定目標函數應該是什麼。

我們一直以來都有類似「用自由換安全的人兩者都得不到」這樣的格言。如果你觀察假釋和緩刑的演算法，突然像這樣的一個問題得到了極其尖銳的解決。某個人說：「這個模型誤差率是 X；另一個演算法更加公平，但是誤差率是 Y。」所以，從統計上來看，平均再犯率較高，或者——我們知道使用這個流程會導致平均再犯率較高或者誤差率較高，但是我們也知道這個模型對應受保護的群體更加公平。作為一個社會，我們可以決定我們擁有的競爭價值的係數。

目前有大量的問題緊密捆綁在一起。權力的集中、財富的集中將會是——並且已經是——下個世紀主要的定義問題之一。

不透明性也會成為大問題。我有一些朋友在Facebook 、Instagram 工作，他們說過一些機器學習方法的事情，讓我頗為不安。他們說，「我們把每日的推送交給了這些巨型機器學習模型；這些模型的工作效果比我們自己來都要強，但沒人真正明白事情的原因以及黑盒中到底發生了什麼。我們關不掉這些模型，因為盈利實在太為可觀。」

讓我覺得有意思的是，我們建立的司法系統的核心是為自己辯解。你採取了某些行為：解釋一下吧。促使你行動的思想過程是什麼？我想不出具體的例子，但是你可以想像一個警官掏槍向一個嫌犯射擊，結果發現嫌犯沒有武器。這個警官解釋自己思想過程的能力，將很大程度上決定他接下來會在監獄中度過餘生，還是被停職兩周。

這種流程的缺陷性讓我驚嘆，因為很多時候人都是在 50 毫秒內做出的決定，而司法程序會讓你在陪審團面前解釋當時你大腦是在如何權衡利弊後做出這個決定。這種做法是不可取的。真相是：所有的這些都發生在一種無法用語言表述的層面上。而你重構、或者虛構一個解釋的能力會決定你的餘生的走向。

我完全同意「巨型神經網路是黑盒子，但我們也是」。這話不假。但這個概念有讓人不安的地方：如果一個計算機程序的「if-then-else」做錯了某件事，我們可以回退，看看哪些地方出了問題。我們整個法律責任和司法體系的概念都基於解釋某事為何發生的能力上。所以，既然我們要部署這些無法自我解釋的系統，或者說我們不能理解他們的舉動，我們是不是要賦予系統作自我報告的功能呢？

在很多情況下，這個問題沒有答案。你為什麼這樣做？因為這個神經網路圖像邊緣的權重情況如此，所以這件事情發生了。這其實不是一個令人滿意的解釋。但是，我們的司法系統就依賴動機、意圖和等等這些事情。

我從這所以數學、科學和工程學為特色的高中畢業後去了布朗大學主修計算機科學和哲學雙學位。在本科生涯中，我發覺自己真正想做的是成為一名作家，所以我去了研究生院並獲得了創意寫作方向的美術碩士（Master of Fine Arts/MFA）學位。我可能是從計算機科學系轉向藝術碩士項目的少數人之一。

研究生畢業後我一直在寫非小說類書籍。我的第一本書叫《The Most Human Human》（《最人性化的人》），講的是我所參加的一個圖靈測試競賽，相信很多人都對它很熟悉。這本書的基本思想是：在一個聊天室中，人類和計算機程序都宣稱自己是人類，而評判小組有五分鐘的時間來找出哪些是真正的人類、哪些是騙子。我在 2009 年參加了主要的圖靈測試競賽，所以我的第一本書是該經歷的一個詳細敘述，但它更廣泛一些，它著眼於人工智慧本身的歷史以及在哲學史中，人類是如何回答那個最悠久的哲學問題之一的：是什麼讓人類如此獨特、不同且特別？笛卡爾和亞里士多德等哲學家們通過對人類與動物的比較已經回答了這個問題。

計算機科學，特別是人工智慧，已通過多種形式顛覆了一個歷經 2500 年的問題，這很令我興奮。我們現在通過比較人類與機器，而不是人類與動物，來思考是什麼定義並塑造了人類智能。它剛剛改變了我們在思考人類經驗時所遵循的框架。所以這本書探討了這個問題。

最近我與 Tom Griffiths 合作出版了一本書，他是加州大學伯克利分校的一名認知科學家，也是我的一個好朋友，書名叫《Algorithms to Live By》（《人類賴以生存的演算法》）。這本書藉由計算機科學的視角來觀察人類決策，其基本思想是：由於我們有限的信息、有限的時間和有限的計算能力，我們日常生活所面對的這個巨大問題體——決定去哪吃飯、住什麼樣的房子、如何管理家和辦公室中的有限空間、如何組織我們的時間——呈現出一個特殊的結構。

我們將上述問題看做是人類的本質性問題，但它們卻不是——這些問題大致類似於一組計算機科學的典型問題。這給了我們一個通過計算機科學視角來思考人類問題的學習機會——學習解決我們在生活中所面對的問題以及我們如何在自己的生活中作出更好的決策。

Gerd Gigerenzer 在啟發式決策方面的研究工作與此是非常相關的。理論計算機科學的一個基本前提是，事實上我們可以通過問題的難易程度來劃分等級。有幾類問題無法可靠有效地回答，即所謂的棘手問題；對此計算機科學家的做法是：他們有這個巨型的工具包——鬆弛（relaxations）、調整（regularizations）、隨機演算法（randomized algorithms）等等。出現的情況之一是：在很多情況下，多數時候得到一個相當接近的答案要好於不斷打磨你的方法直至得到精確解。

關於這一點，我最喜歡的一個例子存在於一個叫素性測試（ primality testing）的領域。網路加密大多依賴於生成這些巨大的素數。這意味著我們需要良好的演算法來確定一個數字是否為素數。當前在實踐中所使用的演算法被稱為 Miller–Rabin 測試，它有四分之一的時間是錯誤的。這對我來說非常迷人。我已經與 OpenSSL 的工程師和致力於加密工作的人們交談過，我問他們如果測試 25% 的時間都是錯誤的，那麼需要多少次 Miller Rabin 測試。答案是「約四十次」。

我就是喜愛這個過程——我們必須定出此應用程序所需的確定性總量。在這種情況下，有人就在最近的 2002 年發現了一個多項式-時間演算法來測試素數，但我們卻仍然在使用一個四分之一時間都是錯誤的測試；我們只做四十次。

僅僅從最廣泛的層面去思考理性，也能發現一條有力的信息。理性思維、理性決策是什麼樣子？我們有這樣一種偏見認為：理性決策即意味著總能夠提出正確答案或考慮到所有可能性——遵循一個可靠的、確定的過程，它每次都會給你同樣明確的答案；它既精確又肯定。

在你面對一個真正的難題時，計算機科學為我們提供了一個比（例如）經濟學更好的標準來思考理性決策。你不能奢望去計算所有可能性，或用所有確定性來可靠地得到同一解決方案。可以說這種情況下出現的是一個更有用、更平易近人和更人性化的理性標準。

人類決策屬於這樣一類問題：我們知道該類問題的優化演算法是什麼。例如有一類問題稱為探索/利用（explore/exploit）問題，其中你必須把你的時間分為兩部分——收集數據以及使用能為你提供某種獎勵的數據。

Amos Tversky 在上世紀 70 年代用一個盒子和兩種不同的燈做了一個經典的實驗研究。在一個按鈕於某概率下被按中的任何時刻，其中都有一個燈亮著，比如一個燈有 40% 的時間亮著，另一個燈有 60% 的時間亮著，但你不能提前知曉。你有一千次機會來觀察哪一個燈打開了，或者賭一下哪個燈會亮但不能看它，且直到研究結束才能知道打賭結果。這是一個你能找出最佳方法來玩此遊戲的情況。結果表明它是這樣一件事情：接連觀察三十八次，然後無論哪個燈亮得次數更多，其餘 962 次一味地賭該燈會亮。我們可以說這是此遊戲的最佳策略。

然後有一個問題就是，當你給人們這個任務時，他們會做什麼。他們會像那樣遠程觀望或打賭嗎？不，他們會觀察一小會兒，接著做五次或者十次賭注，然後繼續回去觀察，然後他們再回去做賭注，如此以往。對我來說這很有趣。

總有那麼一個有趣的瞬間，你會發現人類行為與你從模型中所獲得的預測並不一致，這要麼是因為人們做得不對，要麼就是由於一些模型未能充分考慮到某些東西。也許人們正在解決的問題與你所建模的問題並不相同。

在這種情況下，有人看了該研究的數據並得出結論說，如果這些燈亮著的比率是隨機遊動的，那麼人類行為實際上就非常接近於最佳解決方案；這正是你想做的那類事情。你想觀察足夠長的時間來限定它，做一系列的賭注，直到它或許已經偏離，再重新觀察，如此以往。

在文獻中，這被稱為「不安分的土匪問題（restless bandit problem）」——一個該隨機遊動過程的想法。人們會看到一個靜態的土匪，但會把他看做好似一個不安分的土匪來處理。他們錯失了一些開支，這些原本是他們做了正確事情的話就可以得到的。我們在研究開始前就很清楚地告訴他們，這些概率是固定的，所以他們為什麼要表現得好像是對待一個隨機遊動的概率？對此問題的一個合理回答是，他們是一個研究課題中的對象，為什麼他們要相信你所告訴他們的東西？實驗人員出了名地總是向研究對象撒謊。

在許多方面可以這樣說，「即使我已經被告知這些燈是設定在恆定概率上的，我也要繼續檢查一下，因為我並不完全相信（他們），」更有趣的是，不安分的土匪問題仍然被認為是懸而未決的。我們對此沒有良好有效的最佳策略。人類正在解決的問題不僅比我們最初所建模的問題更加微妙，還是一個我們尚未找到合適模型的問題。

在心理學家和認知科學家所獲得的實驗數據以及計算機科學所發現的最佳策略之間，存在著一個富有成果的對話。二者彼此相輔相成。在我看來，這為人類找回了一丁點兒的理性。

做一個像這樣的研究，以及說人們愚蠢，說他們在做一件奇怪的或無知的事情，這些都很容易。但在許多情況下——我認為這是一個很好的例子——更仔細的觀察表明，事實上人們正在做一件十分微妙且在很多方面是正確的事情。