當前位置:
首頁 > 最新 > 大數之道——人腦與電腦的對比

大數之道——人腦與電腦的對比

迄今為止,人腦與電腦的恐怕是最值得比較的兩件事物了。早在計算機發明的初期,著名數學家馮諾依曼就對當時的電腦和人腦在已知的知識範圍內進行了系統性的對比。他發現,生物的大腦與機器相比最大的優勢就在於,它能夠利用相對落後的零部件在一個充滿隨機漲落的高度不確定的環境中非常敏捷快速的作出正確的計算,而且還是以一種相當綠色環保的方式——能耗非常低地進行的。恐怕在這一點上,連最厲害的AlphaZero也無法做到。那麼,人腦是如何實現的呢?這就是蘊藏在統計與概率之中的大數之道。

馮·諾依曼的手稿《自複製自動機理論》,由人工智慧先驅 Arthur Burks 整理成書。集智俱樂部資深粉絲「東方和尚」將全書第一部分翻譯成中文,張江做了詳細點評。我們將其整理成「馮·諾依曼自動機器理論」系列文章,以饗讀者。本文是第五篇。

全書綱要:

馮·諾依曼的遺產:尋找人工生命的理論根源

探尋計算的「原力」

神經網路與圖靈機的複雜度博弈

人工智慧如何擲骰子——三種概率理論

大數之道——人腦與電腦的對比

第五堂課:複雜自動機的一些考量——關於層次與進化的問題

在翻譯過程中,做了以下的添加和修改:

1、為了方便閱讀,為原文進行了分段,並加上了段標題;

2、為了讓讀者感覺更親切,加上了若干副插圖。

3、為原文添加了大量的評論,東方和尚的評論和張江老師的評論都會標註出來,另外,因為這本書是馮·諾依曼的助手 Arthur W. Burks(遺傳演算法之父 John Holland 的博士生導師),所以在框中的文字是編者加的註解。大家要注意分辨。

一、人腦與電腦的比較

上兩堂課討論了一般原理之後,我想回到我們所知道的具體自動機的例子上面來。並把以計算機器為例的人工自動機,和以人類神經系統為例的生物自動機進行對比。出於這個目的,請讓我先介紹一些單元部件的知識,並把它們的尺度進行比較。

正如我之前提到的,對人的神經系統,科學家還沒有足夠的研究,但大腦神經元的數量級大致可以確定為 10^10的級別而身體其他部分的神經元數量大概要比這個數字小很多, 並且它們也源自大腦。最大的大腦周圍神經集合是視網膜,從視網膜連到大腦的視覺神經被認為是大腦的一部分[68]。

相比大腦的神經元數量,計算機器用到的電子管個數要小一百萬倍。現有最大的計算機器,ENIAC 只有 2×10^4 個電子管。另一台屬於 IBM 公司的大型計算機器,SSEC 包括了各 1 萬 個電子管和繼電器。正在建造中的最快的計算機器,其設計包括了 3 千個電子管。電子管數量的減小是由於對內存的處理手法有所不同,之後我會提到。因此,大致地說,人腦要比大型計算機器複雜 1 百萬倍。大腦和這些機器相比,複雜度增加的程度要比這些機器比單個電子管更巨大。即使用更加寬鬆的對數坐標表示,計算機器也還達不到大腦的一半複雜度。我認為,無論怎麼樣定義複雜度,這個比例都應該是比一半小得多的[69]。

在這個電腦 vs 人腦的較量中,有一個因素是對於前者有利的:計算機的速度比人腦要快。人腦神經元的反應速度大約是半毫秒。但用這個時間來衡量人腦的速度是不公平的,因為更重要的不是神經的激發時間,而是神經的恢復時間,也就是從一次反應到恢復到能夠再次反應的時間長度。神經的恢復時間最快也需要 5 毫秒。對於電子管來說,很難估計速度, 按現在的設計,重複的頻率(時鐘主頻)很難超過每秒一百萬次[70]。

左腦與右腦(譯者加)

因此,神經系統比這些機器的元件數量要多一百萬倍。但是機器的每個元件的運算速度卻又要比大腦快 5000 倍。這樣合計起來,神經系統比現有機器要快 200 倍。但是這個較量起來是自動機略勝一籌,因為機器能力上的增加要遠遠超過了其體積上的增加。因為一個系統的潛能可以用其元件的相互關係來估計,而這個關係的總量是和元件數量的平方成正比的。此外,什麼能做、什麼又不能做這件事取決於一個最小的閾值。低於某個最小的複雜度,有的事情就沒有辦法做到,而一旦高於這個閾值,理論上就是有可行性的。

編者Arthur W. Burks註:

【馮紐曼接著從體積上比較了人類神經系統和計算機的區別。這個區別主要來自於控制和信號放大是怎樣實現的。在電子管中間,運算體積實質上是陰極和控制柵極之間的空隙,其尺度約為 1 毫米;而在神經細胞中,運算對應的是神經膜約為 1 微米的厚度。兩個尺度的比例是 1000:1,而它們的電壓之比也是 1000:1,因此電子管和人腦信號的場強是大致相 當的。這說明,兩者之間能量消耗的差異主要來自於體積上的不同。尺度上 1000 倍的區別,換算成體積就要差到 10 億倍,能量消耗也差不多。請參見馮紐曼著作《計算機和人腦》[71]。

馮紐曼接著計算了「每一步基本信息操作,即每一個二義選擇以及每次傳送一個基本單位信息所需要產生的能量」,包括三種情形,熱力學的最小值、真空管以及神經元[72]。

在第三堂課上,馮紐曼曾提到,熱力學信息是由對數方式來測量的。也就是對於所有的可能性用 2 為底來取對數。因此,在二選一情況下的熱力學信息等於 1 bit。問題是,bit 不是我們用來測量能量的單位。只有當你指定溫度之後,熵和能量才能被聯繫起來,在低溫下運行可以降低消耗能量的下限。」他接著計算了這個熱力學信息相對應的最小能量值,也就是 kT logN 爾格。這裡 k 是玻爾茲曼常數(1.4×10-16 爾格/度),T 是絕對溫度,而 N 則是可能性的數量。對於二進位的基本計算 N=2,室溫下 T=300K,對應於 1bit 的熱力學能量下限為3×10^(-14)爾格。 馮紐曼估計大腦消耗 25 瓦的能量,具有 10^10 個神經元,因此平均來說,每個神經元每秒激活 10 次,因此每次二進位運算中神經元的能量消耗為3×10^(-3) 爾格。他估計真空管消耗6 瓦,每秒激活 100,000 次,故每次二進位運算中,電子管的能量消耗是 6×10^2 爾格。】[73]

因此,我們現有電路機制的效率要比神經系統低二十萬倍。接下來計算機器會不斷地改良,可能用能夠放大電信號的晶體來替代電子管。但是即便如此,也要比神經元效率低一萬倍。值得注意的是,熱力學規定的下限(3×10^(-14 )爾格)和實際每次神經激發所消耗的能量(3×10^(-3 )爾格)之間有一千億倍(10^11)的差距。這說明,關於大腦和智能的本質,僅僅用熱力學來分析還是遠遠不夠的。以對數坐標表示的話,生物的神經系統正好處於熱力學下限 和我們現有的簡陋計算機器的中間位置。我不知道是什麼導致了上述差距,有可能是同時要確保操作的可靠性有關係。

因此,自然進化並沒有選擇物理學上的最小信息單元,即氫原子這樣的雙穩態系統來表示基本的信息處理。所有的開關元件都採用了相對大很多的裝置。如果真的以這些物理學的單元來表示信息的話,那麼一個元件僅需要幾埃的尺度就足夠了[74],而實際上最小的神經元的尺度也要幾千甚至幾萬埃。顯然有什麼因素限制了神經元的尺度,不能縮小到熱力學的。

二、記憶之謎

記憶(譯者加)

【馮紐曼接下來討論了記憶元件。電子管雖然是開關電路,卻也可以當作內存來用。但因為儲存一個二進位數字需要用到一對管子,另外還需要一個單獨的電子管來輸入輸出數據,電路繁複,所以用電子管來建造大規模的內存缺乏可行性。「實際我們用來儲存數據的設備並不是像電子管這樣的大型元件,而是比較微觀的裝置,信息是以虛擬的形式存在的」,他舉了兩個儲存數據的例子:聲波延遲線以及陰極射線管。所謂聲波延遲線,是一個裝滿著水銀的管子,兩頭各有一個壓電陶瓷晶片。當有電信號的時候,壓電陶瓷把信號轉變為聲波,並在水銀中傳送,因為聲波的傳送速度較慢,經過一段延遲之後,另一端的晶片又把聲波信號轉回成電信號,經過放大處理,再次返還到發射端晶片去。

這個聲-電循環可以無限地重複下去,從而達到儲存數據的目的。一個二進位的數字可以用某個時間對應的位置是否有脈衝存在來表示。因為這樣的脈衝串不斷循環於延遲線系統中間,所以這個數字並不是儲存在某一個具體位置。「其記憶沒有特定位置」

信息也可以用電荷的形式儲存在陰極射線管的內壁上面。用一個具體區域上面的電荷對應二進位數字。這些電荷可以用陰極電子束來放置和檢測。因為必須經常給這些內壁充電,而且對應於具體數字的位置可能會發生變化。這種數據儲存的方式也是虛擬的。「這種內存從結構上說,也沒有確定的位置,而且對於這種內存裝置的控制也是虛擬的,因為物理實體並沒有發生改變。」】

因此,我們沒有理由相信人腦的中樞神經系統是用開關電路(神經元)來直接實現記憶的人的記憶總量一定是非常巨大的,要比 10^10 bits 要大很多[76]。如果你計算一下一個人一生中的所有記憶以及對他重要的其他關鍵信息,估計至少需要 10^13 bits 才夠。當然,我們不知道這樣的估計有多麼可靠。但是我認為人大腦的記憶能力,絕對要超過 10^10 bits。我也不知道把我們對於計算機器的初步了解和神經系統相比較是否合理,但是,如果我們的經驗說明了什麼的話,這就是記憶不太可能是用神經元直接實現的,也不太可能是用任何類似於開關電路的簡單粗暴的方式實現的。有人說記憶來自於神經突觸上的閾值變化。我不知道這種說法是否成立,但是至少計算機上的內存實現同網路閾值還沒有關係。把人工自動機和神經系統做比較,讓我們感到後者的記憶實現應該比前者先進的多,虛擬的程度也高得多。因此我認為現在要對人類的記憶機制和其物理位置做出任何猜測,還為時過早[77]。

我還想談另外一件事,之前我的說法給人一種感覺,好像神經細胞真的就是純粹的開關元件。但是很多研究神經的專家和生物學家都指出,神經細胞並非純粹的一個開關,而是可以非常精巧的,工作在連續狀態下的器件,它們類似於模擬電路,而並非單純傳送脈衝的中繼。對於這個質疑的回答是,很多電子器件,如電子管、電磁繼電器[78]同樣也不是純粹的開關元件,因為它們也有連續狀態的性質。關鍵在於,至少有一種方法讓這些器件工作在「有或無」 的二元分立狀態下,這也決定了它們的性質。重要的是,當生物處於正常情況下,這些元件 是如何運行的。誠然,神經細胞並非總是處於「有或無」的二元狀態,比如把刺激強度嚮應激頻率的轉換就取決於神經疲勞程度和恢復時間的長短。但是,至少我們清楚地知道,「有或無」是神經系統工作原理的一個重要方面。人類本身當然也不是一台數字設備,雖然人類的一個部分,神經系統具有數字設備的性質。幾乎所有的神經刺激最後導致的結果都不是數字的,比如收縮肌肉或者產生內分泌等等。

為了控制這些化學物質的分泌,機體必須精確地微調其擴散的速度,這些工作需要非常精密的模擬過程,要比我們在任何模擬計算機中間用到的都要先進。在人體中間,最重要的控制環路都屬於這個性質:一系列的神經脈衝沿著四通八達的控制網路不斷前進,控制著像一座大型化工廠那麼複雜的生產過程。其中,化學物質的調配依賴於繁雜的液壓系統,這些都是純粹的模擬過程;同時,這些化學過程又產生了神經信號,以數字的方式在神經系統中傳播。在以上的環路中間,數字和模擬之間的轉換一定發生了很多次[79]這樣地看,人體其實是一台數模混合裝置,但是,我們首先搞懂其中的數字過程,仍然是非常必要的。

計算機器也並非是純數字的,現有計算機的輸入和輸出的確是數字形式的。但顯然我們也需要非數字形式的輸入和輸出。例如有時候我們需要把計算結果以非數字的形式顯示,就像示波器上面的曲線一樣,這就是模擬輸出。此外,我認為計算機未來應用的重要方面是用來控制複雜的機械裝置,好像導彈或者飛機的飛行控制。這種情況下,計算機的輸入來自一個模擬來源;而其輸出則控制一個模擬的過程。這種數模之間的來迴轉換可能成為每個計算機應用領域的基本性質[80]。

現下我們要強調自動機的數字方面,因為我們現有的邏輯工具能夠很好處理數字機制,並且我們對於數字機制的理解要比模擬機制的理解更加透徹。另外,看上去數字是一種更適合處理複雜功能的方式。純粹的模擬機制通常不能適應太複雜的情形。唯一讓模擬機制去處理複雜問題的辦法就是把問題拆分成小塊,分而治之。而這就是數字化的思想。

三、不同的糾錯模式

現在來到了以下問題:我們製作的人工自動機要比生物自動機功能弱很多很多,構件的數量也小很多很多。但是在體積和耗能上卻要高許多許多。為什麼會這樣?這在現在,我們顯然無法給出正確的答案:如果有兩樣東西,對於其中一件我們只是略有了解,另一件則是一無所知,那我們怎麼去比較它們呢?但是如果比較我們所運用的工具,會發現一些明顯的差距。這導致我們不能依靠現有的工具走的更遠。

同生物細胞不同,我們現在使用的工程材料是不適合小尺度操作的。現有電路,包括導體、絕緣材料和真空管等等,這些元件的穩定性都要比生物體差很多,同時這些材料的強度也是完全隨機的。如果生物膜被損壞了,它會自我修補。但是如果電子管的柵極和陽極短路損壞了,它卻不能夠修好自己。因此,生物材料具有某種工程上的特別穩定特性,而這種穩定性又是同其機械、電子和可靠性要求所匹配的。而我們的人工裝置則是一種「湊合」,往往為了達到電子上的指標,結構上卻變得多餘累贅。我們用到的技術,常常是適合把金屬和金屬連接在一起,卻不適用於把金屬和電子管連接起來。在難以觸及的真空管中間達到一 毫米的空間已經是一項工程上的壯舉了,我們很難把這個尺度再縮小多少。因此,工程自動機和生物細胞尺度上的差距,實質上來自於材料性質上的巨大不同[81]。

【馮紐曼下面談到了上述差距的深層原因。這是因為很多生物部件是為了保證整個系統可靠運作而存在的。在第三堂課中間曾經講到,實際的計算過程中,每個單元僅以某一個概率正確地運作,而不是必然如此。在零件較少的小型系統中間,這種整個系統發生故障的可能性相對很小而常被忽略。但是對於大型系統,出錯是必然發生的,故隨著系統複雜度的升高,對於錯誤的處理也變得更加重要了起來。

為了證明這條結論,可以做一些計算。假定系統設計要保證單個元件的故障不會導致整 個系統崩潰,可以以元件的平均壽命來計算故障概率。以人類神經系統為例:大腦有 10^10 個神經元,每個神經元平均每秒激發 10 次,在致命故障之間的平均的自由程長度(機體的平均壽命)是 60 年。60 年等於 2×10^9 秒,這些數字乘起來得到人一生神經元的激發總數:2×10^20,因此要保證正常運行,故障概率就應該小於這個數字的倒數,即 0.5×10^(-20),對於數字計算機,電子管、每秒的運行次數以及系統平均正常運行時間分別為:5×10^3、10^5 和 7小時;那麼合計起來,故障概率為 10^(-12) 就足夠了。在《計算機與人腦》中,有類似的比較82。 他指出了電子管以及一般的電子元件的故障概率還達不到 10^(-13) 的水平,而且神經元可能也達不到。但是,在設計計算機的時候,我們可以把計算機設計成一旦發生錯誤,就會停機,然後操作員就可找到錯誤並改正之。舉例來說,計算機可以把一個運算計算兩次,比較結果,一旦有錯誤就停機[83]。】

如果按照「有錯必糾」的完美主義理念,像生命這樣的複雜系統很難持續比幾個毫秒更長的時間。實際上,生命應該是同概率完全整合在一起的,它可以在錯誤裡面持續運行。在生命中的誤差,不會像在計算過程中那樣不斷地擴散放大。生命是十分完善且具有適應性的系統,一旦中間發生了某種問題,系統會自動地認識到這個問題的嚴重程度。如果無關緊要,那麼系統就會無視問題,繼續運作;如果這個問題對於系統比較重要,系統就會把發生故障的區域封閉來,繞過它,通過其他的候補渠道繼續運行等等。然後在有空的時候,系統回頭再去修復故障,如果不能修復,那麼系統就把這個區域永久地廢棄。所以,整個生物體的可靠性長度取決於要多長時間才會出現固定數量的不可修復故障,進行了多少次的調整和永久繞行,以及到最後,要多久才會徹底無計可施,再也無法修復。生命同那種一觸即潰,一個錯誤就會土崩瓦解的系統,完全就是兩回事。

為了把埋藏在生命系統中的道理應用到人工自動機中間去,我們必須要對生物這樣的複雜機制有更深刻的理解,對錯誤的性質有更詳盡的描述,還要對於生物生存的環境做出更全面的統計。因為自動機是不能同它所處的環境完全分割的,換句話說,如果不先說明自動機所運作的環境,就不能判斷它是好是壞、是快是慢、是堅強還是脆弱。如人類生存的環境,就可以用地球表面的狀態來粗略地對應,討論人是否能在海底或者在 1000 度的高溫下生存,是沒有意義的。根據同樣的道理,除非說明了一台計算機器的用途,我們也不能對它的快慢說些什麼。不同用途的計算機器可以有巨大的區別。對於不同的數學分析問題、數論、組合數學、文檔翻譯,這些工作所需要的計算性質都有所不同。我們現在比較了解怎樣設計用於典型的 數學分析問題的機器。但是根據我們現有的統計和數論知識,可能還不足以設計很好的機器。同時,對於組合數學和翻譯,我們知道的還更少[84]。

計算機能夠被應用於數學中,關鍵的一點就是數學分析的統計性質已經被研究得相當透徹,並且其計算量是比較均勻的。從數學角度看起來差別很大的一些問題,如求解一個 10次方程式的根、求一個 20 階矩陣的逆矩陣、解一個求值問題或者求一個積分方程、微分方程的數值解等。這些問題從計算的角度看卻令人驚奇地相似:比如乘法次數之比、每次乘法所需的內存調用次數、以及為了優化讀取時間建立的分級內存結構,都很類似。但是如果進行數論的計算,這些計算過程的統計性質就會有很大的不同。當然,也可能存在某種視角,從這個角度來看,數論計算和數學分析的計算統計性質又會顯得一致。但我們現在還不清楚。所以,對於所有的自動機來說,的確只能量體裁衣,按照它們要面對的環境來進行定製。而生物自動機在適應環境方面,要比所有的人工製品都來得強。故實際情況很可能是,我們離生物達到的複雜性閾值已經不遠了,生命本身並不知道什麼資訊理論,但它們卻自然地超越了複雜性閾值,我們也有可能做到這點。當然,也有可能 5 年以後發現之上的說法顯得很荒謬[85]。

【馮紐曼下面說明,為何一旦出現故障,計算機就要停機的原因。因為出現錯誤後,技術人員就得把錯誤找出來修改,定位往往是通過二分法進行的,即把機器分成兩半,確定故障發生在哪一半中間,如此反覆直到找到。但如果有不止一個故障,那麼就很難用二分法來定位了。】

但是,生命中是沒有「停機檢修」這回事的,機器和生命對於故障,採取完全不同的處理方法。這可能同生命的某些特性有關,這些特性是在人造裝置中完全找不到的。生命能夠在故障率相對很高的情況下仍然生存,而人工自動機卻不能,這很可能需要一種非常柔軟的適應性,以及一種「觀察自己」與自組織的能力,並且,這需要其組成部件具有高度的自治能力。在人類神經系統中間,各個組件相當程度上都是自我控制的,而不像機器,所有的指令都是來自一個中央核心。當各組件能夠自治、自組織的時候,一旦發生意外,每個組件 都能夠獨立地擔負控制權;但反過來,組件和組件之間又會發生爭奪控制的「對抗」,以至於不能很好的合作,有可能所有這些現象都是相關的[86]。

Jake 點評

很贊東方和尚對這一章題目的翻譯,原文是:「The Role of High and of Extremely HighComplication」,如果直譯為「高以及超高複雜性的角色」,意境全無,不知所云。但是,現在的題目「大數之道」則一下子說出了這一章的精髓,即生命的本質存在於大數的統計規律之中。

首先,馮紐曼對人類大腦和人工自動機在數量級上進行比較(更多的比較可以參考馮紐曼寫的一本小冊子《計算機與人腦》);其次,他指出人類的大腦是用不可靠的零部件組裝出了一個可靠的系統,而馮紐曼時代的計算機(甚至是現在的計算機)則是用可靠的零部件組裝出了一個不可靠的系統(這句話的出處是在馮紐曼的文章《Probability Logics and thesynthesis of reliable organisms from unreliable components》,馮紐曼文集 5 中)。由此可見,人工自動機與真實生命並不在於單獨零件的好壞,也不在於運算速度的快慢,記憶存儲的多少,而在於這種組裝的統計規律。也就是說,我們真正不理解的是一種統計上的法則,正是這種法則才導致了真實生命可以將不可靠的零部件組裝成可靠的整體;而恰恰是我們對這種統計規律的不認識,才導致我們人類設計的機器雖然在局部上都能保證可靠性,但是當把它們組裝成整體的時候卻喪失了可靠性。

接下來就要問,這種未知的統計規律究竟是什麼呢?馮紐曼的確沒有做出正面的回答,但是它在這裡對電腦與人腦的比較所使用的方法已經給了我們一些暗示,未知的統計規律可能恰恰蘊含在各種零部件、各種系統組分的數量級(標度)的比例中。無獨有偶,這種對標度統計規律性的認識恰恰在近年的複雜性研究中異軍突起了,這就是 G.West 以及 J.Brown等人所號召的「代謝生態學」(參見:《流的探索》以及 J.Brown: Toward a Metabolic Theory of Ecology, Ecology, 85(7), 2004, pp. 1771–1789)。

為什麼說代謝生態學和我們這裡探討的大數之道有關呢?讓我們來看這樣一個開放系統的問題:我們知道任何一種開放的複雜系統都需要跟外界進行物質、能量、信息的交換,而且很顯然如果系統自身的尺度越大,我們就需要越多的交換,關鍵的問題是,當給定系統的尺度以後,我們需要多大的開放程度才是最好的呢?

代謝生態學從實際數據出發,對這個問題給出了很好的解答,至少對於現在已知的各種物種來說,物質交換量(新陳代謝 F)與生物體體積(B)會呈現出一種 3/4 的冪律關係,如下圖:

橫坐標軸是 logB,縱坐標是 logF,則這兩個變數構成了一條斜率為 3/4 的直線,這意味著 F 正比於 M3/4,這一法則被人們稱為 Kleiber 律。如果我們假設現實的生物已經進化出了一種最優的結構,那麼新陳代謝和生物體積之間形成的 3/4 冪律關係就是一種最優的結構。

反過來,這樣一種認識也許會幫助我們更好地設計人工系統,例如對於任何計算系統都存著最優的開放程度,也許這種開放程度就與系統自身的規模存在著 3/4 的冪律關係(參見:Jiang Zhang: Energy Flows in Complex Ecological Systems: A Review; Journal ofSystems Science and Complexity 2009 22 (3): 345-359)。

有趣的是,Kleiber 早在 1932 年就發現了生物體的這種統一的標度規律,然而直到 1997年左右,West 和 Brown 等人開始提出生物體的最優輸運網路模型才使得人們越來越多地認識到這個問題的重要性(參見:West,G.B., Brown,J.H., Enquist,B.J., A general model for the origin of allometric scaling laws in biology, Science, 1997,276:122 126;Banavar,J.R., Maritan,A., Rinaldo,A., Size and form in efficient transportation networks, Nature,1999,399:130 132。)

進一步,隨著對生物體數據的大量積累,人們還發現不僅僅是新陳代謝,所有與時間相聯繫的變數(例如懷孕時間、生物體的壽命)都與生物體體積呈現 1/4 的冪律關係,而頻率相關的變數(如心跳頻率、呼吸頻率等)都與生物體體積呈現- 1/4 的冪律關係(參考:Brown,J.H., West,G.B., Scaling in biology, Oxford University Press, 2000)。

需要強調的是這個頻率與體積的- 1/4 的冪律關係。在馮紐曼的論述中,他特別提到了元件發生錯誤的概率隨著系統規模的增長。我們不妨把原件發生錯誤的概率也理解為一種廣義的頻率,那麼這種頻率就會與系統整體的規模呈現一種冪律關係。我不知道對於目前的人工計算系統來說,是否有人進行過類似的統計分析,但是有理由懷疑如果人工系統的設計達到了某種最優的效率,那麼很有可能系統發生錯誤的頻率與系統規模之間的關係會與生物體的頻率-體積法則存在著某種聯繫。

?我們的研究還發現,冪律關係普遍存在於複雜系統之中,例如國家、城市,甚至虛擬社區都存在著各種宏觀量之間的冪律關係?(參考:Jiang Zhang,Tongkui Yu: Allometric Scalingof Countries; Physica A Vol.389(2): 4887-4896;L. Bettencourt, J. Lobo, D. Helbing, C.Kuhnert, G. West, Growth,innovation, scaling, and the pace of life in cities, Proc. Natl.Acad. Sci.U. S. A. 104 (2007) 7301–7306.;Lingfei Wu, Jiang Zhang:Accelerating Growthand Size-dependent Distribution of Collective Human Activities Online,arXiv:1104.0742),只不過冪指數在這些系統中則都不相同。但是,直到今天,我們所給出的這些冪律關係還仍然是類似集郵一樣的工作,實際上還不理解所有這些冪律現象背後的大數之道。有趣的是,Geoffrey West於去年剛剛將其一生對不同複雜系統,包括宇宙、生命、城市等的標度率研究全部概括到了一本最新的書中《Scale》。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 天大神經工程 的精彩文章:

從感知機到深度神經網路,帶你入坑深度學習

TAG:天大神經工程 |