資訊理論之父是如何將世界數字化的？
作者 |Tom Rutledge
譯者 |彎月
責編 | 伍杏玲
出品 | CSDN（ID：CSDNnews）
機械鼠闖迷宮
在 20 世紀 50 年代早期的一段視頻中，貝爾實驗室的科學家克勞德·香農（Claude Shannon）展示了他的一項新發明：一隻名為 Theseus 的機械鼠（看起來需要上發條）。略顯憔悴的香農站在一個製作精良的桌面迷宮旁，解釋說Theseus就是為了解這個迷宮而建造的。這隻機械鼠通過反覆試驗找到了一系列暢通的入口，並記錄了成功的路線。在第二次嘗試中，Theseus沿著這條正確的路線走出了迷宮，沒有犯任何錯誤。
隨後香農揭開了Theseus成功的秘訣：那是通過一系列密集的繼電器，這是來自貝爾系統的電話交換硬體。它相當於20世紀50年代的計算機晶元，只不過尺寸大約是現在硬體的一千倍，並且功能只有百萬分之一。
雖然一些科學家和工程師可能已經意識到Theseus是一個重要的東西——一個聰明又會思考的機器，但在場的大多數觀眾卻沒有理會，可能他們認為這只是一個花哨的發條玩具，或者可能是傳統國際象棋中騙人的土耳其機器人。
然而，Theseus背後蘊含著驚人的智慧。在推動20世紀中葉信息技術革命的計算機先驅者（這群精英學者工程師曾經破解了納粹密碼並確定導彈軌跡）中，香農可能是最傑出的一位。他的成就可以與愛因斯坦或費曼相媲美，但香農的名氣卻沒有他們高。這可能因為有人認為他的作品不過是一些小玩意兒，所以被遭到了擯棄。也有可能是對於大眾而言，他那些最偉大的工作成果看似是遙不可及的。
作為「資訊理論之父」，他大膽地將信息從意義上分離出來，將信息視為一堆比特，與世界沒有明確的聯繫。從很多方面看來，他的作品不僅違反人的直覺，而且沉悶和偏僻。
他是如何成為資訊理論之父的？
一部新的香農傳記《A Mind at Play: How Claude Shannon Invented the Information Age》重新描繪了這段歷史。作者 Jimmy Soni 和 Rob Goodman 強烈希望將香農的作品展示給廣大讀者，這本書是按照時間順序描寫了香農的生平。從書里人們可以看到他訓練有素解決謎題的方式，同時也很驚訝地發現他有一顆貪玩的心。例如，在書的開頭 20 世紀 20 年代，年輕的香農在密歇根州的小鎮，他將家周圍的柵欄都變成了電報線。在 20 世紀末，香農領著一群麻省理工學院的學生參觀了他位於波士頓郊區的家——一個裝滿了自製的小玩意和玩具的虛擬博物館。
Soni 和 Goodman 在本書中著重描述了香農的兩大成就。首先，當今所有計算機都採用的數字化，這完全歸功於香農。在 20 世紀 30 年代，計算機先驅們基本上都用製表的技術來改進模擬差分機上笨重的輪子和齒輪，用 Soni 和 Goodman 話說：「差分機是工程中一條漫長的死胡同。」香農通過一篇論文最終將計算機科學引上了數字化的道路，而這篇論文常常被稱作有史以來最具影響力的碩士論文。
1937年，21 歲的香農完成了這篇麻省理工學院的論文，證明了數字設備的開關可以用英國邏輯學家喬治布爾八十年前發明的真假符號來表示。香農憑一己之力將布爾代數引入到了電子電路設計，從根本上簡化了工藝流程，一勞永逸地封閉了模擬設計的死胡同。
其次，現代通信從 20 世紀 50 年代的電視畫面發展到當今高速且無處不在的多媒體數據文明，香農功不可沒。香農最偉大的成就是1948年發表的《數學通信理論》（A Mathematical Theory of Communication），這篇論文一經發表立即受到了正在尋找用更快更有保障的方式發送消息的工程師們的追捧。該論文對消息的深入分析（消息的信息內容，如何將內容轉換為通信渠道發送的信號以及最後完整地接收）為各種信息的傳輸提供了原理與依據。雖說這些技術名稱（例如數據壓縮，頻道優化和降噪等）對你沒有任何意義，但你需要依賴這些技術打電話，收看Netflix，或發送推文。
然而，雖然信息理論的產物非常豐富，但純資訊理論的形式卻沒有顯著的實用。理論本身太難以理解，信息理論的本質太缺乏實用性。因此，它完美地體現了香農在抽象方面的天賦。Soni 和 Goodman 寫道，「香農總是有辦法挖掘背後的事物。他可以透過事物的現象，挖掘出其後的本質。」
當香農開始研究信息理論時，他面臨著中世紀的難題：編製與破解密碼，如何通過電線和無線電在長距離中發送完整的信息，以及建立一個可以讓所有人都互相連接的公共電話網路。Soni 和 Goodman 寫道：「當時信息還難登大雅之堂。」香農的目標是通過一個全面的解決方案解決諸多不同的信息問題。
經過十年獨自研究「發明工具」，香農於1948年完成了這項工作。他的數學已經擴展成為了一個前後一致且完整的系統，可以通過任何通信渠道傳輸各種形式的消息。香農在信息理論方面的成就可以與歐幾里德的幾何原理並駕齊驅。
為了實現一種嚴密的技術解決方案，香農在這個問題上加了限制條件。起初，他將「含義」定義為「工程問題無關」。因為如果考慮到所有「相關的物理或概念上的因素」的話，評價成功傳輸的含義就會變得極其困難。因此他減少了發送信息的行為，以便在有限的可能性中進行選擇，並要求在另一端做同樣的選擇。如此一來就可以衡量準確度了——簡單地將收到的消息與原始消息進行比較。
香農在他的工作成果中選擇了英語做為例子。因此，香農能讓讀者理解什麼是合理而什麼是不合理。雖然在他「沒有含義」的規定下，合理與不合理無關緊要，但我們可以通過它們從直覺上判斷準確與不準確。同時，選擇英語也打開了文學資料庫的歷史，利用字母的使用情況（字母的出現頻率，以及單詞的組合模式和頻率）獲得分析性和經驗性的信息。這些統計數據是他的模型的重要組成部分。
香農需要一個信息的原子單位，於是他自己創造了一個。香農利用布爾的理論，將字母、圖像和聲音簡化成比特——1和0的字元串。在消息被簡化成比特後，數學關係就開始出現了。通過文本傳遞的信息可以通過其對接收者現有知識的貢獻來衡量，換句話說，它的能力是解決不確定性。在資訊理論中，這就是「信息」。
香農根據歐幾里德的公理和假設模型，開始著手定義信息理論的元素及其在系統中的作用。例如，「冗餘」（可預測的或甚至重複的比特串）是消息中的累贅，或是沒有重複卻不知所云的亂碼。Soni 和 Goodman 談到，早期的跨大西洋電報經常會出現冗餘，因為原始的水下電纜會造成失真，因此經常會導致長句子被整個重複，或迫使人們請求更多冗餘——「Repeat, please.」（作者描寫了一個場景，形容「在通信中，電報就像薩繆爾·貝克特的戲劇一般凄涼。」）
後來，香農發現這個複雜的系統儘管是動態可變的，但由一系列參數控制，可以通過馬爾可夫（Markov）過程來描述。簡而言之，馬爾可夫過程是隨機的，但它們的模式取決於它們的當前狀態。例如，英語句子中的下一個字母是隨機的，但根據當前的字母「q」很可能下一個就是「u」。這個發現揭示了我們可以將馬爾可夫過程中使用的大量分析工具包用於現實世界中呈現的現象，如股票價格變動，人口增長和排隊買冰淇淋等。
信息熵
正如長度、面積和體積的度量是歐幾里德幾何的基礎一樣，消息中信息的實際測量是信息理論的基本構成因素。單位（比特）已經定義好了，但是香農將如何確定消息中的總比特數呢？我們不禁想起香農對布爾的深刻了解，他從熱動力學中引入了一個概念。他認為，在信息理論中，消息中的信息量應該稱為「熵」。
在熱動力學中，系統的屬性（例如溫度，體積和能量）定義其狀態。我們知道熱動力學狀態具有所有上述屬性，但不知道它們的值。同樣，我們可能知道一條消息使用了一定數量的字母但不知道是哪些字母。在這兩種情況下，我們用熵來測量狀態（或消息）的預期值。擁有大量屬性的熱動力學狀態與非常詳盡的消息都具有很高的熵。
如果你希望在工作中看到信息理論的工具，可以看看下面的例子：
馬里奧·普佐的著作《教父》的 Kindle 電子書大約有一百萬位元組。我下載了一張 35,000 位元組的馬龍·白蘭度扮演維托·柯里昂的照片。如果這本書大約有 172,000 個單詞，或者每個單詞7.5個位元組，那麼就說明維托的這張照片大約相當於5000個單詞。
目前，這篇評論的 Word 文件大約 35,000 位元組，與維托·柯里昂的這種照片的大小相同。
香農建立了一個與信息理論一樣完整和強大的結構，他還指出了複製他的行為時會遇到的困難。除了數學工作之外，「沒有含義」的警告也為那些想達到香農那般嚴謹的分析標準的人帶來了挑戰，他還告誡人們不要過度思考事物。
許多人都未能明白這一點。自1948年香農的論文發表後，來自各個學科的人們都踴躍地在信息理論的白紙上描繪著自己的問題。（ Soni 和 Goodman 在「TMI」的章節中總結了公眾對信息理論的過度熱情回應。）或許這也是預料之中的。從某些方面來說，每一位學者都在交流「信息」。儘管香農事前發出了警告，但是他從熱動力學中借用熵的概念的行為，還是給人們留下了隨意解釋的後門。當發現闖入者沒有領悟他給出的嚴謹的必要性提示時，他只好寫文昭告天下了。
1956 年，在香農的一篇文章《The Bandwagon》中寫道：「建立[新的]應用不是翻譯單詞的小事，而是假設並通過實驗求證的緩慢且枯燥的過程。」
香農拒絕了大部分信息理論的新應用，但有一個例外。20 世紀 50 年代，他建議 John L. Kelly Jr.（一位畢業於麻省理工學院，在貝爾實驗室工作的年輕人）在一篇論文中將信息理論與賭博聯繫起來。 Kelly 發現決定在某個給定風險上下多少賭注的過程與決定通過嘈雜的頻道成功傳輸的信息量之間存在數學相似性。這篇論文提出了著名的金融理論「凱利公式」，即將資本分配到風險領域的規則。無論是二十一點的賭局還是股票市場，這條規則統統適用。
由於篇幅有限，Soni 和 Goodman 在書中對信息理論的擴展討論很有限。但是熵和凱利提供了誘人的例子，值得讓我們探索擴展將會走向何方。
後人研究
目前，信息學者正在追隨物理學的領導，探索關於通信系統狀態經典假設之外的東西，還結合了量子力學的概念。量子信息處理並沒有採用比特來解析兩個二進位狀態，而是考慮疊加後多個狀態的信息的可能性。（由此產生的量子信息測量被稱為「量子比特」。） 「量子香農理論」假定存在可應用於量子世界中的過程的效率（例如數據壓縮或降噪技術）。
有沒有其他現象可以使用資訊理論提供的模板來理解和描述？
也許有。1961 年，劍橋生理學家 H. B. Barlow 撰寫了一篇論文，探討神經系統如何通過生物體的神經系統進化編碼，並高效地傳遞信息。Barlow 將他的模型稱為「有效編碼假設」，這引出了尤金·法馬的「有效市場假說」。
法馬的工作為全世界提供了金融市場風險與回報的分析工具和依據。凱利確立的信息與經濟之間的相似之處揭示了一個問題：這些概念是否應該從香農到凱利轉了一圈後又回到了香農這裡。風險、收益、波動率和夏普比率等金融概念上的信息理論可以為某些形式的交流提供深刻的見解與原理。
避開含義是一個務實的決定，這成就了香農最偉大的勝利。與此同時，這是一種伎倆，一種訴訟員在法庭上使用的狡猾策略。審判開始時香農坐在板凳上，等著法官宣布任何提及「含義」的內容都不可接受。這雖然讓他在眼前的工程問題上取得了勝利，但卻沒有履行「資訊理論」這個名稱所暗示的承諾。
沒有了含義，信息理論可以解決工程問題，但也只能解決工程問題。然而，由於含義而富於工程問題主導性的地位看似是一個倉促而又不光彩的讓步。我們至少應該通過觀察人工智慧和機器學習當前的發展，來確定即將到來的機械霸主的規模。Soni 和 Goodman 寫道：「拒絕含義讓人產生一種與電話公司相關聯的直覺——畢竟這是傳輸的事情，而不是解釋的事情。」提起執行瑣碎任務的官僚機構，我們難免會想起臉色蒼白的國王的可怕形象。
香農顯然沒有想到信息理論的那種未來。1948年，香農在一篇論文中嚴辭令色地把矛頭指向詹姆斯·喬伊斯說：
英語散文中有兩個極其冗餘的例子：《基礎英語》和詹姆斯·喬伊斯的著作《芬尼根守靈夜》。《基礎英語》的辭彙量為850個，冗餘度卻非常高。這反映在將一段文字翻譯成基礎英語時發生的擴展。另一方面，喬伊斯擴大了辭彙量，卻宣稱實現了對語義內容的壓縮。
除此之外，香農在該論文的其他地方都沒有用到「語義內容」一詞，他也沒有再建議使用某些版本的數據壓縮。在論文的第二段，之前的十四頁，他已經排除了含義。然而，我們不可能得出結論，這篇評論是故意的。在贏得沒有含義的信息理論案件的同時，香農為了上訴敞開大門。
事實上，有含義的理論方法確實很多。例如，當代文學批評已經創造了許多受香農啟發的科學概念，如索緒爾的符號學，德里達的解構主義，廣泛的哲學語言學，以及與馬歇爾麥克盧漢相關的更具文化導向的媒體研究領域。
儘管香農一再勸告，但頑固的科學家和工程師也已經深入了含義。
其中一位是 Warren Weaver 學者，他聞名於世是因為他以不那麼令人生畏、沒有那麼多數學的方式重新發表了香農 1948 年的論文，同時他也在機器翻譯方面取得了關鍵性的突破。根據定義，翻譯這項任務需要的不僅僅是複製消息。 Weaver的方法採用了香農啟發的關於如何使用單詞聚類和通用語言元素來提高翻譯能力和準確性的觀點。 Weaver曾經寫過一項技巧，這個技巧可以將口語的輸入處理成計算機（甚至是早期的計算機）也能理解的程度：
「當然，基本[英語]中指代動作的動詞（如get）有多種用途。但是即便如此，在基本英語中，兩個單詞的組合（例如"get up"、"get over"、"get back"等等）也不是很多。假設我們的辭彙表有2000個單詞，並且承認所有兩個單詞的組合詞也與單個單詞一樣好。那麼，辭彙量也只有4百萬，這個數據對現代計算機來說並不是太大。」
Theseus（那隻老鼠）本身就是信息理論不斷擴張邊界的預兆。它不僅僅發送或接收有關其迷宮的信息。它尋找信息，然後利用信息來找到正確的路徑，Theseus確定了香農認為「含義」的「某些物理或概念實體」之間的關係。
在考慮含義方面，人文主義者和科學家正朝著同一個目的地前進。在最近的一次採訪中，《A Mind at Play》的合著者 Rob Goodman 指出，信息理論有可能統一兩個分支：
實際上，香農的生活和工作質疑了整個「兩種文化」的範式，另一方面，數學和科學以及人文學科彼此之間幾乎沒有共同語言……香農所做的並不僅僅是簡單的數學運算。他還思考了那些同時也是語言學和哲學中的問題。
未來
信息理論能否打開數學科學與人文科學之間的通道？或者人與機器之間的通道？
最近 Facebook 決定關閉兩個人工智慧聊天機器人 Bob 和 Alice。這兩個機器人都是用英語訓練出來的，但是突然他倆之間開始用奇怪的語言流利地交流了起來，而且只有彼此才能理解。比如，Bob在與Alice就如何分割任務進行談判時說：「I can i i everything else」。
有些觀察人員認為這是「技術異常點」的預兆，他們擔心「超級智能」機器培養了提高自身的能力，再這樣下去它們會統治世界。這種擔憂是合理的，但冷靜下來想想這些機器人反映了人類行為以及它們會說什麼也是很有趣的事。
Bob 的那句話是什麼意思？不禁讓人聯想到人類語言在簡訊中所經歷的變革。當我們使用行話、首字母縮略詞、隱喻（以及添加更多維度、層次和多媒體）不也是為了壓縮數據嗎？
儘管藏書家和技術愛好者之間存在明顯的文化差異，但克勞德·香農的信息理論工程概念讓更多人性化元素相關聯。如果我們進一步發展這種思想，信息理論會在良好的溝通方面發揮作用，至少可以跨越兩種文化。
原文：https://bostonreview.net/science-nature/tom-rutledge-man-who-invented-information-theory
本文為 CSDN 翻譯，如需轉載，請註明來源出處。
【完】
熱 文推 薦
TAG:CSDN |