生活在信息化時代，你卻不知道信息是什麼？

01

牛頓的激光烈焰劍理論

如果非要用一個詞來形容我們這個時代，那應該就是：信息時代。

在此之前，瓦特的蒸汽機開啟了蒸汽時代，而對於電和磁的了解，人類進入了電氣時代。如今，由於人類對於信息的探索，人類開啟了信息時代。

在信息時代，有發明電報的莫爾斯，有發明電話的貝爾，有發明無線電技術的馬可尼等等偉大的發明家和科學家。

但是一直以來有一個問題困擾著科學家們，那就是：信息到底如何度量？

舉個例子，我們常說：信息量好大啊。那到底什麼樣的信息才算信息量很大？其實誰也說不清楚。

如果我們夢回到牛頓時代，就會發現，牛頓的代表作《自然哲學的數學原理》當中，前十幾頁只幹了一件事情，那就是：下定義。

我們現在耳熟能詳的很多概念，比如：密度，質量，力。都是牛頓下的定義。

牛頓的定義不同於一般的定義，他的定義使得這些物理量可以被測量，並且量化度量。

相對於偉大的牛頓力學，牛頓對於物理學開創性的研究方法更是奠定了現代物理學的基礎。數學家Mike Alder曾經在一篇文章里總結並且提出了：Newton"s Flaming Laser Sword.

翻譯過來就是牛頓的激光烈焰劍理論，具體的內容就是：

所有不能進行實驗和觀測的東西都不值得辯論。

所以，對於科學而言，定義和觀測十分重要，更是有國際七大單位制，當然還有其他不在這當中的，不過可以通過七個國際單位推出來。

資訊理論

因此，資訊理論要成為一門科學，首先要把信息的定義確立下來，可以量化度量，而且還得有個靠譜的單位才行。

其實道理科學家都懂，但是落到實處真的很難，很多科學家嘗試了很多方法，比如：通過對比信息的重要性，來度量信息，但都失敗了。

直到1948年，一位天才發表了一篇名為《通信的數學原理》的文章，裡面對信息做了非常詳盡的定義.

這篇文章也徹底地奠定了現代資訊理論的基礎，一直沿用至今。這位天才作者叫做：克勞德·艾爾伍德·香農。

信息的基本單位：比特

那香農是如何解決這個問題的呢？

香農認為：

一個東西的信息量大小在於它克服了多少不確定性。

比方說，我和你有個特別要好的朋友，他平時早上10點到公司，晚上10點回到家。有一天，我跟你說：他今晚11點在家裡。這句話對你來說，其實就是一句廢話，信息量是零。這是因為，你本身就知道這個時刻，他大概率就在家裡。所以，意外或者說不確定性才是信息。

因此，香農把信息的量化度量和不確定性聯繫了起來，並給出了信息的基本單位：比特。

我們可以這麼理解比特，如果有拋一枚理想的硬幣，正面和反面的概率是一模一樣的。要搞清楚到底是正面還是反面，就需要1比特的信息。

如果這枚硬幣並不是理想的硬幣，而是正面更重一點，拋硬幣有更大的概率是正面朝下，反面朝上。這時，要搞清楚正面還是反面朝上，所需要的信息就要小於1比特了。這是因為你有更大概率能夠猜中結果。

如果再複雜一點，假設你在做選擇題，一共有4個選項。如果你要確定這道題的最終答案，那需要多少比特的信息呢？

可能很多人的第一反應是：4比特。實際上，這並不對。你要知道，你不會傻到一個選項一個選項去問對方（通過信息消除不確定性的過程）。

如果機智一點，會採取二分法，

你可以先問：答案是不是在A和B當中？

對方如果回答：是。

那你就只需要在A和B當中再問一遍：答案是不是A？

如果對方答：是。

那你就已經確定了結果是A，而整個過程你只用了2比特的信息。

同理如果，你先問：答案是不是在A和B當中？

對方如果回答：否。

那其實就排除了A和B，答案就在C和D當中，所以你只需要再問：答案是不是C？

對方如果回答：否。

那你就已經確定了結果是D，而整個過程也還是用2比特信息。

你甚至可以把比特想像成人民幣，假設1比特就是一塊錢，每次做選擇時都要花一塊錢，如果要解決拋理想硬幣的問題，你只需要一塊錢就能夠搞定。而四選一，就需要2塊錢。

所以，這下子應該明白了吧？信息其實是用來消除不確定性的。但問題又來了，到底消除什麼的不確定性？

答案是：信息源。

這個信息源其實就是指拋硬幣這個事件本身，它本身具有不確定性，可能是正面，也可能是反面。而信息源的不確定性就叫做：信息熵。於是，我們就可以知道，

信息就是用來消除信息熵（不確定性）的。信息熵是以其發生幾率來量測，發生幾率越高，不確定性越低，信息熵越高，越需要額外的信息減少其不確定性。

所以，信息量其實本身就是信息源的信息熵。

信息熵

因此，我們只要能夠計算信息熵，那就可以計算信息量具體是多少了？

那具體如何計算呢？其實香農從熱力學中找到了靈感。在熱力學當中，熵用來表示：

一個系統的無序狀態（不確定性）。

舉個最常見的例子，如果你把一點墨水滴到水中，墨水會和水融合在一起，整個杯子的無序狀態數會增加（因為變混亂了嘛），這裡我們可以把這杯子里的水看成是一個系統。

在物理學中，衡量一個系統的混亂度，其實可以通過統計整個系統的狀態數來確立。

可能性越多，不確定性就越大；在狀態數量保持不變時，如果各個狀態的可能性相同，不確定性就很大；

因此，科學家給出了統計系統狀態數的公式（不看也沒有關係）：

其實信息熵其實也就是表示了一個系統（信息源）的不確定性（信息熵）。

由於熱力學的啟發，香農也給出了類似的計算信息熵（信息量）的公式：

具體咋用呢？我們回到剛才拋硬幣的例子來：

拋出一個理想硬幣，信息熵為log2(2/1) = 1比特；

拋出兩個理想硬幣，信息熵為log2(4/1) = 2比特。

自從資訊理論被提出來之後，科學家就一直在思考一個問題，這個世界到底是什麼？我們都知道是物質是原子構成，那世界就是原子的？

但我們也要知道，原子的排列構成了世界，而排列本身就是信息，因此原子是通過交換「比特」來實現有序排列的，意思就是說，某種程度上來看，世界又是比特的。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！