漫畫：什麼是字符集和編碼？ASCII、UTF-8、UTF-16、UTF-32 又是什麼？

當天下午

————————

人類只認識文字，可惜計算機只認 0 和 1，雙方都不能妥協，那就必須要有一個從文字到 0、1 的映射了。

從我們可以看到的文字到 0、1 的映射稱為編碼，反過來從 0、1 到文字叫解碼。這個就是編碼的含義。

因為計算機只能處理數字，如果要處理文本，就必須先把文本轉換為數字才能處理。最早的計算機在設計時採用 8 個比特（bit）作為一個位元組（byte），所以，一個位元組能表示的最大的整數就是 255（二進位11111111=十進位 255），0 - 255 被用來表示大小寫英文字母、數字和一些符號，這個編碼表被稱為 ASCII 編碼，比如大寫字母 A 的編碼是 65，小寫字母 z 的編碼是 122。

Unicode 編碼定義了這個世界上幾乎所有字元（就是你眼睛看的字元，比如ABC、漢字等）的數字表示，而且 Unicode 還兼容了很多老版本的編碼規範，例如剛剛講過的 ASCII 碼。

我們國家的每一個人都對應唯一的一個身份證號，而 Unicode 也為每個字元發了一張身份證，這張「身份證」上有一串唯一的數字 ID 確定了這個字元。

這串數字在整個計算機的世界具有唯一性，Unicode 給這串數字 ID 起了個名字叫［碼點］。

這個「Unicode 轉換格式」是為了解決「碼點」在計算機存儲方式而設計的。

「碼點」經過映射後得到的二進位串的轉換格式單位稱之為「碼元」（Code Unit）。「碼點」就是一串二進位數，「碼元」就是切分這個二進位數的方法。

舉個例子，如果有一個字元的碼點二進位表示有 n 位元組（n*8 個二進位數），其碼元為 8 位（1 個位元組），那麼其擁有碼元 n 個。

Unicode 編碼發展到今天擴展到了 21 位，為啥擴展到 21 位了呢？因為一開始老美只考慮自己那 26 個英文字母和數字，隨著越來越多的國家的語言語言編碼，Unicode 不得繼續擴展，目前 21 位已經足夠使用。

UTF-32 是最好理解的一個了。UTF-32 也就是說它的碼元是 32 位，每 32 位去讀一下碼點，而碼點是 Unicode 給字元的編碼，前面也說了，最長才 21 位，因此每一個 UTF-32 值都可以直接表示對應的碼點。

什麼是編碼空間呢？前面說了 Unicode ,它是 21 位的。這 21 位提供了 1,114,112 個碼點，編碼空間就是對應這 1,114,112 個碼點。

對了這裡要說一下，這麼多碼點並不代表有這麼多字元，目前大概只有 10% 的空間被使用了，人類社會還沒創造出 1,114,112 這麼多的字元。

編碼空間被分成 17 個平面（plane），每個平面有 65,536 個字元（正好填充 2 個位元組，16 位）。0 號平面叫做「基本多文種平面」（BMP, Basic Multilingual Plane），涵蓋了幾乎所有你能遇到的字元，除了 emoji（emoji 位於 1 號平面 - -）。其它平面叫做補充平面，大多是空的。

UTF-16 要常見得多，它的碼元是 16 位的，也就是說每 16 位去讀一下碼點，獲取碼點的前 16 位數字，直到讀取完成。

編碼空間這裡要用上了哈，BMP 平面（也就是前面說的基本多文種平面）中的每一個碼點都直接與一個 UTF-16 的碼元一一映射。

由於 BMP 幾乎包括了所有常見字元，UTF-16 一般需要 UTF-32 大約一半的空間。至於其它平面里很少使用的碼點都是用兩個 16 位的碼元來編碼的。

UTF-8 使用一到四個位元組來編碼一個碼點。從 0 到 127 的這些碼點直接映射成 1 個位元組（對於只包含這個範圍字元的文本來說，這一點使得 UTF-8 和 ASCII 完全相同）。接下來的 1,920 個碼點映射成 2 個位元組，在 BMP 里所有剩下的碼點需要 3 個位元組。Unicode 的其他平面里的碼點則需要 4 個位元組。UTF-8 是基於 8 位的碼元的，因此它並不需要關心位元組順序（因為位元組就是 8 位的呀，其它 UTF-16 和 UTF-32 在不同的機器編譯環境下需要考慮位元組的順序問題）。

作者：喬戈里，哈工大計算機本碩，百度工程師，做公眾號就是想和大家交個朋友。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！