微服務下的數據架構

微服務是一個軟體架構模式，對微服務的討論大多集中在容器或其他技術是否能很好的實施微服務，而本文將從以下幾個角度來和大家分享在微服務架構下進行數據設計需要關注的地方，旨在幫助大家在構建微服務架構時，提供一個從數據方面的視角：

微服務定義

微服務的優勢及架構特點

微服務架構下的數據設計

選擇一個合適的資料庫

什麼是微服務？

按照 Martin Fowler 的定義，微服務是一個軟體架構模式，通過開發一系列的小型服務的方式來實現一個應用。每一個這樣的小服務通常都是運行在自己的進程裡面，並且通過輕量級的 HTTP API 方式進行通訊。這些服務通常會以業務模塊為界限，能夠被單獨開發部署，往往都會用自動化的部署工具來進行產品的發布。通過使用微服務方法，大公司可以更快推出新產品和服務，使得開發團隊與業務目標保持一致。

微服務的優勢

微服務方法體現出許多優勢，包括更快的上線時間、靈活性、彈性、一致性以及相對更低的成本。

更快的上線時間

實施微服務架構可以使組織更快地將其應用程序推向市場。對整體應用程序的更改（即使很小）需要重新部署整個應用程序堆棧，從而引入風險和複雜性。相反，服務的更新可以立即提交、測試和部署，對個別服務的更改不會影響系統的其他部分。

更好的靈活性和可擴展性

微服務方法在擴展應用程序時也提供了靈活性。單片應用程序要求整個系統（及其所有功能）同時擴展。使用微服務，只需要縮放需要額外性能的組件或功能。可以通過部署更多微服務實例來擴展服務範圍，從而實現更有效的容量規劃並降低軟體許可成本，從而降低總體擁有成本。

彈性

使用單體應用程序時，組件的故障可能會危及整個應用程序。在微服務中，每項服務都是隔離的，以防止級聯失敗導致整個系統崩潰。如果單個微服務的所有實例均失敗，則整體服務可能會降級，但其他組件仍可提供有價值的服務。

更容易的規模化

微服務使技術團隊能夠與組織需求保持一致，並且可以調整團隊的大小以匹配所需的任務。通常，微服務團隊規模較小但是跨部門（如一般涵蓋 Ops、Dev、QA），並專註於整個應用程序的單個組件。通過提供對個人服務的所有權，而不是功能區域，微服務還可以打破團隊之間的孤島，並改善協作。這種方法對於分散式和遠程團隊尤其強大。 （例如，不同地點的團隊可以獨立發布和部署功能。）

微服務的技術特點

讓我們來通過一個例子來了解微服務架構的技術特點。

聯邦銀行的架構師 Jonnathan 非常不喜歡他的產品經理 Mandy，因為他覺得 Mandy 永遠有無窮無盡的想法要實現，搞得他成天就在不斷地修改代碼。但是 Mandy 是老闆的紅人，而且用戶對產品的反響也不錯，所以很多時候他只能默默的服從。

這一天 Mandy 又成功的說服了老闆要在他們的客戶體驗提升項目中增加輿情分析和 AI 客戶服務模塊，希望通過對社交媒體上有關聯邦銀行的所有評論進行實時的監控和分析來及時發現聯邦銀行的產品反饋或者用戶體驗問題。Jonnathan 已經預感到了這樣前所未有的應用場景，會有太多的未知和太多的改變，於是這次決定嘗試使用 Microservices 來構建這個應用。

這個是 Jonnathan 設計的架構，系統要求對客戶的社交賬號如 Facebook、Twitter、Google+ 及 Snapchat 公開的信息及評論進行收集，並在某些合適的時候使用 AI 技術直接和用戶在通過社交工具進行互動。

在上圖這個架構裡面，Jonnathan 把 4 個不同社交媒體的數據採集和交互用 4 個獨立的模塊進行實現，並用一個 Feed Merge 服務，一個 Aggregate Service 把 4 個類似功能的微服務模塊的數據和功能進行整合，提供給分析平台使用。這裡面每一個服務按照微服務的架構，每一個都是單獨部署，在一個獨立的容器內執行，並使用自己的一個資料庫。

果不其然，系統上線一段時間，Mandy 說 Google+ 上面幾乎沒有什麼活動，不值得繼續維護這樣的一套系統。Jonnathan 這次毫無抱怨，直接把負責 Google+ 的容器停了，沒有需要任何代碼改動，甚至完全沒有需要對整個系統進行停機。

剛下線 Google+，Mandy 又來提需求說最近合併了另一家銀行，客戶很多使用 Whatsapp。二話不說，Jonnathan 直接上了一個新的模塊來處理 Whatsapp：

又過了一段時間，這一次是 Jonnathan 自己要對系統做調整了，原來 Snapchat 最近大火，他部署的系統頻受壓力，性能下降。為了解決這個問題，Jonnathan 果斷增加了額外 2 台容器來同時支撐 Snapchat 信息的採集和處理。

感謝微服務架構，Jonnathan 在一系列的產品需求變化以及系統擴容需求下，可以從容應付。要實現微服務架構，需要你銘記以下幾個微服務架構的應用設計原則：

Decouple 解耦

在微服務架構中，應用程序被分解為小型的獨立服務。服務通常專註於特定的離散目標或功能，並沿著業務邊界解耦。按業務界限分離服務可讓團隊專註於正確的目標，並確保服務之間的自主性。每項服務都是獨立開發，測試和部署的，服務通常是作為獨立的進程或軟體容器分開的，通過網路和商定的 API 進行通信，儘管在某些情況下，網路可能在本地。通常部署相同微服務的多個實例，從而提供冗餘和可擴展性。

Dump Pipes 輕量級 API

微服務之間的通信要使用輕量級 API，如 HTTP RESTful API。這樣可以使得服務對 API 通信方案的依賴減到最小。複雜的通信處理要在服務端進行，而不是像 ESB 或者 Data Pipeline 處理匯流排那樣在數據傳輸過程中引入非常多的邏輯，導致微服務模塊緊緊的綁定在這個數據管道上。

DevOps 持續集成

微服務架構帶來的一個非常顯著的負面性就是眾多實例的測試發布及管理。傳統應用雖然開發複雜，但是部署和運維相對比較集中，一台資料庫，2-4 個應用伺服器就差不多了。但是微服務架構下單獨服務的數量輕則 10-20，多則上百個，所以微服務架構一般需要配套的 CI/CD 方法來支撐。

Decentralized 去中心數據治理

數據的管理在微服務架構下也是和傳統單體有很大的不同考量。大部分時候我們希望數據就和服務一樣，要有充分的獨立性，可以和某個服務一起部署，一起擴展，或者一起重構。這通常意味著我們可能要在一個微服務架構應用內使用多個資料庫實例。但是同樣需要考慮到數據分布在多實例之間以後，往往還需要一些冗餘，以及如何保持這些數據在這些系統中的一致性等問題。下面一章，我們就著重來討論微服務架構下的數據設計的一些考量因素。

微服務的數據設計考量

從來沒有一個 one-size-fits-all 的架構，所以在微服務架構下面，我們需要了解的，一樣是幾個關鍵的架構考量點。然後針對自己的實際應用，選擇哪些考量點是更加重要。這篇文章的目的，主要就是跟大家來討論從哪幾個角度著手來設計一個符合微服務架構原則的數據架構。比如說，我們可以從一系列的問題來開始這個討論：

這麼多微服務之間，我是否可以用一個資料庫，還是多個資料庫來支持多個微服務？

如果是多個資料庫，我是否為每一個微服務挑選一個最合適的資料庫，還是選擇同一種類型的資料庫？

我如何在微服務架構下擴展我的資料庫？

當一個我依賴的服務需要修改資料庫 Schema 的時候，是否會影響到我？

當微服務應用不斷衍變的時候，我的資料庫是否可以快速的響應應用需求變化？

這些就是我們在微服務數據架構時候要關注的地方。

一庫一服還是一庫多服

無論是單體應用，還是微服務應用，有一點是肯定的：應用的各個模塊之間都需要進行較為頻繁的通信，通過一起協同合作，來實現應用的整體價值。在單體應用中，這種通信是通過方法調用來完成的。在微服務中，則通過 API 調用來完成。這些模塊或者服務間調用，大部分時候是為了共享數據。 共享數據最賤的方式當然就是採用一種共享資料庫的模式，也就是單體應用常用的方式 - 應用可以有多個系統模塊，但一般都是只有一個資料庫。如下圖左邊，3 個微服務模塊，後面共享一個資料庫，簡稱一庫多服務：

這種架構模式通常會被認為是微服務架構下的反範式，它的問題在於：

單點故障：一個資料庫倒下，整批服務全部停止。何來的服務獨立性？

數據在同一個地方，會給貪圖方便的開發或者 DBA 工程師編寫很多數據間高度依賴的程序或者工具；

無法針對某一個服務進行精準優化或擴展，如上文所講的 Snapchat 的例子。

所以一般推薦的做法，是為每一個微服務準備一個單獨的資料庫，也即一庫一服（database per service）模式。如上圖右側所示。這種模式更加適合微服務架構 - 它滿足每一個服務是獨立開發、獨立部署、獨立擴展的特性。當需要對一個服務進行升級或者數據架構改動的時候，無須影響到其他的服務。需要對某個服務進行擴展的時候，也可以手術式的對某一個服務進行局部擴容。另外，如果某些服務對資料庫有特殊的需求，這種模式也為下文所講的混合持久化（Polyglot Persistence）提供了可能性。

混合持久化 vs. 多模資料庫

混合持久化在大型互聯網公司是一個比較風行的模式。它秉承的原則就是為特別的任務提供最好的工具。比如說，如果我希望提供一個高並發低延遲的共享用戶會話方案（shared session storage）， Redis 可能是一個非常理想的選擇。如果我是在實現一個產品目錄，涉及到大量不定結構的商品數據及屬性的建模管理，我可能會採用模式靈活，動態 schema 的 MongoDB 來作為我的資料庫解決方案。如果我希望支持非常強大的全文搜索，ElasticSearch 則是行業中的佼佼者。微服務的功能分塊獨立部署為這種架構模式提供了非常好的基礎，如下圖左側所示就是個典型的混合持久化的案例：

混合持久化 - Polyglot Persistence

多模資料庫 - Multi-model Database

當然，有句話說的是架構師的工作就是每天做不斷的取捨（trade off），因為選擇往往是讓人很糾結。混合持久化的優勢很明顯，可以讓每個單獨的服務使用到最佳的工具和技術。但是它的弊端也是不容忽視。部署、監控、備份、升級等資料庫管理工作從來都是一件困難但是重要的任務。引入多個不同的資料庫，也意味著對系統管理維護的複雜度和成本提高了很多。這種情況下可能需要比較有資源的公司或者團隊才可以使用。這也解釋了這個模式在大型互聯網公司得到較多的採用與推廣。針對於其他小型規模的用戶，或者是缺乏足夠掌握各種新型技術人才的公司來說，另一種更為可行的模式可能是多模資料庫（Multi-model）。如上圖右側所示。

多模資料庫的特徵是：

依然是一庫一服務（為一個服務部署一個單獨的資料庫）；

但是使用的是同一種類型，支持多種場景的資料庫，如 NoSQL 中間為功能最全面的 MongoDB；

雖然是多實例，但是只需維護一種類型的資料庫，管理上和人員配備上都較為簡單。

如果你在開發的應用是一款企業級產品，會交付到客戶環境部署安裝，則運維管理的簡單性將在技術選型中佔據非常重要的一個比重，無疑這種情況下多模資料庫更加適用。

微服務擴展你的數據

微服務架構的一大裨益是其靈活的擴展性。以上面的 Snapchat 為例，如果需要採集或處理的數據量快速增長，在我們增加應用服務實例的同時，支撐數據存儲的模塊也要相應擴充。AFK Partners 在他們的 Scale Cube 一文里對性能擴展提出了這樣的觀點：要設計一個真正意義上的可擴展系統，我們必須考慮 3 個維度，如下所示：

X-軸，系統複製（橫向擴展）

Y-軸，非重疊功能的拆分（微服務）

Z-軸，數據的分區（Sharding）

一個好的數據架構，在微服務體系內，應該具有同樣的可擴展、易擴展性質，從而不給微服務架構拖後腿。關於數據分區擴展有兩種做法：

應用數據分區

資料庫分區

應用數據分區，顧名思義，就是在應用端對數據的存儲進行分區管理。比如說，一個社交應用可以按國家或地區為界把用戶的數據分發到不同資料庫實例裡面。這樣的話每個資料庫實例只需要存儲一部分數據，從而實現海量的數據管理能力。資料庫分區，就是由資料庫的路由節點來完成數據分區的任務。資料庫分區的優勢是顯然的 - 對應用透明、擴展快速、無須下線等。 如果你的應用有潛在擴充的需求，選擇一個能夠自動擴展的分散式資料庫是一個比較明智的選擇。

動態模式支持及快速開發能力

這是一個很多架構師可能會忽略，但是非常重要的關注點。我們在迭代式開發 DevOps 微服務上的很多努力，都是為了快速開發，快速上線，以及快速響應變化的需求。從數據架構師的角度來看，如何不成為在這個快速開發方法模式中的一個瓶頸，有一個很重要的環節就是是否有一個能夠及時響應變化的數據模型。傳統的資料庫都是強模式，需要對 schema 進行清晰定義, 在需求修改導致模型修改的時候需要對資料庫進行模式升級，是一個需要下線、耗時並且是高成本的運維操作。

在新一代的 NoSQL 資料庫產生之前，我們並不需要考慮這個問題，但是以 MongoDB、Cassandra 等為代表的 NoSQL 代表的是靈活建模，動態支持模式變化的特徵使得它們成為敏捷開發和微服務體系內一個有力的競爭者，在選型的時候也是一個重要的考量因素之一。我們說一庫一服的架構使得對一個服務的資料庫模式修改不會影響到其他服務。但是如果使用一個動態模式（有時候有人會說無模式）的資料庫，則在該服務本身模式修改時候也可以最小化其最小化的維運成本。

一個適合微服務架構的資料庫

紅杉資本的合伙人 Matt Miller 是公認的微服務技術領域專家。他的廣被傳播的「微服務生態圖」詳盡的列出了微服務架構的相關技術棧。在這裡他推薦了 MongoDB 作為主要的數據管理方案。

MongoDB 是一個分散式文檔型資料庫，它有以下一些特性使它非常適合於微服務架構：

多模資料庫（Multi-model）

原生 JSON 數據結構 - API

動態模式、無模式（Dynamic schema / Schemaless）

數據變化流（Change Stream）

橫向擴展能力（Sharding）

多模資料庫

MongoDB 從 3.4 版本起在多模資料庫場景上提供了不少功能模塊，比如說，使用聚合框架（Aggregation Framework）現在開發者可以使用：

$graphLookup 來實現類似於圖資料庫的查詢

$facet 來實現分面搜索

內存引擎功能，用於支持類似於 Redis 的高速緩存

全文檢索，用於實現搜索類型場景

JSON 數據結構

由於 MongoDB 原生就是 JSON 數據模型，正好是微服務架構中用於模塊間通信的 HTTP RESTful API 調用的主要數模型。事實上，你可以使用一些開源中間件，快速的來構建起微服務之間的 API 服務。

動態模式

這一點一直是 MongoDB 獲得開發者青睞的主要原因之一。MongoDB 無須顯式的定義數據模式即可讓你開始往資料庫寫入。當數據模型有變化時候，比如說在迭代式開發中非常常見的就是增加一些欄位，MongoDB 資料庫不需要對其進行修改 schema 操作，而是可以直接在同一個集合（表）里直接寫入新版本的文檔。這個對於需要實現快速迭代，快速交付的微服務應用開發是一個非常重要的特性。

數據更改流

微服務架構中由於其分布特性，傳統的強事務機制不再適用。數據的一致性一般需要通過一些基於 Event Sourcing 或者事件驅動模型的解決方案。MongoDB 3.6 版本推出的數據更改流，可以用來實現一個類似於 Kafak 一樣的 Message Queue，為各個微服務間的數據協調提供一個簡單易用的線程方案。

橫向擴展能力

MongoDB 一向以其強大的橫向擴展能力著稱。不少 MongoDB 用戶遷移的主要原因就是使用 MongoDB 的 sharding 技術可以突破關係型資料庫在數據量和性能上的瓶頸。MongoDB 的 sharding 有幾個特徵使得其非常適合微服務架構考慮使用：

彈性擴展：可以擴容也可以縮容；

無縫擴展：無須停機，就可在線擴容；

自動均衡：無須應用參與即可實現數據的自動均衡，完全透明。

一個基於 MongoDB 的微服務參考架構圖：

Kubernetes入門與進階實戰培訓

本次培訓內容包括：Docker基礎、容器技術、Docker鏡像、數據共享與持久化、Docker三駕馬車、Docker實踐、Kubernetes基礎、Pod基礎與進階、常用對象操作、服務發現、Helm、Kubernetes核心組件原理分析、Kubernetes服務質量保證、調度詳解與應用場景、網路、基於Kubernetes的CI/CD、基於Kubernetes的配置管理等，點擊了解具體培訓內容。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！