演算法是區塊鏈構成的根本，演算法和持續性決定數據導向

演算法是區塊鏈構成的根本，演算法和持續性決定論鏈條的封閉和環的構建。

1. 演算法到底有什麼用

剛入坑的時候，一直以為大數據工程師就是安裝一下 hadoop，寫寫 MR 程序，運維一下集群就夠了，雖說演算法很重要，但是工作中沒有什麼感覺。

我在很長一段時間也抱著一種演算法只是起到在面試中起到區分度作用的知識點而已。(現在想來，其實這個觀點也沒什麼錯，大部分的開發工作的確用不到自己寫的演算法。)

2. 經典演算法的魅力

做了一段時間大數據運維後，接到了一個優化調度系統的任務，就和 Gim 老司機在一起設計重構調度系統的方案，在這個過程中複習了很多圖論相關的知識點，從此開始對演算法產生了極大的興趣並一發不可收拾，隨後重新學習了一遍樹相關的內容，自己動手實現了什麼2-3樹、avl樹、紅黑樹這些數據結構。

其實，感興趣的一個主要原因就是發現，這些東西基本構建了我們整個的計算機體系。比如文件系統、資料庫的索引，學會這些總感覺以後就不會丟飯碗了。

3. 機器學習代表了一切

再接著，機器學習一下子就火了起來，世界上只剩下了兩種演算法：機器學習演算法和非機器學習演算法。身邊的朋友和同學，凡是和數據開發相關的，都稱自己想轉做機器學習。筆者也不能免俗，開始準備跟著浪潮走一波。但是一沒場景，二是興趣不大，當有一天我突然意識到自己在學機器學習累的時候居然想玩玩 Linux 放鬆心情的時候，就暫時放棄了轉向機器學習的這個想法。以後我會用到它，可能還會用的很深，但是現在不會全身心地轉向它。

機器學習過後，17年又迎來了深度學習的浪潮。

4. 深度學習又是一波浪潮

感觸最深的是在 17 年 5 月份，我們看到了一份招聘要求，招的 title 是人工智慧平台架構師，具體的要求是除了數據平台要求的東西外加了一些深度學習平台的東西。

這時候就感到，當浪潮到來的時候，你可以不轉向它，但是要包容它。所以，順便學了一波深度的東西，入了個門，大概知道我以後需要做些什麼。(半年後的今天基本已經忘完了)

5. 還有很多有趣的演算法

隨著工作的深入，系統在性能上遇到了很多了瓶頸，我們要做一系列的調整來應對，比如敏感信息的加密、集群文件的壓縮、負載均衡策略的選擇，這時候就不得不深入學習一下加密演算法、壓縮演算法、負載均衡演算法的原理。

這些演算法一直都在，但是仍然可以在現在的大數據場景下發揮極大的作用。

6. 分散式演算法

在這之前，我對自己從事的工作一直有一點心虛，感覺除了寫寫 MR，管一下集群貌似沒什麼技術含量太深的東西，能拿得出手的也就是各個系統的架構和對他們的熟悉程度。 後來無意間在 Mooc 發現了一門雲計算原理的課，然後就對這一塊產生了極大的興趣。

隨著學習的深入，發現這塊的水還是相當深的，我們稱這些為分散式演算法，它包含了這麼一大堆內容：

2PC、Gossip 這一大堆協議;DHT、Paxo、Raft 這一大堆演算法、還有一些亂七八糟的原理。

這塊學的還是很皮毛，後面會有詳細的學習計劃。

7. 大數據演算法到底是什麼?

在工作和學習中遇到了這麼多演算法，再加上一段時間的思考，我會在想，大數據的演算法到底是什麼樣子的?

大數據演算法

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！