大數據版圖：大數據、AI與雲計算結合已是大勢所趨

錢塘號期待您的入駐和來稿

熱門推薦：【乾貨】45G微信小程序開發合集

2017年大數據開始進入部署階段，大數據的炒作逐漸散去，它的應用卻正在蓬勃發展，代表成熟度的標誌性IPO也正在出現。而大數據在幾年前經歷的泡沫正在無可爭議地轉移到人工智慧身上，過去幾個月AI所經歷的共同意識「大爆炸」與大數據當年相比甚至有過之而無不及。從2013開始製作大數據版圖的Matt Turck剛剛發布了最新的2017年大數據版圖，我們一起來看看在這個領域有哪些最新趨勢和玩家的分布情況。

高層趨勢

大數據+AI=新棧

2016年無疑是機器學習之年，任何目睹過眾多pitch的VC都應該能感受到這一點，那就是每一家初創企業都成為了「機器學習公司」，「.ai」變成了必備域名，而「等等，可是我們是用機器學習做到這個的」也成為了pitch deck的必備幻燈片。機器學習正在迅速成為許多應用的關鍵建構塊。

相應地，一個新興的技術棧正在出現，在這個技術棧裡面，大數據被用於處理核心的數據工程挑戰，而機器學習則用於以分析洞察或者行動的形式從數據中析取出價值。

換言之，大數據提供管道，AI提供智能。當然，這種共生關係已經出現多年，只是能實現這個的目前還不多而已。

但是，現在這些技術開始大眾化的普及。「大數據+AI」正在成為眾多現代應用（不管是消費者型還是企業型）的默認技術棧。無論是初創企業還是一些財富1000強公司都在利用這一新的技術棧。而且在雲巨頭的努力下，這個技術棧往往還有雲計算這個更基礎的建構塊的加入，以機器學習雲的形式出現。

但是AI的大眾化是否就意味著這種技術在短期內能實現商品化呢？現實是AI在技術上仍然非常困難。儘管許多工程師都在爭先培養AI技能，但全球這方面的領域專家仍然十分稀缺。

不過這股大眾化的趨勢已經不可逆轉，而機器學習早晚都要從競爭優勢演變成桌面籌碼。

這對初創企業和大公司都會產生影響。對於初創企業來說，除非你把AI軟體做成自己的最終產品，否則的話自我標榜為「機器學習公司」將變得毫無意義。對於大公司來說，如果現在你不積極推進大數據+AI的戰略，就會有變得過時的風險。AI已經是下一個風口了。

企業預算：一切向錢看

從2016年的情況來看，財富1000強公司已經在紛紛增加預算用於升級核心基礎設施以及分析，其關鍵的關注點正是大數據技術。分析機構IDC預計大數據和分析市場將從2016年的1300億美元增長到2020年的超過2030億美元。

而且財富1000強公司裡面的許多買家在大數據技術方面正在變得越來越嫻熟、越來越目光敏銳。這些公司過去幾年做了很多功課，正在進入全面部署階段。這種情況不僅發生在技術導向型的公司，在很多行業都是如此。

在大公司每隔幾年就要發生的舊技術替代自然周期的推動下，這種情況得到進一步加速。大數據遭遇的環境也從逆風變成了順風。當然，很多大公司仍然處在大數據部署的早期階段，但是情況似乎在快速演變。

企業數據向雲端遷移

直到幾年前，把企業數據遷移到公有雲上面對於大公司CIO來說還是不可想像的事情，頂多是在開發環境下或者拿非關鍵的、面向外部的應用來嘗試一下。但現在畫風開始有所變化，大家對此的態度似乎變得更加開放了，比方說你會聽到這樣的說法「不管怎麼說我們的客戶數據已經放到Salesforce雲上面了」，或者「在網路安全方面我們永遠也不會有像AWS那麼多的預算」。但目前里大多數企業都向公有雲遷移還遠得很，這部分是因為遺留系統和管制方面的原因。不過雲供應商正在竭盡全力來加速這一趨勢的轉變。比如說AWS甚至可以開卡車來運你的硬碟到雲端。

2017年大數據版圖

作為對比我們先看看2016年版本：

2017年版本：

整合要來了嗎？

從上圖可看出，這張圖已經變得越來越擁擠，那麼一個顯然的問題來了：行業是否瀕臨大規模整合的邊緣了呢？

似乎還沒有。至少目前如此。

首先VC仍然繼續樂於給新老公司提供資金扶持。2017年的第一季度成長階段的大數據初創企業拿到了不少的可觀融資，其中包括：Looker（8100萬美元D輪），InsideSales （5000萬美元F輪），DataRobot （5400萬美元C輪），Confluent （5000萬美元C輪），Collibra （5000萬美元C輪），Uptake （4000萬美元C輪），WorkFusion （35M00萬美元D輪） and MapD （3500萬美元B輪）等。去年12月DataBricks也拿到了6000萬美元的C輪。

2016年，大數據初創企業的總融資達到了148億美元，佔到了全球技術風險投資的10%。

其次，自去年的大數據版圖推出以來，本領域的併購活動一直在穩步推進，但不是特別顯著，其中部分原因也許是未上市公司的估值仍然高企。入選2016大數據版圖的公司當中共有41家被收購（完整清單參見附註），這個節奏跟上一年是一致的。

另一方面，2017年剛開始就發生了一些大型的併購事件，其中包括Mobileye（被英特爾以153億美元收購），AppDynamics（被思科以37億美元收購），以及Nimble Storage（被HPE以12億美元收購）。

去年還有一個顯著的現象，那就是大型技術公司紛紛收購AI初創企業，尤其是那些解決水平問題、有著很好團隊的AI初創企業。其中包括Turi（蘋果）、Magic Pony（Twitter）、Viv Labs（三星）、MetaMind（Salesforce）、Geometric Intelligence（Uber）、API.ai（Google）以及Wise.io（GE）。當然，這種現象未必能持續太久，因為對AI的需求太旺盛了，人才實在是不夠用了。

第三，一些較大的大數據初創企業羽翼漸豐，正在成為獨立的上市公司。Snap無疑引領了技術公司IPO的復興，但是目前為止是大數據公司借了這股東風。

2016年只有Talend一家大數據公司上市，但2017年大數據公司已經呈現出爆發之勢。其中Mulesoft和Alteryx已經上市並且表現不錯，而Cloudera也即將上市，其最新估值（41億美元）與收入（2.61億美元）之間的差異將延至「獨角獸」估值現象的成色。另外，MapR以及定位智能公司Yext也已經在排隊等待了。

下一個會是誰呢？也許是Palantir這個超級獨角獸。這家多年以來保持神秘的公司已經公開表達了上市的興趣。其最新估值達到了200億美元，如果上市的話必將引起轟動。

雲大戰

雖然大規模併購尚未出現，但業界的另一股趨勢值得注意，這就是「功能性整合」，這種現象在雲端尤其顯著。一些關鍵的玩家正在通過自研產品和開源計算引擎的實現逐步構建「大數據+AI」的基礎構件，面向眾多客戶群提供其所期盼的「一站式」的服務。

AWS在產品發布的速度和幅度方面繼續給人留下深刻印象。目前AWS幾乎提供了大數據和AI方面的所有服務，包括分析框架、實時分析、資料庫（NoSQL、圖譜等）、商業智能以及日益豐富的AI能力，尤其是深度學習方面的能力。按照這種速度發展下去，AWS產品幾乎就要把大數據版圖的所有的基礎設施和分析細分領域都佔據了。

加入雲大戰稍晚的Google一直在積極開發廣泛的大數據產品（BigQuery、DataFlow、Dataproc、Datalab以及Dataprep等），並且把AI視為跨越式發展的殺手鐧。在AI方面Google去年做了很多事情，包括推出了新的翻譯引擎，聘請了李飛飛和李佳領導新成立的Cloud AI and Machine Learning部門，推出了視頻識別的機器學習API，並且收購了數據科學家社區Kaggle。

其他大型的IT供應商，比如微軟、IBM、SAP、Oracle以及Salesforce等也在努力推出大數據產品（包括雲端和本地）。除了技術自研和進行收購以外，這些玩家還越來越重視通過合作來打造生態鏈，其合作的重點是手上有數據的公司以及有「頭腦（AI）」的公司。IBM與Salesforce的合作以及SAP與Google的合作就是值得注意的案例。

用企業IT的行業標準來看，雲供應商還比較小，但是其不斷膨脹的野心（其中包括從企業棧底層的IaaS嚮應用發展的企圖）與企業數據逐漸向雲端遷移的趨勢結合，將打開龐大的企業技術市場大門，與傳統IT供應商展開激戰，而大數據和AI將是核心戰場。

2017數據生態體系概覽

基礎設施

去年的許多趨勢今年仍將延續，比如流處理技術，這方面Spark目前是主宰，不過像Flink這樣的有趣競爭者正在出現。此外，還有以下一些趨勢：

SQL正式回歸

在給NoSQL當了10年副手之後，曾經的霸主SQL資料庫正式吹響了回歸的號角。Google最近發布了Spanner資料庫的雲端版。Spanner和CockroachDB（Spanner的開源版）都提供了可行的、強一致性的、可伸縮的SQL資料庫。Amaozn推出了Athena，跟Snowflake等產品類似，這是一款SQL數據引擎，可直接查詢S3下的數據。Google BigQuery、SparkSQL以及Presto等在企業逐漸獲得採用——這些都是SQL產品。

數據可視化

與公有雲採用相關的一個有趣的趨勢是數據可視化。舊的ETL處理需要轉移大量的數據（而且往往要建立冗餘數據集）並且建立數據倉庫，而數據可視化可以在數據保持不動的情況對其進行分析，提高了速度和敏捷性。許多下一代的分析供應商現在都可以同時提供數據可視化和數據準備服務，並讓客戶可訪問存儲在雲端的數據。

數據治理與安全

隨著大數據在企業側走向成熟，以及數據的多樣性和體量的不斷發展，像數據治理這樣的主題也變得日益重要。許多公司已經選擇了「數據湖」作為把所有數據收集起來的手段。但除非你知道裡面有什麼東西，並且能夠訪問到合適的數據進行分析，否則的話數據湖再大也沒有意義。但是想讓用戶方便地找到想要的東西同時管理好許可權並不容易。除了數據湖以外，治理的另一個集中的主題是以安全的、可審計的方式為任何人提供對可靠數據的便捷訪問。Informatica、 Collibra、Alation等大小供應商提供了數據目錄、參考數據管理、數據字典以及數據幫助台等服務。

結論

通過大數據與AI的黃金搭檔，我們正在進入大數據技術的「收穫」階段。其潛能將非常巨大。隨著核心基礎設施不斷走向成熟，以及在AI推動下應用側的爆發，2017年的大數據（以及AI）生態體系將開足馬力，駛向光明的未來。

掃碼進入知識分享社群

不錯過任何乾貨

微信推送意猶未盡？

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！