對話知乎王雨舟：大數據時代，人都在「裸奔」嗎？

從大數據時代開啟的第一天起，我們的生活註定被數據灌滿了。這是一個人人都需要隱私但又不懂得在乎和保護隱私的時代，幾乎所有人都在發布數據，把它們掛在網上或傳播到公共平台。人們既向外發散，又向內吸收，自覺或不自覺地收集各種各樣的數據信息。——《大數據在中國》

人們不禁發問：大數據時代，人都是在「裸奔」嗎？

知乎，作為一個知識社交平台，目前擁有8400萬註冊用戶，每天產生的數據量多得驚人。這些傳來傳去的信息中又有誰清楚到底隱藏了多大價值呢？知乎無疑是上述問題的最佳答主之一，這也被筆者列在了本次採訪問題之中，而這位答題者正是知乎大數據平台架構師王雨舟！

王雨舟

王雨舟，在大數據平台以及實時計算上有豐富經驗，現任知乎大數據平台負責人，帶領團隊驅動知乎業務發展。知乎增長團隊早期負責人，對增長方法論以及黑科技有深入理解與實戰經驗。曾任豌豆莢高級研發工程師，主要負責大數據分析平台研發，知識圖譜，實時計算平台等，對技術熱愛並樂於交流和分享，擅長的技術包括：Hadoop，Spark，Druid，Akka等。

大數據時代，人都是在「裸奔」嗎？

大數據具備3V特徵，即速度（Velocity）快、容量（Volume）大和種類（Variety）多。大數據時代，企業可能會通過數據分析結果輔助決策，這就會出現一個」數據挖掘「問題，數據從哪裡來呢？

王雨舟認為，數據的價值並不與數據規模直接相關，一家企業是否可以從數據中獲取有效洞察取決於這家企業對數據的重視程度。

知乎過去幾年使用谷歌的GA，一個以頁面和會話為核心的分析引擎，由於其無法支撐公司的數據體系，知乎在2016年1月份決定開始自研大數據平台。起初，知乎對該平台的定義就不是傳統的BI系統或數據分析系統，而著重於整個數據體系的搭建，將數據貫穿知乎整個生產環境。

根據知乎的業務場景對數據源建立數據模型，在此基礎上搭建數據平台，進一步做數據挖掘及個性化推薦等。雖然重視數據，但知乎目前所獲取的所有數據都是用戶授權可公開的信息，並未獲取用戶隱私數據。

談到這個問題，王雨舟表示，在這個數字化的時代，很多信息都在雲上進行處理，想竭力保護個人隱私變得難上加難。企業應該重視大數據安全問題，因為數據泄露會對用戶造成不必要的損傷。其次，做好大數據容災和備份，加強許可權管理，做好內部的數據安全隔離。對個人而言，也應該提高隱私保護意識。

穿好衣服，大數據平台初學者該如何向前奔跑？

知乎目前的大數據平台架構用到了行業內的熱門引擎Druid，以實現自定義多維分析和留存分析功能，做到實時數據分析，自定義指標、維度、報表、文件夾、Dashboard，任意 Hive 表導入平台做可視化分析等。同時，Kudu、Spark、Hadoop以及Growth Hacker等都在知乎使用範圍之內，與這些技術打交道的這數年裡，王雨舟也有了一些自己的心得，希望對該領域的初學者有所幫助。

面對隨時可能冒出新框架、工具的大數據平台領域，初學者往往是一頭霧水。王雨舟認為，該領域的入門門檻並不是很高，但要想深度理解，一定要結合大量實踐。初學階段可以先從比較常見的框架入手，比如Map Reduce、Spark等，各類框架之間其實是觸類旁通的關係。在實戰中學會解決bug，並總結經驗，循環往複，逐漸就可以認識到一個框架的本質。

採訪最後，王雨舟透露，自己平時也會逛逛知乎，回答一些領域內的相關問題。如果初學者在實踐過程中遇到問題，也可以在知乎上直接找到他，因為他的賬號是實名制的喲！

作為今年全球獨角獸上榜企業之一，知乎與世界分享著知識、經驗和見解。我們期待未來可以看到更多知乎在大數據平台架構方面的分享以及實踐，讓更多志同道合的技術人受益！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！