從大數據架構師到行業人工智慧產品經理，助力公共安全是件很酷的事情

作者｜孟嘉

編輯｜小智

1

我的程序員發展道路，為什麼選擇創業公司

我在明略數據經歷了從研發人員，到架構師，技術經理，再到產品負責人的成長過程，也經歷了從深入研究技術到理解行業，將技術應用到行業真正幫客戶解決問題的過程。這個成長的過程讓我很興奮，我很想和大家分享一下。我認為首先應該找一份自己喜歡的工作，只有在做自己喜歡的事情，才會願意投入精力，才能不斷思考把事情做的高效。而在一個快速成長的創業公司能收穫很多，因為在創業公司的平台上往往限制回更少，做的越多，機會就越多，收穫也越多，能夠跟著公司一起快速成長，這也是我這兩年最深的體會之一。

很多同學都比較關心職業發展，或者通俗一點的說，選擇一個什麼樣的職業能實現財富。我想為大家分享一下最近讀的一本書，叫《黑客與畫家》。這不是一本新書，它的作者是一位哈佛計算機博士，他在書中的很多觀點或者預言都成為現實。他曾經在 2001 年寫到蘋果還沒有失敗，如果它能把 iPod 升級成手機，微軟就有大麻煩了，而蘋果公司的 iPhone 手機於 2007 年 6 月上市。

這本書中就提到了要致富，你需要兩樣東西：可測量性和可放大性。你的職位產生的業績，應該是可測量的。此外，你還必須有可放大性，也就是說你做出的決定能夠產生巨大的效應。所以如果你有一個令你感到安全的工作，你是不會致富的，因為沒有危險，就幾乎等於沒有可放大性。

2

大數據架構師的修鍊

我認為這些年實際的項目經驗積累對我的成長是非常重要的。從研究生階段專註的應用伺服器分布式集群方向，到後來工作中接觸到的高並發、高吞吐的網路應用。在加入明略數據前，我已經參與過幾個實際落地的大數據項目，也有過兼職創業的經歷，這些都讓我積累了軟體設計和研發的經驗。經驗對於一個架構師很重要，架構試錯的代價是很高的，作為架構師，既要見多識廣，從整體掌握，了解系統全局，又要深入到關鍵的細節，思考如何突破系統的瓶頸。

大家知道在大數據領域裡面可以利用的開源組件是很多的，比如計算框架有 MR、Spark，流式計算可以用 Storm、Spark Streaming、Heron，資源管理可以考慮 YARN 或 Mesos，KV 存儲文檔存儲可以考慮 HBase、Redis、Cassandra、MongoDB，SQL 引擎可以使用 Hive、Impala、Phoenix、SparkSQL 等。

每一個組件都要深入理解簡直是不可能任務。我也聽說過有人說所謂大數據架構師的工作就是把一些開源組件組裝成一個系統，我認為這種想法離架構師的實際工作偏差是很大的。架構就像蓋樓房打地基，地基不穩，隨著樓層的增高，遲早要出問題。架構師最先面對的是對系統需求的理解，這點非常重要，我認為在早期架構師一定要是和產品經理甚至客戶溝通最多的人。

此外，架構師從一開始就要考慮的問題有很多，舉幾個大部分系統都會碰到的問題，系統將來如何擴展如何平滑升級，如何處理高並發，如何設計存儲，如何對時間空間作出權衡。聽上去好像無從下手，其實也沒有那麼困難，我通常思考的第一個問題是有沒有自己做過的或者別人分享過的類似的成功架構案例。所以架構師的經驗是很寶貴的。我在最初接觸大數據技術的時候就經常參加現在的一些分享交流活動，去儘可能多聽一聽成功技術經驗，現在回想起來對我的幫助很大。

另外，我覺得至關重要的一點是，架構師要非常了解業務，不斷和產品經理溝通，作為 toB 產品的系統架構師，如果有機會也要不斷接觸最終用戶，理解需求。

3

為什麼要去做 To B 產品負責人

我覺得在這個市場上真正能深入行業的優秀的 To B 產品經理是非常稀缺的，養成周期也是比較長的，他需要在這個行業中不斷去接觸客戶，理解行業，進一步總結需求形成功能點。在 To B 創業公司往往最缺的就是這種既懂技術又懂業務的複合型人才。如果對行業理解不透，對客戶的需求理解不透，在產品上就會走彎路，這個代價是很大的，往往花了很大力氣，用了很多資源開發了一個在技術上很領先的功能，但對客戶卻沒有什麼幫助。我也可以很坦誠的告訴大家像這樣的坑我們是趟過的。

產品經理是對一個產品成敗的第一負責人，我渴望看到我可以推動一個具有先進技術產品能夠真正落地到一個行業，推動這個行業。所以這也是我從做技術到做產品的一個重要原因。從技術到產品並不意味著要放棄技術，恰恰相反，需要更加深入的從行業從場景方面了解技術，知道怎麼用技術的提升產品。我在明略數據也繼續做著我喜歡的架構師的工作，我也認為這對做產品負責人這個角色有很大幫助。

4

知識工程與行業人工智慧

我個人參與的明略數據的大數據關聯分析平台 SCOPA 產品主要應用在公共安全領域，公安裡面有很多警種，情報、技偵、網安等等，每個警種都有自己的數據，結構化的非結構化的都有，如何在這些異構的數據基礎上建立統一的大數據模型是面臨諸多挑戰之一。公安是典型研究像人這樣的實體和實體之間關係的行業，背後用到的核心技術是知識工程和人工智慧的相關的技術。

我們在與行業 - 企業客戶日常工作中，都會運用到知識工程這一套融合了自然語言處理、知識圖譜構建與存儲、知識檢索與推理等技術的智能平台，將知識管理與特定行業業務相結合，在業務運營過程沉澱和積累行業知識，並將知識應用於未來的業務中，形成行業智慧，幫助整個行業實現生產能力的跨越式提升。其中構成知識工程最核心的部分就是知識圖譜構建與存儲，就比如目前運用在公安行業的 SCOPA 這款產品的背後就存儲的是一張巨大的知識網路，我們把它叫做行業知識圖譜。知識圖譜這個概念最早由 Google 提出，主要是用來優化搜索引擎，當你搜索微軟的時候，旁邊會出現相關人物比爾蓋茨。

知識圖譜的發展也助力很多人工智慧場景的發展，我們目前生活中很多熱門的人工智慧場景背後都有知識圖譜技術，比如語音助手 siri，聊天機器人，智能問答等等。知識圖譜描述的是現實世界中的實體，以及實體之間的關係。知識圖譜的構建是一件有挑戰性的工作，主要就是進行實體和關係的抽取，裡面涉及到很多自然語言的技術與行業經驗規則。大規模知識圖譜的存儲同樣需要考慮很多因素，我們採用了混合的存儲模型，包括圖存儲，列存儲和索引存儲，來加速對知識數據的查詢。

我們在產品中也用到了很多人工智慧的技術。人工智慧的發展和大數據是分不開的。最近最火的深度學習在數據肥沃且可以歸納學習的領域發展飛速。

隨著人工智慧技術的發展，我認為在將來對於基本的機器學習問題的理解和開發能力會是程序員的基本技能之一。現在的開源框架對很多人工智慧場景已經支持的不錯，可以參考的文檔和相關書籍也越來越多。我身邊有很多剛畢業的同事在學校的時候就已經有機器學習的知識，也跟著教程開發過一些程序，比如一些簡單的分類器，進入工作崗位後面對實際行業問題後，特別是在有經驗的工程師帶領去完成一個真正的機器學習任務，就會成長的特別快。

我特別想分享給大家的是，將一個新興的技術帶到一個實際行業中去解決實際問題，往大了點說，當看到你的工作真正在推動這個行業的發展，提高這個行業的效率，那麼你的成就感就會被放大。結合大數據將人工智慧技術落地到行業，比如在公安領域，我們就可以做到用結合人工智慧技術的關聯挖掘分析平台輔助警察進行研判工作，讓警察辦案效率大大提高。這是一件很酷的事情。

作者介紹

孟嘉，明略數據技術合伙人，大數據關係挖掘分析平台 SCOPA 的總架構師與負責人。2014 年底加入明略數據，負責大數據關聯分析平台 SCOPA 的研發與架構設計，經歷了 SCOPA 產品從 0 到 1 的過程，見證一個新的產品如何一步步通過實際項目打開市場，並幫助公共安全和金融行業客戶解決實際問題。

今日薦文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！