從熱門微博到自動駕駛,深度解析人工智慧四大案例
3 月 5 日,「人工智慧」繼 2017 年政府工作報告中首次出現後,今年再度被列入政府工作報告正文,而這次報告進一步強調了「產業級的人工智慧應用」。可預見的是,人工智慧不再是被各實驗室束之高閣的黑科技,不僅在中國,世界範圍內的人工智慧產業將會迎來聯動和爆發。
但如何將人工智慧應用在業務上,目前仍有相當多的企業處於內部封閉實踐中,InfoQ 嘗試聯繫及遊說了不少國內外知名互聯網企業,有幸邀請到了 Microsoft、Google、Facebook、IBM、Netflix、Pinterest 等國外一線企業的知名架構師,與來自國內諸如騰訊、阿里、百度、網易等互聯網巨頭的技術專家,前往ArchSummit 全球架構師峰會分享各自核心架構的實踐經驗。
個性化推薦案例:熱門微博
新浪微博每天有上億條內容產生並在萬億級關係的社交網路上進行傳播,其中熱門微博是用戶基於興趣閱讀微博內容的信息流產品。熱門微博能夠大幅降低用戶使用微博的閱讀成本,並有效提高用戶在線時長,但背後是如何利用人工智慧技術做到精準推薦的?
此次峰會邀請了新浪微博演算法總監朱紅壘前來分享主流前沿機器學習技術在熱門微博中的應用成果,分享大綱如下:
新浪微博及熱門微博介紹
個性化推薦引擎框架:基礎層、推薦層、排序層
特徵挖掘與特徵工程:
超短文本內容特徵構建
超大規模關係特徵提取
大規模實時協同推薦
大規模多目標機器學習排序:
千億級排序模型
多目標排序模型
深度學習在推薦場景的應用
效果總結和未來技術規劃
朱紅壘,2010 年加入新浪微博,現任新浪微博演算法總監,負責微博興趣流技術研發,曾負責建立微博大數據系統,目前已成為微博用戶產品和商業產品的基礎數據服務;曾負責打造微博搜索推薦類相關產品研發,包括熱搜榜、相關搜索、相關用戶等。主要技術方向為機器學習、推薦系統、自然語言處理、大數據等。加入新浪微博前,在阿里巴巴雲計算公司從事 NLP 與數據挖掘相關研發工作,相關成果目前仍運用在阿里底層數據計算的基礎構件中。
自動駕駛案例:自動駕駛中的計算機視覺技術
自動駕駛是機器學習的集大成者,有廣泛的市場和應用前景。攝像頭作為性價比非常高的感測器,在自動駕駛系統中起到了非常關鍵的作用,如何高效穩定的利用攝像頭完成環境感知任務,是極具挑戰的工作。通過以攝像頭為主的基於計算機視覺的方案,一套低價格,高性能的自動駕駛系統可以大幅度提高用戶對安全性的需求。
同時,隨著機器學習的應用,尤其是卷積神經網路最近有了長足的進步,在一定程度上都促進了計算機視覺技術在自動駕駛領域的落地。此次峰會邀請了前特斯拉 Vision 深度學習負責人徐雷前來分享計算機視覺的關鍵技術研究內容,並向外界展示在基於深度學習的障礙物檢測、識別跟蹤等多個領域的產品 demo,大綱如下:
自動駕駛系統介紹;
完全依靠攝像頭 + 計算機視覺的局限性;
計算機視覺在自動駕駛系統中的應用:
圖像處理
一般環境感知
極端條件下的環境感知
未來的挑戰
徐雷,現任紐勱科技 CEO,前特斯拉 Vision 深度學習負責人,研究結果直接彙報 Elon Musk,並應用於特斯拉量產車型 Autopilot 2.0 系統。在頂級期刊和國際知名會議發表 20 多篇論文,擁有 3 項已授權的美國專利。具有豐富的計算機視覺經驗,過去曾從事於高通,Intuitive Surgical,西門子。
Google 研究院案例:深度學習在大規模推薦系統中的應用
隨著電子商務和在線服務越來越普及,海量在線資源很多時候多到讓用戶無從選擇,因此推薦系統的質量變得至關重要。傳統的線性回歸方法在很多系統里應用廣泛,只不過,隨著深度神經網路在圖像視覺領域的突破,很多研究人員開始利用神經網路搭建深度推薦系統,推薦質量顯著超越傳統基於線性回歸系統,同時也簡化了以往搭建推薦系統所需專家知識 (domain knowledge)。
深度推薦系統被廣泛應用於 Google 多項面向用戶的產品,一次又一次的突破質量瓶頸。此次峰會邀請了 Google 研究院 Dekun Zou 由淺入深探討如何構建基於深度學習的推薦系統,並討論最新的技術發展。
回顧傳統的線性回歸方法
探討利用深度學習的優勢
信號類別
場景信號 (context signal):當前場景相關的信息
用戶信號 (user feature, user signal):用戶特徵,用戶歷史信息,
物件信號 (item signal, item features):排序模型物件的特徵
兩步定製化推薦
深度挖掘,生成候選人列表 (deep retrieval, candidate generation)
混合人工生成的候選人,最終排序 (ranking)
模型訓練模式
離線,根據系統日誌 (適用於大系統,海量用戶)
在線,強化學習(小量用戶,快速迭代)
user vector, item vector (swivel model)
預生成的用戶向量降低推斷延時
超大規模物件向量的學習(稀疏問題)
損失函數的構造 (loss function)
Dekun Zou,負責研發 Google 多個基於深度神經網路的推薦系統,包括 Android 應用商店、Google 廣告排名。加入 Google 研究院之前曾就職於 Apple,再之前供職於亞馬遜雲計算(AWS)。具有 10 多年研究經驗,涉獵機器學習、計算機視覺、視頻以及圖像處理諸多領域。在國際雜誌和會議上發表了 20 多篇論文,也是 20 多項美國專利的主要發明人。
Facebook 案例:機器學習在安全性和完整性方面的探索
隨著電子商務崛起、雲計算的爆發,以及社交網路的大面積普及化,使得商業業務創新和開展越來越容易,但信息安全和商業誠信問題卻不斷增加,面對每天超過 PB 級的不平衡和模糊大數據,實時機器學習和解決方案面臨著巨大的挑戰。這樣的要求在各個領域越來越多,促發了許多突破性的研究成果和應用。
此次峰會上,Facebook 軟體開發經理徐斌會帶領大家快速瀏覽一些安全問題,然後講述一下機器學習平台,重點講解能夠處理當下棘手問題的相關先進技術和解決方案,以及一些真實的應用效果。最後會分享幾個最近機器學習在安全應用上的特別案例,大綱如下:
總覽幾個電商、雲計算和社交網路出現的安全問題
交易欺詐和濫用
雲計算安全
廣告及其他商業誠信
機器學習平台和架構
離線構建,在線部署,反饋機制
數據和特徵工程
平行 v.s 垂直模型結構
傳統分類 v.s 深度學習
挑戰和切身教訓
非平衡數據
處理模糊性:半標籤和無標籤
冷啟動問題
應用 1: 機器學習在交易風險管理方面的實踐
應用 2: 機器學習在雲安全方面的實踐
徐斌目前在 Facebook 帶領 Business Integrity 的機器學習團隊和機器平台架構團隊,主要任務是確保用戶和所有商業業務之間的誠信溝通。這些商業業務存在於廣告、市場、社團 / 群組、粉絲專頁等等。在進入 Facebook 前在微軟擔任首席機器學習工程經理,帶領技術團隊開發雲安全解決方案,實現對異常現象的檢測,並保護客戶在雲中的身份、數據和應用的安全。再此前在 Amazon 工作 10 年,率領多個應用科學家團隊處理交易風險管理工作。徐斌在美國紐約州立大學石溪分校獲得計算機科學碩士學位和統計學博士學位。


※淺析eBay聯盟營銷的上下文廣告機制
※AI無法培養出老舍,卻能讓頂級名師不再是稀缺資源
TAG:AI前線 |