英特爾戴金權：AI的訓練與部署需要統一的基礎設施架構來加速

智東西（公眾號：zhidxcom）文 | 軒窗

3月15日，由智東西主辦，AWE和極果聯合主辦的GTIC 2019全球AI晶元創新峰會在上海成功舉辦！本次峰會報名參會的觀眾覆蓋了近4500家企業，到會觀眾極為專業，其中總監以上級別佔比超過62%，現場實際到會人數超過1800位。

大會現場來自學術、投資、安防、晶元等多個領域的21位重磅嘉賓共聚一堂，系統的探討了AI晶元在架構創新、生態構建、場景落地等方面的技術前景和產業趨勢。

英特爾高級首席工程師、大數據技術全球CTO 戴金權

作為半導體行業巨頭的英特爾，在今天的峰會上，英特爾高級首席工程師、大數據技術全球CTO戴金權進行了主題為《Analytics Zoo：統一人工智慧與大數據》的演講。在演講中，他指出人工智慧訓練、部署中存在的數據存儲與多類數據流處理割裂的情況降低了工作效率，需要一個統一的基礎設施架構來加速AI的訓練與部署。

戴金權表示，針對上述現象，英特爾基於至強計算平台、傲騰數據存儲器，結合英特爾的雲服務推出了大數據分析與人工智慧統一平台Analytics Zoo。它可以將分布在Tensorflow、Keras、Apache Spark等不同深度學習框架上的數據整合到同一個工作流中進行處理，再將訓練結果無縫部署到雲端，統一的流程簡化了人工智慧演算法訓練與部署的流程，提高了效率。目前，英特爾的Analytics Zoo已經被美的、世界銀行等企業和機構的應用於相關項目。

附英特爾高級首席工程師、大數據技術全球CTO戴金權演講實錄

戴金權：謝謝大家，我是來自英特爾公司的戴金權。今天和大家分享一下英特爾是如何構建像Analytics Zoo這樣的大數據分析和AI平台，從而支持各種軟硬體的技術，以及與客戶、合作夥伴一起將這些創新應用到實際的應用場景中。

為什麼要這麼做？剛才我說到，我們在英特爾做了很多工作，包括像Analytics Zoo這樣能夠將大數據分析和人工智慧統一起來的平台，我們為什麼要這麼做呢？其實我們也看到了，在大數據分析，在人工智慧中，其實有一個很重要的點就是沒有一種解決方案是能夠解決所有問題的。

在英特爾我們一直致力於提供從端到端，包括設備端、邊緣、網路到數據中心的一個端到端完整的解決方案或者計算架構，比如像Movidius、我們的至強處理器、NNP這樣的神經網路處理器，構成了端到端的一個完整計算架構。其中我特別要提到，今天我們的至強伺服器作為通用處理器仍然是大數據分析和人工智慧的一個基礎架構，它包括了Cascade Lake、下一代的至強可擴展處理器、以及支持一些新的功能，包括了像傲騰這樣的數據中心級的持久內存，它們構成了一個非常基礎的、應用非常廣泛的大數據的人工智慧 大數據分析的技術平台。

在這個前提下面，我們如何在像至強這樣的一個基礎的人工智慧、大數據分析基礎的計算平台上面，利用Apache Spark等為代表的大數據分析框架在平台上構建人工智慧的能力呢？在這裡，我們在英特爾做了幾件事情。

第一，BigDL，這是我們英特爾開發並且開源的一款基於Apache Spark的分散式深度學習的框架。大家知道在業界，今天以Apache Spark等開源項目為中心的大數據處理分析的平台，從某種意義上已經成為業界標準。我們在這些大數據的平台上直接提供了一個原生的深度學習庫，能夠讓用戶直接在現有大數據框架如Spark等上面，可以運行深度學習的應用，同時對底層大規模分散式至強伺服器等硬體集群做了大量的優化。

在這個上面，對很多用戶來說，一個關鍵的痛點或者需求也好是如何能快速地從數據出發，最終將人工智慧 大數據分析應用構建出來。在這個基礎之上，去年我們開源了Analytics Zoo，這是我們基於Apache Spark上統一的大數據分析 人工智慧平台。它能夠無縫將TensorFlow、BigDL等一些深度學習的框架無縫地集成到端到端的大數據處理的一個工作流當中。

這個工作流或者流水線能夠分散式進行，這樣做對用戶的好處有幾個方面：

第一，對於大多數用戶來說，尤其在生產系統當中，基於Apache Spark這樣的大數據集群仍然是所有的生產數據以及包括大量硬體資源的聚集地，如何更高效利用這些生產數據以及這些硬體資源，能夠將新的人工智慧的應用支持起來。

第二，要構建一個工業級端到端的大數據分析 人工智慧應用，並不是說訓練一個模型就可以完成的事情，它是一個非常複雜的流水線或者工作流。從數據的收集、導入、處理、特徵的提取、各種模型的構建訓練，到最後的部署、推理等等，是一個非常複雜的工作流。我們能夠幫助用戶可以將這一個樣端到端的大數據處理分析加上機器學習的工作流能夠非常方便地構建出來，從而大大能夠提高了用戶的開發效率、部署效率和運維效率。

說了那麼多，下面用一個簡短的視頻，讓大家感性地認識一下我們在Analytics Zoo上面做的工作，以及它給用戶提供的好處。

大家看了這些視頻後，對Analytics Zoo會有一個感性上面的認識，下面來看一下它裡面一些具體技術上面的細節。剛才我提到了Analytics Zoo可以運行在一個大規模的分散式的集群上，底層會使用像TensorFlow，MKL-DNN等這樣的深度學習框架，上層給用戶提供一些高級的流水線的API用以構建端到端的應用，以及一些通用的或者常用的支持，包括對圖片、文本、時間序列數據等等。在這之上我們發現有很多應用場景有其共性，因此我們提供了非常多的內置深度學習模型，用戶可以將內嵌的模型嵌入到解決方案當中。

我們的目的是希望通過Analytics Zoo構建一個統一的大數據 人工智慧大數據分析平台，能夠幫助用戶開發部署深度學習、人工智慧和大數據分析的應用。舉一個例子，我們可以將TensorFlow和Apache Spark無縫地整合到端到端的流水線當中，讓TensorFlow無縫地接受Apache Spark處理的數據，同時對用戶透明，分散式地運行在大數據集群上。

此外，我們也提供了像基於標準的JAVA 、Python、Web Server、深度學習特別是視覺方面的神經網路加速，幫助用戶更方便地部署到Web Server等上面，幫助用戶更好地做模型和服務。此外，剛才我也提到，我們在裡面提供了一些神經網路，包括用戶參考案例，可以很方便地集成到最終的終端中去。

讓我們看一下實際的案例，看一下如何應用Analytics Zoo平台。這是我們和美的的一個合作，美的是一個非常大的電器生產商，它們利用工業機器人做非常多的工作。我們跟美的的合作方式是，使用英特爾的至強伺服器、邊緣設備構建一個對美的工業機器人生產流水線上的產品進行自動檢測的系統。

比如說，在我們的生產流水線上有非常多的微波爐或者空調正要下線，我們需要檢測這些產品是否合格，比如說有沒有貼標籤，螺絲有沒有擰上等等。我們希望通過深度學習神經網路能夠自動來做這件事情。比如工業機器人可以戴上相機進行拍照，照片可以通過數據處理，利用我們的神經網路檢測照片中的產品是否有問題。具體的技術細節我在這裡不展開了，在我們英特爾以及美的的網站上有一些具體的技術細節解釋，大家感興趣的話可以訪問下面的鏈接。

利用像Analytics Zoo這樣的端到端平台，可以用Apache Spark大規模對圖片進行處理，當流水線有非常多的圖片數據進來，我們用Spark進行大規模分散式處理。上面粉紅色的框代表了我們使用TensorFlow直接構建了一個深度神經網路的模型，我直接將Spark處理的大規模圖片數據接入到TensorFlow的模型當中進行分散式的訓練，當有了訓練好的模型以後，藍色的框代表Apache Spark裡面的一些模塊，這裡是在JAVA Web Server裡面，直接將模型部署在其上，可以實時發布到Web Server上，對它進行推理和判斷。在這個過程中，我們將Spark、TensorFlow這樣端到端的工作流直接在Apache Spark的平台上能夠整合在一個統一的流水線當中，從而大大提高了開發效率和生產效率。

另外一個例子是我們和寶信的一個合作，大家知道寶信是一個非常大的製造商，因此他們有很多的設備，我需要對這個設備進行維護或者要預測它是不是會有問題。這裡我們收集的數據是設備的一些震動頻率的數據，從某種意義上是一個時間序列數據，在每一個時間點上收集到它的振動頻率，我希望通過一些無監督的方式，在時間序列上能夠自動檢測出這個設備是否快要出問題，技術細節我不展開了。在時間序列上構建起一個相應模型，到最後的訓練，我們通過Apache Spark能夠很好地對其震動曲線同時進行報警。

後面還有一些例子，比如說像我們跟Microsoft Azure的合作，如何使用基於NLP的自然語言處理技術，對其客服系統進行優化。通過NLP界面，包括對文本進行分類，或者對問題和回答進行匹配，來提高客服機器人回答問題的能力。

下面還有更多的例子，時間關係不具體講了。這是我們跟世界銀行的合作，在AWS上面做的一些對世界銀行在各地拍攝的圖片進行分類和統計的工作，以及我們和Cray公司，通過Seq2Seq模型，把過去一小時的衛星雲圖做一個序列，輸入到模型裡面，從而對天氣進行短期預測。

我們有非常多的用戶和客戶在Analytics Zoo大數據分析 人工智慧統一平台上構建起他們的各種場景應用，能夠非常方便、高效運行在其現有的大數據集群上。這也是英特爾希望做的事情，我們希望通過能夠構建一個統一的大數據分析 AI平台，能夠將各種不同的技術，包括像大數據的技術，以及像TensorFlow、BigDL等技術整合到端到端的平台上，從而大大提高客戶開發部署和運行的效率。

Analytics Zoo是一個開源的項目，歡迎大家了解使用，並且給我們更多的反饋。謝謝大家！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！