Intel+Cloudera,用BigDL玩轉深度學習

　　生活中無處不在的計算已經讓我們習以為常，從各種手機應用到交水電費，無處不在的「遠程控制」極大地方便了日常生活。除了這些與計算密切相關的應用，伺服器與存儲的下一步發展應該走向何方呢？人工智慧和大數據瞬間成為了新的「爆點」。

　　越來越多的企業希望藉助機器學習與深度學習，從海量數據中獲取切實可行的洞察以指導企業決策、創造更多價值。據了解，英特爾在數據分析與人工智慧領域深耕已久，藉助性能強勁、安全可靠、且能滿足細分應用市場多樣化需求的計算、存儲和網路基礎設施平台。

　　新至強給深度學習帶來活力

　　作為英特爾產品組合中的重要部分，最近發布的英特爾至強可擴展處理器不僅實現了性能、可靠性和可管理性方面的全面提升，也為企業提供了豐富的平台功能創新。據相關資料顯示，在深度學習領域，相比3年前未經優化的伺服器系統，英特爾至強可擴展處理器結合可加快交付人工智慧服務的軟體優化，可實現113倍性能提升。

　　英特爾公司軟體與服務事業部副總裁兼系統技術和優化部門大數據技術總監 馬子雅

　　有了硬體的支撐，還需要軟體來優化，最近英特爾在人工智慧和深度學習領域與Cloudera展開了合作。英特爾公司軟體與服務事業部副總裁兼系統技術和優化部門大數據技術總監馬子雅表示：未來，我們還將持續創新、著力構建廣泛的生態環境，與Cloudera等生態合作夥伴建立更深入的合作關係，共同推動多元應用的開發，從而幫助企業實現業務上的變革和創新，驅動未來數據分析與人工智慧的進一步發展。

　　據馬子雅介紹，如果把上一代的伺服器遷移到新一代平台，據英特爾測試，大數據工作負載的基本性能可以提升2.7倍之多。而在與Cloudera合作方面，英特爾對Hbase 非堆存儲的讀操作優化後，性能提升5.6倍，這個優化被阿里巴巴使用，它在「雙11」的時候把HBase的Throughput提升了30%，吞吐量提升了30%，也是沒有增加任何硬體成本，純粹只是通過軟體優化來做到的。

　　談到人工智慧，馬子雅認為在硬體方面，Intel目的是希望給客戶多種選擇，而不是局限於某一種硬體，所以現在有至強、至強融核、FPGA，未來還會有Nervana的Lake Crest。

　　Intel帶來BigDL，玩轉集群管理

　　在深度學習的框架層面，把英特爾優化過的數學核心函數庫放到流行的深度學習框架裡面去，比如Neon、Caffe、TensorFlow、Torch、Theano等等，這些都可以放進去，最終來提升它們的性能，客戶可以直接使用這些優化過的深度學習框架。在應用程序層面，Intel跟SDK，就是Software Development Kit，這樣用戶可以比較簡單高效生成深度學習的解決方案，不需要太多了解底層具體的細節。

　　系統升級與遷移一直都是用戶關注的焦點，據馬子雅介紹，Intel很多客戶是從大數據的應用背景中過來的，如果大數據的這些客戶已經有了一個集群，包括已經在這個集群上構建了分析應用程序，這個情況下，他通常希望還保留那個集群，利用已有的集群做深度學習，但這樣一來會帶來更加複雜的管理問題。因此，基於開源的BigDL誕生了。

　　BigDL是在Spark的基礎上構建了分散式深度學習的框架，它將以往的深度學習框架同Spark結合之後，優勢主要集中在：第一，它本身的深度學習功能是與已有的深度學習框架功能，比如Caffe和Torch，是完全一致的。所以它深度學習的功能非常豐富，其實Intel在BigDL裡面已經有100多層的Implementation。

　　第二，它能夠無縫的跟Spark、Hadoop進行結合，與分散式數據、海量的數據進行結合。

　　第三，它可以非常自然地利用Spark的可擴展性做到數據並行，所以可擴展性是非常好的，能夠有效地在一個集群上做擴展。

　　第四，低成本，因為很多客戶不需要再去構建一個新的集群，可以利用BigDL在已有的集群上直接生成深度學習，所以成本非常低。

　　第五，在性能方面，利用英特爾優化過的數學核心函數庫通過多線性優化來提升它的性能，尤其是在至強伺服器上，性能表現非常出色。

　　深度學習發展潛力無限

　　Cloudera 聯合創始人兼首席技術官Amr Awadallah是一位技術大拿，他認為深度學習是很重要的趨勢，將擁有一個巨大的市場。但說到機器學習，實際上它的範疇要遠遠大於深度學習。在目前常見的場景中，比如預判性決策、規律識別、還有一些異常情況的檢測，這些都是需要用到英特爾CPU。也正是因為它的支持，才能夠人機器學習有了這麼長足的發展。

　　Cloudera聯合創始人兼首席技術官 Amr Awadallah

　　絕大多數的公司，包括Cloudera在內，需要認真最關注考慮的是如何使用深度學習這樣的技能和工具，來實現決策的自動化，因為決策的自動化才是最終要實現的目標。

　　Amr表示，在這個方面，英特爾和Cloudera還會繼續深度的合作，因為這個市場還會發展得越來越大。我們現在要應對和要處理的挑戰是如何使用數據來進行決策，如何來將深度學習作為一種工具和技能，服務於最終的通過數據實現決策自動化的終極目標。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！