地平線聯合創始人兼副總裁黃暢：做AI計算平台的地平線要有邊界感 | CCF-GAIR 2019

雷鋒網按：7 月 12 日至 7 月 14 日，2019 第四屆全球人工智慧與機器人峰會（CCF-GAIR 2019）於深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智慧與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智慧和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智慧領域極具實力的跨界交流合作平台。

「行業把我們分類到AI晶元公司，但我們其實對自己的定位是比晶元稍微大一點的，我一直想說我們是技術平台類型的公司，軟體和硬體結合在一起」，在2019 第四屆全球人工智慧與機器人峰會上，地平線聯合創始人兼副總裁黃暢如此做闡述。

7月13日舉辦的AI晶元論壇上，黃暢做了題為《打造極致效能的AI計算平台，構建安全、美好的智能世界》的主題演講。

在演講中黃暢表示，地平線希望定義真實的AI晶元性能，傳統晶元性能指的是PPA，包括Power，Performance，Aera（性能、功耗、面積)），現在比較主流的是指標是TOPS/Watt和TOPS/$，能效比和性價比都是用戶所關注的。演算法不斷演進，器件的利用率由架構和編譯器決定，架構把演算法轉化為相對架構而言最優的質量、序列和執行模式。地平線的核心是演算法+晶元聯合優化，兼顧靈活高效架構服務經典和未來演算法設計。

「地平線努力做到能夠更好地預測、把握、選擇未來真正重要的AI演算法的趨勢，並且把演算法、發展的趨勢進行拆解、融入到架構中，使我們預先將未來可能成為主流的，最有效的演算法提前考慮到計算架構中，這點非常重要」，黃暢提到。

作為AI晶元獨角獸企業，黃暢在接受採訪中屢次談及「邊界」。數據、AI模型和設備形成一個閉環，這個閉環結合在一起高速的循環，快速推進AI的技術發展和商業化落地，在此過程中，如何找到讓專家、開發者、AI工程師等不同角色都能找到舒適區，將開發模式平台化至關重要，地平線希望做一家平台公司。

生態或者被生態，對地平線來說是一個不再需要猶豫的問題。

平台公司首要思考的就是平台的深度和廣度，黃暢對此已有成熟的判斷，平台核心競爭力在於技術整合，從演算法到架構，再到後端的整合，技術鏈路越長整合優勢越大。

「但同時我們也要注意整合也不能無邊無界，你始終要去判斷你的核心競爭力在哪，外延是哪些，什麼時候外延會成為你的主要矛盾，從而也把它囊括到核心競爭力裡面去，因為有很多技術棧其實是應該交給行業的上游或下游解決。所以也要有邊界感，自知之明，當然這個東西是動態變化的，跟技術、整個產業的發展、企業自身能力的發展都有關係」。

通用晶元和專用晶元並軌發展，趨勢如何發展是所有行業人士關心的議題，黃暢認為，通用晶元和專用晶元各有各的機會，而且都在向中間靠攏，比如通用晶元也會通過專用的架構增強它本身的競爭力、能效比和性價比。

「通用晶元和專用晶元大致上由各自的出發點逐漸會收斂，當然這個過程中就是合久必分，分久必合，可能在某些歷史市場上又會走的非常專用，這也是完全有可能的。」

地平線聯合創始人兼副總裁黃暢

以下是黃暢演講全文，雷鋒網進行了不改變原意的編輯：

黃暢：最近經常來CCF，我的標題是《打造極致效能的AI計算平台，構建安全、美好的智能世界》。

著名的Gartner曲線大家都很熟悉，Gartner曲線顯示AI的痕迹，語音識別之後一發而不可收拾，後來出現了很多AI的技術和應用，有的逐漸從爬坡出現，有的迭入谷底，有的在成熟期發展過程中。

這是2018年8月份發布最新一期的Gartner曲線，列舉十項AI技術，第一次明確提出了AI的普惠化。這說明經過這麼多年的洗禮，大家逐漸形成共識。AI的技術和催生、支持的產品未來必將在各個層面上深刻地影響我們的社會生活，AI是圍繞數據的計算和處理，尤其是智能層面處理產生的。2025年，所有數據里將有超過25%是實時數據，其中95%以上是來自於IoT終端。到2025年，全球數據總量里有20%是與生產、安全密切相關的數據。我們如何更好、更快、更安全地處理這些數據成為重中之重。

今天上午的專場是5G和AIoT，5G技術的產生使得邊緣計算成為一種可能或是迫切的需求。對於5G技術而言，其實它非常需要MEC多接入點的邊緣計算，它是建立在5G基礎上的重要應用，缺乏這種應用，5G技術的推廣和普及是缺乏拉力的，這句話英特爾也說過。

邊緣計算會破解AI物聯網哪些核心難題？每輛自動駕駛車輛每天產生600-1000TB的數據，和2015年整個互聯網產生的數據是一樣多的，因為現在每輛自動駕駛車有十多個攝像頭，不止一個激光雷達，攝像頭都是高解析度、高清、高幀率的。邊緣計算的核心難題是在於如何提高計算的可靠性，讓它在離線時可以正常運作，安全、合規滿足隱私的要求，任何數據必須經過脫敏處理才可以上傳到雲端。

數據傳來傳去，不管是有線還是無線，從成本功耗和技術的架設來看，成本並不低，5G的技術雖然破解邊緣的傳遞，大概幾百米範圍內的傳遞，沒有改變主幹網的帶寬，會極大吸納數據網路，很快會在5G基站附近產生數據的堰塞湖，必須進行快速的計算、處理。把裡面非常有意義的部分上傳到雲端，這是有效的數據壓縮方式。

邊緣計算也具有部署靈活、高效協同的特點，最近有一個比較熱的詞叫做「車路協同」，自動駕駛按照特斯拉的路徑，依靠車本身的能力推廣的話，這可能也是L5級別自動駕駛的必由之路，坦率地說，目前L4自動駕駛在現實環境中還要限制車輛運行的環境和地域，在所處的區域布局路端的改造，可以大大縮短自動駕駛投入規模化運營的時間，這裡也能體現出邊緣計算在端上，比如說自動駕駛或是自主機器人的高效率協同。高實時計算減少反應延遲，對於自動駕駛來說毋庸置疑是必要的條件。

傳統只有一個端、一個雲，所有的數據都從端到雲上，5G的發展讓邊的計算成為一個新的變數，其實我們可以看到，邊緣計算必將帶來商業範式的轉換，包括現在的運營商、傳統的設備商，其實在邊緣計算這塊他們都看到蘊含巨大的商機，而裡面技術的變革也會非常深遠，因為它兼具傳統的端和雲側的特點。

我們再看一下AI普惠化和民主化的背後，數據計算催生巨大的能源消耗。舉一個例子，2017年全國做過一個數據統計，全國有很多中小的數據中心，遍布在各處，比如在我老家貴州，那邊水電、煤電很豐富，有很多的山洞，氣候涼爽特別適合建機房。2017年中小數據中心消耗電量比三峽大壩的發電量還多，等量的碳排放量甚至比民航中心的碳排放量多一倍，兩倍於民航的碳排放量，這是很恐怖的數據。

不僅僅是中國，全國各地也在大規模興建數據中心，像Facebook在海底修數據中心，最大的數據中心將座落在北極圈，功率超過1000兆瓦。做AI的企業，不管是做演算法、應用、晶元的都要承擔一些社會責任，未來會有巨大的AI計算需求，舉個例子，我們看Google前段時間說，他們訓練非常牛的模型，進一步用NANS自動搜索的技術，調用上千台GPU跑兩個月，找了很好的結構，把機器翻譯的模型，就是我們看到正在實時翻譯的模型推到極致。但是為了訓練這個模型大家知不知道消耗多少電？換成碳排放量相當於五輛小汽車一年的排放量，僅僅訓練一個模型訓練一次。如果把模型部署出去進行推理，隨著時間的增長，它的能耗是百倍、千倍的增長。我們不能忽視享受GPU的集群訓練、推理背後巨大的能源消耗。

我最近看到一個報道，人類社會這些年來沒有辦法迴避的是二氧化碳的碳排放量急劇增加，拉到幾十年的範圍來看，有人說是在「自掘墳墓」，所以這是我們的社會責任。

地平線要做什麼？我們想定義真實的AI晶元性能，這個和功耗、成本息息相關。傳統的晶元性能，做晶元很也的都知道，PPA，Power Performance Aera，比如說一秒鐘執行多少指令？現在比較主流的是，對於AI晶元每瓦有多少計算。（還有）TOPS/$。不到10%是我們自己測的，往往被DDR帶寬Block住。我們拿到TOPS/$的利用率，大概50%還是80%。

我們還要看TOPS多大程度上轉化為AI的性能，典型的就是演算法處理速度和精度，或是在單位時間內以高的準確度處理多少數據？這些東西加在一起才能得到真正的AI性能，TOPS產生多少AI的Performance，演算法在系不斷地演進、數據不斷地增大，做這麼多的承壓計算，能多處理多少數據？或是能提升性能多少？而器件的利用率，是由架構和編譯器決定，架構和演算法，把演算法轉化為架構而言最優的質量、序列和執行的模式，Performance是地平線關注的核心，我們的核心是演算法演進、架構同行。

下面是演算法的演算法演進的時間軸，時間不斷往前進，輕量化的演算法達到更好的精度，相同的計算量我們在提升精度和處理的速度，不可迴避的是，我們把演算法應用在傳統的計算架構上，傳統的計算架構沒有充分考慮到計算的變化、演算法在改變計算的模式，計算架構沒有考慮好，演算法帶來計算模式的變遷會顯著下降。

地平線努力做到能夠更好地預測、把握、選擇未來真正重要的AI演算法的趨勢，並且把演算法、發展的趨勢進行拆解、融入到架構中，使我們預先將未來可能成為主流的，最有效的演算法提前考慮到計算架構中，這點非常重要。頭兩年大量的AI處理器集中優化3×3卷積，用看上去很美好的方式做，帶來的後果是沒有把握演算法的發展趨勢，3×3的稠密卷積正在被拋棄，未來的發展方式會顛覆過去最優的發展模式。針對當前主流演算法設計的計算架構，在目前演算法快速演進的時代里，等到你真正拿出來，一年兩年以後很容易被淘汰掉，就是因為低下的利用率。傳統的GPU用相對傳統的方法做，他發現新的演算法部署上去以後也提升不了精度。

我們特彆強調演算法和晶元的優化，兼顧靈活性和通用性，第一要務還是追求極致的能效比和性價比。有很多東西要做，並不僅僅是演算法和架構這兩件事情，還有很多它們的編譯器和外延。比如說架構設計需要考慮未來重要場景中的關鍵演算法，我們要去實驗、探索、判斷，包括也跟業界廣泛的交流，共同定義未來重要場景是什麼、未來重要的關鍵演算法是什麼。

產品驅動的思路進行敏捷的架構迭代，架構本身是一個設計，它可以像軟體一樣進行快速的迭代。計算架構的實現技術涉及到更偏軟體的，現在比較流行的HLS技術，現在已經被大家用於快速迭代的架構，甚至晶元的模式，我們首重效率兼顧靈活性，架構、演算法和連接他們的編譯器，比如說精巧片上存儲器、運算元彈性張量核、模型結構調優、可編程流處理架構、運算元晶元聯合優化、精簡指令集設計，我是做演算法出身，我和架構師有很深入的討論，我強烈的訴求是能讓軟體做的事情儘可能讓軟體做，提供無與倫比的靈活性，這使得我們的編譯器有很大的空間做後續的優化，甚至滿足我們設計晶元上沒有看到的可能性，這一點非常重要，在高速變化的場景中。

這是一些具體的例子，左邊的圖是同樣的兩個晶元處理大圖小模型，如果我們不做專門的優化，按照比較傳統的方式，類似GPU的流處理，發現它的幀率200多兆，被DDR的帶寬限制住，只有34%。如果我們通過大量的拆分、多層融合，通過各種各樣的強大機制，各種各樣的內部架構設計特點留給編譯器巨大的空間去優化，我們就可以把它的利用率提高到84%，幀率提高三倍，帶寬下降了一個數量級。我們的晶元面積很小，片上的存儲和很多AI晶元的片上存儲相比不是特別大，甚至還是偏小的。正是基於非常軟體的推動、驅動的設計，留給了軟體、編譯器巨大的空間，讓我們的硬體效率非常高。

再舉一個具體的例子，我們用晶元在City Scapes做2048×1024，19類，像素級別語義分割，200多瓦的GPU上可以做到74.8%的精度，速度8毫秒，單晶元的功耗上百瓦，晶元面積400多平方，如果砍掉GPU不用的話，這個東西起碼有100平方左右，考慮各種方面，起碼有效的在100平方以上。

這會產生什麼樣的結果？圖中展示的，同時做檢測關鍵點、分割，而且一個晶元支持四路，這是我們的標準360度視覺感知方案，12個攝象頭，4個魚眼，8個正常的，提供豐富的視覺與感知，這個已經是標準套件，是我們的Matrix自動駕駛計算平台，獲得了很多獎，包括CES等很多機構的獎，成功推到海外頭部的車廠，已經進入量產階段，作為自動駕駛套件視覺感知的標準模組，這是非常成功的產品。GPU跑這塊東西，一塊GPU通常搞不定，我們只用三塊晶元，比GPU低一個數量級的晶元、低一個數量級的成本就可以解決這個問題。

這是另外一個case，技術可以用於三維的建模，完全視覺的建模，在非常低功耗做實時高速的三維建模。初看圖的時候會感覺是激光掃出來的圖，前置攝像頭看前面的畫面，就像行車記錄儀一樣，可以對三維場景進行高精度的建圖，這項技術我們和國外的廠商也在合作，已經進入規模應用的階段。

前面講了很多演算法和晶元的變化，僅僅有這些還是一種潛能，還需要讓人更方便地利用起來。軟體開發是有質的變化，1.0時代我們更多是通過人們理解規則，把複雜問題拆解成很多子規則，通過差異化的模型描述它，拆解開來去解決。軟體開發的時代已經變成數據驅動，只需要針對問題採集數據進行標註，剩下的事情，關於怎麼拆解、建模都可以交給機器學習，特別是深度神經網路的模型、方法。這個東西會帶來軟體開發翻天覆地的變化。

這是Reference，要對接主流的框架，針對我們的晶元去進行量化、高效的訓練，測試、分析最後部署在我們的晶元上，這是一個開放的平台，還支持開源的方向。

數據、AI模型和設備形成一個閉環，這個閉環結合在一起高速的循環、快速的推進AI的技術發展和商業化落地。我們經常會談識別好，什麼是識別好？晶元長期來講做到識別好也非常難，如果我們將工具鏈組合好，可以大幅度降低開發者的數目，降低開發者的時間，極大擴大開發者的規模。

右邊是傳統工具鏈，只有專業的專家可以應用起來，但它足夠的靈活、足夠的底層，可以解決各種各樣的問題，由於開發者人群受限，註定資源瓶頸在夠資格、有足夠水平的AI開發工程師，左端是封閉的SQL，它只能針對一些高頻的專門場景進行打造，它的應用場景非常熟悉，所以我們要找到適中的、門檻不高但是適用面足夠廣的開發模式，把這樣的開發模式變成平台化的工具賦能整個行業。

賦能萬物讓每個人的生活更安全、更美好是地平線的使命，也是我們創立這家公司的初衷。這張圖從上面到下面可以看到碎片化的場景，智慧城市、智慧商業、自動駕駛、服務機器人、腦機介面，中間是多樣的AI計算技術。從人的智能順序可以分為感知、建模、預測、決策、認知，底下支撐的是通用的AI計算平台，有硬體、晶元、軟體、工具鏈、標準演算法。地平線定位技術賦能，不碰數據，不做應用。我們提供超高性價比的晶元，具有極致的功耗與效率，非常開放的工具鏈和演算法模型樣例，我們關注自動駕駛和AIoT，同時也加入生態的開源社區，加速AI的賦能。

這是我們新提出的口號，「AI ON HORIZON」，我們希望打造面向整個產業界的通用AI應用平台，賦能我們的客戶，讓AI的技術可以更好更早地普惠化、造福大家的生活，Journey Together是我們莊嚴的承諾，謝謝大家。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！