搜狗搜索助力世界最快計算機 推出超算圖計算系統

2018年3月，搜狗搜索聯合清華大學計算機系、國家超級計算無錫中心、數學工程與先進計算國家重點實驗室、卡達計算研究所、國家並行計算機工程技術研究中心等國家級科研單位，共同研發推出了世界上首個基於超級計算機的超大規模圖計算系統——神圖。神圖系統大幅提升了圖計算系統所能夠支持的最大數據量和計算複雜度，這標誌著超大規模圖數據的計算能力實現了巨大的飛躍，同時，也為搜索領域的用戶體驗開創了新的篇章。

神圖系統的運行環境是神威·太湖之光國產超級計算機，2016年6月至今，神威·太湖之光已連續4次獲得世界高性能計算機排行榜第一名，是目前世界上最快的計算機。基於神威·太湖之光超級計算機的先進架構，神圖攻克了大規模圖計算系統面臨的多項核心技術難題，針對超級計算機的運行特點進行了深度優化，充分挖掘了神威·太湖之光的超寬並行架構的計算能力，將真實任務的應用性能提升了兩個數量級。

搜狗搜索始終著力於對前沿技術成果的推動、創新，致力於為用戶帶來便捷、豐富的個性化搜索體驗，滿足用戶的多元化搜索需求。搜狗搜索智能的用戶分析系統為神圖系統的研發提供了不可或缺的、全方位多角度的用戶實用場景。

神威·太湖之光超級計算機 搜狗百科

過去，超級計算機主要用於科學與工程計算，還比較缺乏面向超大規模數據分析的非數值計算應用。圖（Graph）能夠表達豐富關聯的關係，是搜索和人工智慧領域中常用的數據結構之一。基於圖的數據挖掘演算法已經廣泛應用於搜索系統的網頁鏈接關係分析、文檔主題建模、用戶點擊行為分析、實體與關係挖掘、搜索意圖理解等任務中。互聯網應用的數據規模和用戶使用頻度均在持續快速增長，這對圖計算系統的橫向擴展能力提出了全新挑戰。現有分散式圖計算系統普遍採用按點劃分或按邊劃分的分布計算模式，但由於互聯網環境下數據分布遵從冪律分布，頂點度數存在極大的不平衡性，兩種方式都面臨嚴重的性能問題。超級計算機先進的體系架構和超高的計算能力為超大規模圖計算任務既帶來了機遇，也提出了挑戰。

例：網頁鏈接圖 Marcel Salathe

從2017年開始，搜狗搜索聯合清華大學計算機系等單位，共同研發了面向超大規模圖計算的神圖系統。研發團隊通過深入分析神威·太湖之光的系統大容量的內存、領先的通信能力、以及大容量且能快速訪問的外存系統的優勢，並同時充分結合超大規模圖演算法的實際需要，創新性地提出分化的消息傳播技術、基於分組的消息分發技術、無鎖數據分發技術、基於內存檢查點的高可用系統等多項新技術，成功研發出可支持BFS/WCC/PageRank等核心圖計算演算法的神圖系統，計算規模可以擴展到神威·太湖之光全部4萬個節點。在實際應用中，神圖能夠充分利用上千萬核的運算能力和各節點之間通信網路，在12萬億條邊的真實中文網頁圖上完成PageRank演算法的一輪計算迭代僅需21秒，與文獻中報道的業界最先進水平系統相比，（如微軟的GraM系統處理1.2萬億條邊的合成圖每輪PageRank迭代需要140秒），所處理圖數據規模增加了一個數量級，計算耗時反而縮短了一個數量級，綜合性能提升超過百倍，實現了圖計算節點規模、圖數據規模以及運行速度上的巨大突破。

神圖系統的研發成功，在擴展了國產超級計算機在大數據分析領域的應用能力的同時，提供了更加迅捷的實驗、優化超大規模圖演算法的運算環境。神圖系統更加強大的計算能力給人工智慧等相關領域提供了更廣闊的探索空間。

搜狗搜索研發團隊已經將神圖系統集成、滲透到搜索大數據平台中，新系統將為搜狗搜索持續優化提供強有力的技術支撐和系統保障，為用戶實現更精準便捷的搜索體驗。同時，搜狗搜索作為人工智慧領域的領跑者，將繼續致力於推進國產超級計算機和國產處理器產業，加速扭轉我國計算機領域核心技術和信息安全上受制於人的局面。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！