神威·太湖之光超級計(jì)算機(jī) ?搜狗百科
過去，超級計(jì)算機(jī)主要用于科學(xué)與工程計(jì)算，還比較缺乏面向超大規(guī)模數(shù)據(jù)分析的非數(shù)值計(jì)算應(yīng)用。圖(Graph)能夠表達(dá)豐富關(guān)聯(lián)的關(guān)系，是搜索和人工智能領(lǐng)域中常用的數(shù)據(jù)結(jié)構(gòu)之一。基于圖的數(shù)據(jù)挖掘算法已經(jīng)廣泛應(yīng)用于搜索系統(tǒng)的網(wǎng)頁鏈接關(guān)系分析、文檔主題建模、用戶點(diǎn)擊行為分析、實(shí)體與關(guān)系挖掘、搜索意圖理解等任務(wù)中?；ヂ?lián)網(wǎng)應(yīng)用的數(shù)據(jù)規(guī)模和用戶使用頻度均在持續(xù)快速增長，這對圖計(jì)算系統(tǒng)的橫向擴(kuò)展能力提出了全新挑戰(zhàn)?，F(xiàn)有分布式圖計(jì)算系統(tǒng)普遍采用按點(diǎn)劃分或按邊劃分的分布計(jì)算模式，但由于互聯(lián)網(wǎng)環(huán)境下數(shù)據(jù)分布遵從冪律分布，頂點(diǎn)度數(shù)存在極大的不平衡性，兩種方式都面臨嚴(yán)重的性能問題。超級計(jì)算機(jī)先進(jìn)的體系架構(gòu)和超高的計(jì)算能力為超大規(guī)模圖計(jì)算任務(wù)既帶來了機(jī)遇，也提出了挑戰(zhàn)。
例：網(wǎng)頁鏈接圖 ? Marcel Salathe
從2017年開始，搜狗搜索聯(lián)合清華大學(xué)計(jì)算機(jī)系等單位，共同研發(fā)了面向超大規(guī)模圖計(jì)算的神圖系統(tǒng)。研發(fā)團(tuán)隊(duì)通過深入分析神威·太湖之光的系統(tǒng)大容量的內(nèi)存、領(lǐng)先的通信能力、以及大容量且能快速訪問的外存系統(tǒng)的優(yōu)勢，并同時充分結(jié)合超大規(guī)模圖算法的實(shí)際需要，創(chuàng)新性地提出分化的消息傳播技術(shù)、基于分組的消息分發(fā)技術(shù)、無鎖數(shù)據(jù)分發(fā)技術(shù)、基于內(nèi)存檢查點(diǎn)的高可用系統(tǒng)等多項(xiàng)新技術(shù)，成功研發(fā)出可支持BFS/WCC/PageRank等核心圖計(jì)算算法的神圖系統(tǒng)，計(jì)算規(guī)?？梢詳U(kuò)展到神威·太湖之光全部4萬個節(jié)點(diǎn)。在實(shí)際應(yīng)用中，神圖能夠充分利用上千萬核的運(yùn)算能力和各節(jié)點(diǎn)之間通信網(wǎng)絡(luò)，在12萬億條邊的真實(shí)中文網(wǎng)頁圖上完成PageRank算法的一輪計(jì)算迭代僅需21秒，與文獻(xiàn)中報道的業(yè)界最先進(jìn)水平系統(tǒng)相比，(如微軟的GraM系統(tǒng)處理1.2萬億條邊的合成圖每輪PageRank迭代需要140秒)，所處理圖數(shù)據(jù)規(guī)模增加了一個數(shù)量級，計(jì)算耗時反而縮短了一個數(shù)量級，綜合性能提升超過百倍，實(shí)現(xiàn)了圖計(jì)算節(jié)點(diǎn)規(guī)模、圖數(shù)據(jù)規(guī)模以及運(yùn)行速度上的巨大突破。
神圖系統(tǒng)的研發(fā)成功，在擴(kuò)展了國產(chǎn)超級計(jì)算機(jī)在大數(shù)據(jù)分析領(lǐng)域的應(yīng)用能力的同時，提供了更加迅捷的實(shí)驗(yàn)、優(yōu)化超大規(guī)模圖算法的運(yùn)算環(huán)境。神圖系統(tǒng)更加強(qiáng)大的計(jì)算能力給人工智能等相關(guān)領(lǐng)域提供了更廣闊的探索空間。
搜狗搜索研發(fā)團(tuán)隊(duì)已經(jīng)將神圖系統(tǒng)集成、滲透到搜索大數(shù)據(jù)平臺中，新系統(tǒng)將為搜狗搜索持續(xù)優(yōu)化提供強(qiáng)有力的技術(shù)支撐和系統(tǒng)保障，為用戶實(shí)現(xiàn)更精準(zhǔn)便捷的搜索體驗(yàn)。同時，搜狗搜索作為人工智能領(lǐng)域的領(lǐng)跑者，將繼續(xù)致力于推進(jìn)國產(chǎn)超級計(jì)算機(jī)和國產(chǎn)處理器產(chǎn)業(yè)，加速扭轉(zhuǎn)我國計(jì)算機(jī)領(lǐng)域核心技術(shù)和信息安全上受制于人的局面。
