(左起)橡樹嶺國家實驗室主任Thom Mason博士;IBM研究部高級副總裁兼主任John E. Kelly III博士;勞倫斯•利弗莫爾國家實驗室主任Bill Goldstein博士。(Rich Riggins/IBM的圖片服務提供商)
在大數(shù)據(jù)快速增長的背景下,大數(shù)據(jù)管理的重要性日益提高,這提升了科學家獲得新發(fā)現(xiàn)的機會,但同時也加劇了他們面臨的挑戰(zhàn)。全世界每天產(chǎn)生超過25億GB數(shù)據(jù)(相當于2.5億個足球場容納的書籍所含的信息量),為此我們需要全新的超級計算的方法。
目前的計算方法通過在存儲器與處理器之間反復調(diào)動數(shù)據(jù)來分析和獲得數(shù)據(jù)洞察。然而,隨著大數(shù)據(jù)極速增長,大規(guī)模且頻繁的數(shù)據(jù)移動會耗費極大量的時間和能源,這個方法因而變得不可維系。由于數(shù)據(jù)移動和數(shù)據(jù)管理占據(jù)計算基礎(chǔ)架構(gòu)極大的空間,僅僅將設計重點放在更快的微處理器上的慣常做法也變得不再可行。
為解決這個問題,IBM研究人員在過去五年里開創(chuàng)了一種名為“以數(shù)據(jù)為中心”的全新方法。新架構(gòu)將計算能力嵌在系統(tǒng)里的數(shù)據(jù)所在地,充分考慮到分析、建模、可視化和模擬能力的融合,從而以令人難以置信的速度促進新洞察的產(chǎn)生。
IBM OpenPOWER系統(tǒng)為兩個實驗室提升速度和能源效益
在兩個實驗室看來,由于采用創(chuàng)新的“以數(shù)據(jù)為中心”方法,新的IBM超級計算機將成為速度最快和能效最高的系統(tǒng)之一。每個實驗室系統(tǒng)在商業(yè)和高性能計算應用方面的性能有望達到原系統(tǒng)的5-10倍,能源效率也將在原系統(tǒng)5倍以上。
這些基于OpenPOWER的系統(tǒng)將通過“以數(shù)據(jù)為中心”計算架構(gòu)來提供領(lǐng)先于業(yè)界、具有高成本效益的大數(shù)據(jù)建模、模擬、應用和分析技術(shù)。部署于勞倫斯•利弗莫爾國家實驗室的“山脈”(“Sierra”)超級計算機和部署于橡樹嶺國家實驗室的“山峰”(“Summit”)超級計算機的峰值性能都將遠超100 petaflop(千萬億次浮點運算/秒)。此外,超過5PB的動態(tài)內(nèi)存和閃存也將提升“以數(shù)據(jù)為中心”應用的性能。如需要,這些系統(tǒng)可以以高于每秒17PB的速度(相當于在一秒內(nèi)移動Facebook上的1000億張照片)將數(shù)據(jù)移動到處理器,從而提升獲得洞察的速度。
這兩個國家實驗室允許來自學術(shù)界、政府和產(chǎn)業(yè)界的研究人員訪問其開放的計算機,以克服科學和工程領(lǐng)域的重大挑戰(zhàn)。在以往,這些實驗室計算機的優(yōu)化都是為了更好地利用建模和模擬技術(shù)解決科學問題。但隨著研究進程在醫(yī)療衛(wèi)生、基因組學、經(jīng)濟學、金融系統(tǒng)、社會行為、數(shù)據(jù)集可視化等領(lǐng)域的持續(xù)推進,研究人員對這些研究項目的技術(shù)需求越發(fā)提高。因此,為解決諸多世界難題,計算系統(tǒng)需要提供數(shù)據(jù)管理、數(shù)據(jù)分類以及有用信息提取等服務。
IBM極具開創(chuàng)性的“以數(shù)據(jù)為中心”架構(gòu)對科學、國防應用以及醫(yī)療、制造、工程、石油、天然氣等行業(yè)具有革新意義。“山脈”和“山峰”系統(tǒng)在核心應用上的運用證明美國能源部將要開啟百萬兆級計算(Exascale)宏偉藍圖的另一個重要階段。
利用OpenPOWER技術(shù)的開放方法
為了生成、訪問、管理和操作無論在數(shù)量或種類上都空前之多的數(shù)據(jù),我們需要改變傳統(tǒng)計算的屬性,使其建立在開放的技術(shù)平臺之上。企業(yè)需要從系統(tǒng)設計到制定決策的整體過程中迎接數(shù)據(jù)所賦予的挑戰(zhàn)。這意味著企業(yè)要從數(shù)據(jù)“誕生”開始審視數(shù)據(jù),經(jīng)過由方案驅(qū)動的工作流以及形成洞察的整個周期。這需要企業(yè)從數(shù)據(jù)準備開始,經(jīng)歷數(shù)據(jù)處理和數(shù)據(jù)可視化的過程,并經(jīng)過多次反復。
將OpenPOWER技術(shù)融入模塊化集成系統(tǒng)的做法將幫助勞倫斯•利弗莫爾國家實驗室和橡樹嶺國家實驗室根據(jù)其具體需要對“山脈”和“山峰”系統(tǒng)配置進行定制。
NVIDIA與IBM合作,開發(fā)了先進的NVIDIA NVLink互連技術(shù),該技術(shù)將使CPU和GPU能夠以比現(xiàn)在快5-12倍的速度進行數(shù)據(jù)交換。NVIDIA NVLink技術(shù)將應用于IBM POWER CPU和下一代基于NVIDIA Volta™架構(gòu)的NVIDIA GPU,使“山脈”和“山峰”能夠達到前所未有的性能水平。此外,IBM正與Mellanox聯(lián)手研發(fā)一種非常先進的包含內(nèi)置智能的互連技術(shù),從而提升數(shù)據(jù)處理能力。
IBM全球高級副總裁、系統(tǒng)與科技部總經(jīng)理Tom Rosamilia先生表示:“在數(shù)據(jù)量極速增長的背景下,傳統(tǒng)超級計算的方法不再可行,今天的新聞發(fā)布標志著這些傳統(tǒng)方法的重大轉(zhuǎn)變。IBM‘以數(shù)據(jù)為中心’的方法是一種全新的計算范例,它代表著開放計算平臺的未來,并能應對數(shù)據(jù)量加快增長的挑戰(zhàn)。IBM為勞倫斯利•弗莫爾和橡樹嶺國家實驗室開發(fā)的系統(tǒng)具備卓越的性能,其核心技術(shù)目前可供不同行業(yè)各種規(guī)模的公司使用。”
IBM現(xiàn)在向客戶提供的“以數(shù)據(jù)為中心”技術(shù)包括IBM POWER8、IBM 彈性存儲服務器(IBM Elastic Storage Server)、IBM 彈性存儲軟件(基于GPFS技術(shù))和IBM Platform Computing軟件。
圍繞這些新系統(tǒng),IBM研究院將與勞倫斯•利弗莫爾國家實驗室和橡樹嶺國家實驗室開展科學項目方面的合作,通過開發(fā)相關(guān)工具和技術(shù)來優(yōu)化代碼,從而最大程度地開發(fā)新系統(tǒng)的性能。
雖然利用Power Systems和OpenPOWER技術(shù)的計劃的編程工作已經(jīng)開始,但這些新系統(tǒng)在上述國家實驗室的部署和安裝工作預計要到2017-2018年才能完成。