浪潮天梭K1基于自主設(shè)計的經(jīng)典CC-NUMA架構(gòu),最大可擴展32顆處理器、256核心,4TB全局共享內(nèi)存,系統(tǒng)峰值浮點計算能力達到2560GFLOPS,也就是每秒可完成2.56萬億次浮點計算;內(nèi)存總帶寬1177.6GB/s,系統(tǒng)互連總帶寬1088GB/s,系統(tǒng)I/O總帶寬675GB/s,這意味著如果傳輸大小為15G的高清電影,處理器到內(nèi)存之間每秒可傳輸78部,處理器之間每秒可傳輸73部,系統(tǒng)對外每秒可傳輸45部;系統(tǒng)體系結(jié)構(gòu)支持64路擴展,并完成64路原型系統(tǒng)的開發(fā)。
據(jù)高效能服務(wù)器和海量存儲技術(shù)國家重點實驗室主任、浪潮集團高級副總裁王恩東介紹,天梭K1在研制過程中,突破關(guān)鍵應(yīng)用主機多項核心技術(shù)及工程技術(shù)世界難題,建立了完整的自主化技術(shù)體系,使中國成為世界上三個掌握最新關(guān)鍵應(yīng)用主機核心技術(shù)的國家之一。
突破一:創(chuàng)新體系結(jié)構(gòu)和協(xié)同芯片組
天梭K1的核心技術(shù)突破之一,就是設(shè)計開發(fā)了“雙翼可擴展多處理器緊耦合共享存儲器體系結(jié)構(gòu)”、與商業(yè)處理器兼容的兩級目錄Cache一致性協(xié)議,整體開發(fā)了多處理器CC-NUMA體系結(jié)構(gòu),研制成功關(guān)鍵應(yīng)用主機兩大核心部件之一處理器協(xié)同芯片組,突破了歐美國家對計算機“系統(tǒng)緊耦合技術(shù)”的封鎖。
眾所周知,芯片組可以稱得上是計算機的“靈魂”和“軀干”,它能力的大小決定了計算機系統(tǒng)整體擴展性和I/O等關(guān)鍵技術(shù)表現(xiàn)。通常,普通計算機僅有4顆以下處理器,而天梭需要支持32顆處理器,有256個內(nèi)存插槽,規(guī)模和復(fù)雜度都數(shù)十倍于普通計算機。
芯片組主要涉及2項核心技術(shù):體系結(jié)構(gòu)和緩存一致性。關(guān)鍵應(yīng)用主機體系結(jié)構(gòu)要解決的核心問題是處理器和內(nèi)存的互聯(lián),天梭K1有32顆處理器,256個內(nèi)存插槽,將如此規(guī)模的單元互聯(lián)起來,既要保證數(shù)據(jù)一致,又要將協(xié)同開銷降到最低,以取得更好的性能,這是計算機領(lǐng)域的世界性難題。計算機的運行過程中,各個單元中的數(shù)據(jù)必須保持一致,以避免邏輯錯誤。緩存一致性技術(shù)就是確定了體系結(jié)構(gòu)以后,各個單元之間數(shù)據(jù)同步的規(guī)則。由于關(guān)鍵應(yīng)用主機系統(tǒng)規(guī)模龐大,處理器、內(nèi)存等單元之間的通訊需要通過第三方協(xié)同芯片來實現(xiàn),亦即數(shù)據(jù)先傳輸?shù)絽f(xié)同芯片的緩存,然后再傳輸?shù)絾卧K去。天梭K1系統(tǒng)有數(shù)百個數(shù)據(jù)同步單元,建立一套復(fù)雜的緩存一致性規(guī)范是十分龐雜的工程,全球具有該項技術(shù)開發(fā)能力的公司不到5家。
浪潮集團最終設(shè)計完成了“雙翼可擴展多處理器緊耦合共享存儲器體系結(jié)構(gòu)”,成為國際上唯一一個只需要一級跳步的64路互聯(lián)系統(tǒng),目前該技術(shù)已經(jīng)申請中國和美國專利。
雙翼可擴展多處理器緊耦合共享存儲器體系結(jié)構(gòu)拓?fù)鋱D
突破之二:開發(fā)出我國第一款通過UNIX 03認(rèn)證的K-UNIX
如果說芯片組是計算機的“靈魂”和“軀干”,那操作系統(tǒng)則是計算機的“血液”,它將計算機的各個部件協(xié)同運作起來。浪潮成功開發(fā)出了我國第一款通過UNIX 03認(rèn)證的操作系統(tǒng)K-UNIX,為天梭K1軟件生態(tài)系統(tǒng)的建設(shè)奠定了堅實的基礎(chǔ)。
浪潮K-UNIX 是基于LINUX內(nèi)核自主開發(fā)的操作系統(tǒng),專注關(guān)鍵應(yīng)用,通過UNIX 03認(rèn)證,意味著K-UNIX進入了關(guān)鍵應(yīng)用軟件俱樂部。UNIX03全稱為Open Group UNIX 03認(rèn)證,該認(rèn)證是關(guān)鍵應(yīng)用軟件生態(tài)的入門牌。目前,UNIX仍然是關(guān)鍵應(yīng)用軟件的事實標(biāo)準(zhǔn),不僅關(guān)鍵應(yīng)用軟件大部分是基于UNIX標(biāo)準(zhǔn)開發(fā),而且關(guān)鍵應(yīng)用軟件在UNIX平臺運行時間也最長、最成熟,因而,要開拓關(guān)鍵應(yīng)用主機市場,打入Unix軟件技術(shù)生態(tài)圈是必須的前提條件,但是該認(rèn)證復(fù)雜大,門檻高,目前只有IBM、HP、蘋果和Oracle四家廠商的產(chǎn)品通過了該認(rèn)證。
UNIX 03是操作系統(tǒng)對SUS v3標(biāo)準(zhǔn)的符合性認(rèn)證,由針對系統(tǒng)調(diào)用、庫函數(shù)、編譯器等在內(nèi)的系列標(biāo)準(zhǔn)構(gòu)成,需經(jīng)過3200余處UNIX兼容增強,通過6萬余個UNIX 03測試項。作為專門面向關(guān)鍵應(yīng)用業(yè)務(wù)開發(fā)的操作系統(tǒng),K-UNIX不僅針對CCNUMA架構(gòu)進行了專門的優(yōu)化,性能大幅提升,而且在安全性和容錯能力方面表現(xiàn)突出。
突破之三:突破了異構(gòu)系統(tǒng)互備運行關(guān)鍵技術(shù)
之前,中國關(guān)鍵應(yīng)用主機技術(shù)一直處于空白狀態(tài),對企業(yè)、政府甚至社會具有核心意義的關(guān)鍵信息化系統(tǒng)一直運行在國外的產(chǎn)品上,浪潮是這個領(lǐng)域的初入者,用戶出于風(fēng)險考慮,也很難把核心系統(tǒng)放到浪潮產(chǎn)品上。浪潮確定了“互備運行、逐步替換”的辦法,讓天梭 k1系統(tǒng)走入實際應(yīng)用中。
經(jīng)過兼容性研究、系統(tǒng)平臺/應(yīng)用平臺移植、基礎(chǔ)性兼容測試、功能測試、性能測試、集成測試和異構(gòu)平臺互備運行技術(shù)研究,浪潮天梭與國外關(guān)鍵應(yīng)用主機系統(tǒng),搭建了雙機互備平臺,天梭K1在幾個月的運行時間內(nèi),表現(xiàn)穩(wěn)定,從“備機”逐步轉(zhuǎn)換為“主機”,成功實現(xiàn)了業(yè)務(wù)系統(tǒng)從國外小型向國產(chǎn)關(guān)鍵應(yīng)用主機的移植,以及與國外小型機的互備運行,為關(guān)鍵行業(yè)應(yīng)用實現(xiàn)自主可控提供了穩(wěn)妥的技術(shù)方法。天梭K1系統(tǒng)的應(yīng)用示范是在新疆建行完成的,承擔(dān)12個生產(chǎn)性系統(tǒng)穩(wěn)定運行1年多時間,完全滿足現(xiàn)有業(yè)務(wù)應(yīng)用要求。
此外,研制天梭K1是中國企業(yè)第一次進入主機研發(fā)領(lǐng)域,浪潮在產(chǎn)品研制階段遇到了大量的工藝制程瓶頸,特別是PCB設(shè)計加工方面(PCB,印制線路板,簡稱印制板,負(fù)責(zé)集成電路等電子元器件之間的電氣互連,是關(guān)鍵應(yīng)用主機的重要部件之一)。浪潮在PCB材料、化學(xué)、金屬表面處理等進行了大量實驗,對材料編織對信號的擾動效應(yīng)進行了深入研究,繼IBM之后,全球第二個實現(xiàn)了600×500超大尺寸、20層高疊層、0.5%高阻抗控制精度的電路板的加工并穩(wěn)定量產(chǎn)。
為什么是浪潮?
“臺上一分鐘,臺下十年功。”浪潮天梭K1系統(tǒng)的研制成功,表面上看是460位浪潮工程師四年的嘔心瀝血之作,但實際上在他們背后是浪潮多年來的技術(shù)積累和技術(shù)創(chuàng)新的結(jié)果。
作為國產(chǎn)服務(wù)器的領(lǐng)軍企業(yè),浪潮從1993年研制成功第一臺小型機開始,一直為建立自主的中國服務(wù)器產(chǎn)業(yè)踐行高端戰(zhàn)略。1993年,浪潮推出了中國第一臺小型機——可擴展10顆處理器的SMP2000,標(biāo)志著中國開始有了自己的服務(wù)器產(chǎn)業(yè);1996年,浪潮集團建立了國內(nèi)第一條專業(yè)服務(wù)器生產(chǎn)線,開啟了國產(chǎn)服務(wù)產(chǎn)業(yè)國際化進程,同年起至今一直保持國產(chǎn)品牌銷量第一;2002年,浪潮發(fā)布天梭工程,吹響了國產(chǎn)品牌進軍高端的號角,天梭系列高端商用服務(wù)器多次獲得國家科技進步二等獎;2009年9月,四路服務(wù)器NF560D2銷量突破10000臺,成為中國服務(wù)器產(chǎn)業(yè)第一款銷量破萬的四路服務(wù)器,標(biāo)志著浪潮已經(jīng)完成中低端產(chǎn)業(yè)的布局,為全面突破高端奠定了基礎(chǔ);2010年4月2日,浪潮正式推出了國內(nèi)第一款自主設(shè)計的8路服務(wù)器——天梭TS850,僅用1年時間該產(chǎn)品即成為市場占有率前三強,該產(chǎn)品是入門級高端服務(wù)器,初步顯示了浪潮在高端領(lǐng)域的實力。
2013年初,浪潮天梭K1系統(tǒng)面世,這是一款主流的高端服務(wù)器,十幾年時間,浪潮從突破高端開始,至今已經(jīng)初步完成了高端產(chǎn)業(yè)布局。
作為高端戰(zhàn)略的核心組成部分,研發(fā)體系和能力建設(shè)一直浪潮集團的工作重點。經(jīng)過多年積累,浪潮已經(jīng)建成了由三級研發(fā)體系、自動化知識管理體系等構(gòu)成的領(lǐng)先創(chuàng)新系統(tǒng)。在三級研發(fā)體系的基礎(chǔ)上,浪潮以核心技術(shù)為關(guān)注焦點,創(chuàng)造性的提出 “技術(shù)專利化、專利標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)國際化”的知識產(chǎn)權(quán)戰(zhàn)略。知識產(chǎn)權(quán)工作已經(jīng)貫穿于浪潮技術(shù)創(chuàng)新和產(chǎn)品研發(fā)的全過程。僅2011年,集團就申請國家專利802項,其中發(fā)明專利占55%,牽頭制定國家標(biāo)準(zhǔn)4項,參與國家標(biāo)準(zhǔn)21項、行業(yè)標(biāo)準(zhǔn)6項,推動發(fā)布國家標(biāo)準(zhǔn)1項、行業(yè)標(biāo)準(zhǔn)9項。
此外,浪潮還非常注重人才培養(yǎng),設(shè)立了首席知識官,打造企業(yè)“智庫”。目前,浪潮擁有各類研究與開發(fā)人員1500多人。擁有博士以上高級專家22人,享受國務(wù)院特殊津貼5人,山東省科技拔尖人才11人,擁有外籍高層次人才30多人。這些都是浪潮研發(fā)天梭K1乃至更高性能服務(wù)器的“本錢”。
正如浪潮集團董事長兼CEO孫丕恕所說,浪潮天梭K1是中國大型主機產(chǎn)業(yè)的開端,下一步浪潮將繼續(xù)向服務(wù)器產(chǎn)業(yè)更為核心的技術(shù)探索突破,并將攜手關(guān)鍵行業(yè)的客戶打開高端行業(yè)壁壘,為推動我國關(guān)鍵業(yè)務(wù)系統(tǒng)國產(chǎn)化應(yīng)用,建立國產(chǎn)化產(chǎn)業(yè)圈做出更多的努力。
浪潮天梭K1系統(tǒng)研發(fā)故事
1、方寸之間的千針萬線
天梭K1系統(tǒng)是一個龐大的研發(fā)工程,從芯片、到板卡,需要海量的研發(fā)工作量。
先后研制大規(guī)模芯片數(shù)十個。特別是處理器協(xié)同芯片,這是計算機中唯一復(fù)雜度可與處理器相比的芯片部件,浪潮研制的芯片組集成了4.5億個晶體管,有2577根管腳,而intel最高端的通用處理器至強E7集成的晶體管數(shù)量也不過14億個,針腳數(shù)只有1567個,如此數(shù)量、如此規(guī)模的芯片設(shè)計是國內(nèi)十分少見的。
一般的多處理器計算機的板卡不超過5塊,系統(tǒng)布線在5000-7000條。而天梭K1系統(tǒng)板卡數(shù)量超過110塊,布線90000條以上。特別是計算板,尺寸只有50cm*60cm,如此狹小的面積上有40000個管腳,20層布線,挑戰(zhàn)了業(yè)界計算板卡加工工藝極限。最終設(shè)計完成后,整套系統(tǒng)有300個傳感器,367種、2177個零件。
2、“大和小”的藝術(shù)平衡
天梭K1體積和內(nèi)部的板卡多大合適,看似一個十分初級的問題,但卻必須要經(jīng)驗豐富的資深專家才能解決。從信號和供電的角度講,天梭k1做的越小越好,因為信號傳輸距離過長會產(chǎn)衰減、失真現(xiàn)象,供電會有壓降問題,但是散熱問題就會隨之而來,K1系統(tǒng)最大功耗有20Kw,平均發(fā)熱密度超過普通服務(wù)器60%,而且在計算板卡發(fā)熱密度更高,散熱這一常規(guī)性問題變成技術(shù)卡口。
在通用服務(wù)器領(lǐng)域經(jīng)驗豐富的浪潮工程師在關(guān)鍵應(yīng)用主機領(lǐng)域還是新入者,談不上經(jīng)驗,只能在“戰(zhàn)爭中學(xué)習(xí)戰(zhàn)爭”。他們先后設(shè)計了20多個版本的系統(tǒng)基礎(chǔ)結(jié)構(gòu)設(shè)計方案,才最終平衡散熱和尺寸的問題。其中計算板尺寸50cm*60cm,已經(jīng)是國內(nèi)最大的主板,甚至一度超出了國內(nèi)PCB板卡加工工藝的極限,實現(xiàn)“10Gbps信號傳輸距離超過30英寸”、“6.4GT/s 21路并行傳輸超過21英寸”等多項業(yè)界信號傳輸距離的新紀(jì)錄。