自主可控的華為存儲(chǔ)硬件平臺(tái)
李勝 發(fā)表于:13年06月24日 11:15 [來稿] DOIT.com.cn
英特爾(Intel)創(chuàng)始人之一戈登•摩爾(Gordon Moore)提出摩爾定律:當(dāng)價(jià)格不變時(shí),集成電路上可容納的晶體管數(shù)目,約每隔18個(gè)月便會(huì)增加一倍,性能也將提升一倍。換言之,每一美元所能買到的電腦性能,將每隔18個(gè)月翻兩倍以上。這一定律揭示了信息技術(shù)進(jìn)步的速度。
摩爾定律促使所有的硬件設(shè)備供應(yīng)商必須趕上甚至超越IT技術(shù)的更新速度,傳承華為公司一流的硬件設(shè)計(jì)能力的華為存儲(chǔ)硬件團(tuán)隊(duì)肩負(fù)重任,不論技術(shù)如何更新?lián)Q代,一直追求打造自主可控的存儲(chǔ)硬件平臺(tái),因?yàn)檫@是技術(shù)制勝的關(guān)鍵。
華為存儲(chǔ)硬件平臺(tái)總述
經(jīng)過十年的努力華為推出了以T系列為代表的中低端SAN/NAS統(tǒng)一存儲(chǔ)、N9000為代表的高端NAS存儲(chǔ)、HVS為代表的高端SAN存儲(chǔ)、UDS為代表的海量存儲(chǔ)產(chǎn)品系列,而在這些產(chǎn)品的背后離不開強(qiáng)大的存儲(chǔ)硬件平臺(tái)的支撐。
圖1 華為存儲(chǔ)硬件平臺(tái)
華為打造的存儲(chǔ)硬件平臺(tái),具有共享性、通用性、擴(kuò)展性、高度集成性、快速實(shí)施性,以及自我完善和演進(jìn)的能力。對客戶來說,這意味著減少產(chǎn)品交付的時(shí)間周期,提高產(chǎn)品的穩(wěn)定性和可靠性。同時(shí)其備件的通用性、產(chǎn)品的易擴(kuò)展性也實(shí)現(xiàn)了保護(hù)客戶投資的目的。
華為存儲(chǔ)硬件平臺(tái)由整機(jī)、組件以及底層軟件等多重子系統(tǒng)有機(jī)結(jié)合而成。存儲(chǔ)整機(jī)包括獨(dú)立機(jī)頭、盤控一體、交換機(jī)、硬盤框以及機(jī)柜等多種形態(tài),構(gòu)成設(shè)備的基本框架。華為的存儲(chǔ)整機(jī)給人以穩(wěn)重、可靠的形象,同時(shí)具有很好的人機(jī)友好性。
組件包括控制器、接口卡、硬盤單元、電源、風(fēng)扇、備電等關(guān)鍵模塊。控制器模塊是系統(tǒng)的核心部件,負(fù)責(zé)數(shù)據(jù)處理和系統(tǒng)管控,以存儲(chǔ)處理器和管理芯片為核心。接口卡的作用是連接前端主機(jī)和擴(kuò)展后端硬盤,以IO控制芯片為核心。硬盤單元是數(shù)據(jù)的最終載體。電源模塊、風(fēng)扇模塊、備電模塊分別為系統(tǒng)提供電源供給、散熱和掉電保護(hù)。在系統(tǒng)中,這些部件都是冗余的,當(dāng)其中的一個(gè)部件損壞后,系統(tǒng)仍然可用、業(yè)務(wù)正常進(jìn)行。另外,這些部件都支持熱插拔,可以可靠、方便的更換。
底層軟件提供服務(wù)與接口、存儲(chǔ)協(xié)議處理、硬件與芯片適配、BIOS、OS內(nèi)核調(diào)試、芯片F(xiàn)irmware、邏輯代碼和硬盤應(yīng)用軟件等。底層軟件在硬件與存儲(chǔ)軟件平臺(tái)中起著至關(guān)重要的銜接作用,其本身也能獨(dú)立的行使一些功能,是存儲(chǔ)硬件平臺(tái)的關(guān)鍵子系統(tǒng)之一。
通過多重子系統(tǒng)集成而打造的存儲(chǔ)硬件平臺(tái)支撐了華為全系列的存儲(chǔ)產(chǎn)品。
圖2 華為存儲(chǔ)硬件平臺(tái)及產(chǎn)品支撐關(guān)系
為了打造先進(jìn)的存儲(chǔ)硬件平臺(tái),華為在中國總部設(shè)有強(qiáng)大的硬件開發(fā)團(tuán)隊(duì),為了更好的掌握全球先進(jìn)技術(shù),華為還在美國硅谷、以色列特拉維夫成立分支機(jī)構(gòu),構(gòu)建一流存儲(chǔ)硬件專家隊(duì)伍。正是這些精英團(tuán)隊(duì)為華為存儲(chǔ)打造出專業(yè)的產(chǎn)品形象,先進(jìn)的系統(tǒng)架構(gòu)和領(lǐng)先的存儲(chǔ)硬件關(guān)鍵技術(shù)。
專業(yè)的產(chǎn)品形象
華為努力做到由內(nèi)到外,給客戶全方位的產(chǎn)品滿意度,因此在外觀設(shè)計(jì)上同樣追求卓越。華為公司與國際知名的設(shè)計(jì)公司Speckdesign合作設(shè)計(jì)了以坦克裝甲(Armor)為主題的第一代存儲(chǔ)硬件平臺(tái);與StudioRED一起設(shè)計(jì)了以統(tǒng)一(Unity)為主題的第二代存儲(chǔ)硬件平臺(tái);與Design3一起設(shè)計(jì)了以精確(Precision)為主題的用于高端產(chǎn)品HVS的存儲(chǔ)機(jī)柜。這些時(shí)尚穩(wěn)重的外觀使華為存儲(chǔ)產(chǎn)品具有專業(yè)的產(chǎn)品形象。
圖3 華為存儲(chǔ)國際化的外觀設(shè)計(jì)
先進(jìn)的系統(tǒng)架構(gòu)
華為人深知架構(gòu)設(shè)計(jì)與產(chǎn)品規(guī)格、性能、可靠性、擴(kuò)展性、TCO等息息相關(guān),一直把架構(gòu)先行作為打造硬件平臺(tái)的一個(gè)基本原則。華為有競爭力的產(chǎn)品背后都有一個(gè)先進(jìn)的架構(gòu)。
華為設(shè)計(jì)的智能交換矩陣架構(gòu)構(gòu)建了真正的集群存儲(chǔ)系統(tǒng),其用于高端存儲(chǔ)HVS系列產(chǎn)品。在華為自主研發(fā)的PCIe交換機(jī)的支撐下,該架構(gòu)實(shí)現(xiàn)全冗余負(fù)載均衡,提高了產(chǎn)品可靠性,產(chǎn)品可用度達(dá)到99.999%;同時(shí),智能交換矩陣讓設(shè)備可以從雙控制器向十六控制器平滑、可靠地?cái)U(kuò)展,其最大互連交換帶寬192GB/s,最大支持192個(gè)主機(jī)端口,最多支持64個(gè)后端磁盤端口以及3216塊硬盤,產(chǎn)品規(guī)格達(dá)到業(yè)界領(lǐng)先;在性能上,該架構(gòu)支撐最大帶寬1024 GB/s 、最大并發(fā)1600萬IOPS、1ms響應(yīng),處于業(yè)界領(lǐng)先地位。
圖4 智能交換矩陣架構(gòu)
華為的分布式云存儲(chǔ)架構(gòu)通過構(gòu)建DHT存儲(chǔ)環(huán)實(shí)現(xiàn)了UDS海量存儲(chǔ)產(chǎn)品。該架構(gòu)具有超強(qiáng)擴(kuò)展性,基于DHT算法原理 ,而DHT環(huán)地址空間接近無限,通過調(diào)整虛擬節(jié)點(diǎn)映射關(guān)系乃至擴(kuò)充虛擬節(jié)點(diǎn)數(shù)目可支撐物理節(jié)點(diǎn)的無限擴(kuò)展;該架構(gòu)具有高可靠性,其最大支持6個(gè)冗余位,DHT存儲(chǔ)環(huán)和分布式全交叉互連物理節(jié)點(diǎn)還具有多層級數(shù)據(jù)保護(hù)的特性,做到零概率數(shù)據(jù)丟失;該架構(gòu)還具有低TCO的特性,其采用高密度設(shè)計(jì),每單位空間內(nèi)的容量和性能極具優(yōu)勢,有效降低數(shù)據(jù)中心的構(gòu)建成本。存儲(chǔ)節(jié)點(diǎn)采用低功耗ARM CPU ,同時(shí)支持桌面級硬盤,這些都降低了系統(tǒng)能耗。
圖5 基于DHT存儲(chǔ)環(huán)的分布式云存儲(chǔ)架構(gòu)
華為存儲(chǔ)硬件的架構(gòu)設(shè)計(jì)加入了融合的元素。硬件平臺(tái)支撐產(chǎn)品業(yè)務(wù)融合,對于統(tǒng)一存儲(chǔ)產(chǎn)品實(shí)現(xiàn)了底層硬件的共享性,使塊存儲(chǔ)與文件存儲(chǔ)融合。硬件平臺(tái)還實(shí)現(xiàn)了多位一體,即文件、備份、分析設(shè)備的硬件融合 ;在硬件架構(gòu)上設(shè)計(jì)了FC/IP網(wǎng)絡(luò)接口融合以及IO通道的融合。這些融合的架構(gòu),提高了產(chǎn)品的靈活性和擴(kuò)展性,同時(shí)降低了成本,最終讓客戶受益。
領(lǐng)先的存儲(chǔ)硬件關(guān)鍵技術(shù)
存儲(chǔ)硬件的關(guān)鍵技術(shù)包括存儲(chǔ)芯片的研發(fā)和應(yīng)用技術(shù)、硬件加速技術(shù)、硬件驅(qū)動(dòng)技術(shù)、硬盤應(yīng)用技術(shù)、硬件工程技術(shù)等。華為本著打造自主可控的存儲(chǔ)硬件平臺(tái)的理念,不遺余力的進(jìn)行這些關(guān)鍵技術(shù)的研發(fā),沖破技術(shù)壁壘,爭做硬件技術(shù)領(lǐng)頭羊。
存儲(chǔ)芯片的研發(fā)和應(yīng)用技術(shù)
華為一向重視自主知識產(chǎn)權(quán),自從存儲(chǔ)產(chǎn)品線成立開始,就確定了自研關(guān)鍵芯片的戰(zhàn)略。2012年,華為發(fā)布了第三代SSD控制芯片,可同時(shí)支持最新的6G SAS、6G SATA接口,滿足2xnm制程的SLC,MLC,eMLC顆粒的企業(yè)級高可靠應(yīng)用。以此實(shí)現(xiàn)的企業(yè)級SSD盤片,性能達(dá)到30K IOPS,功耗11.5W,能效比較同等價(jià)格的SAS 15K盤片提升95%。2012年Q2,華為發(fā)布基于第三代SSD控制芯片構(gòu)建全固態(tài)存儲(chǔ)系統(tǒng) Dorado 5100系列,并在SPC-1測試中獲得600K IOPS的驕人成績。
對存儲(chǔ)芯片,華為不只停留在簡單的應(yīng)用層面上,而是主動(dòng)和Intel、Micron、Seagate、PMC、LSI、PLX等芯片廠商建立戰(zhàn)略合作關(guān)系,共同研究存儲(chǔ)芯片的發(fā)展趨勢及其應(yīng)用。在16G FC、12G SAS關(guān)鍵技術(shù)的預(yù)研過程中,華為根據(jù)自己的研究成果,與芯片廠商進(jìn)行技術(shù)交流,促成了設(shè)計(jì)優(yōu)化,最終實(shí)現(xiàn)了芯片廠商和華為的雙贏。
硬件加速技術(shù)
存儲(chǔ)設(shè)備要具備關(guān)鍵的數(shù)據(jù)處理能力,比如重刪、加密、壓縮等技術(shù)。借助這些技術(shù)可以提高存儲(chǔ)系統(tǒng)的效率以及數(shù)據(jù)安全。比如重刪,業(yè)界友商有兩種實(shí)現(xiàn)方式:一種是通過純CPU來處理數(shù)據(jù),采用這種方式CPU占有率高達(dá)95%以上,這會(huì)使系統(tǒng)被拖累,其它業(yè)務(wù)難以為繼。再者,為了使重刪達(dá)到一定的性能,必須使用昂貴的高端CPU,這種成本必將轉(zhuǎn)嫁給客戶;另一種是使用專用的De-dup卡來實(shí)現(xiàn),也就是硬件加速技術(shù)。友商De-dup卡普遍采用SHA-1計(jì)算,只是卸載了CPU的部分負(fù)擔(dān),系統(tǒng)CPU占有率仍高達(dá)85%以上,在系統(tǒng)執(zhí)行重刪任務(wù)時(shí),對其它業(yè)務(wù)仍有較大影響。
華為開發(fā)的Ded-up卡使用最先進(jìn)的邏輯器件進(jìn)行編程,提供了16個(gè)變長分段和SHA-1計(jì)算引擎,在雙控制模塊雙卡的配置下,重刪性能達(dá)到友商的2-4倍,而且?guī)缀跬耆遁d了CPU的負(fù)擔(dān),實(shí)現(xiàn)真正的硬件加速。功能更為強(qiáng)大的動(dòng)態(tài)重構(gòu)多功能加速卡可作為板載FPGA、扣卡或服務(wù)器標(biāo)準(zhǔn)卡使用,實(shí)現(xiàn)重刪、壓縮、加密算法三合一,可根據(jù)業(yè)務(wù)需求快速切換,切換時(shí)間<10ms。
硬件驅(qū)動(dòng)技術(shù)
如果說硬件提供了強(qiáng)壯的軀干,驅(qū)動(dòng)則提供了流動(dòng)的血液,剛?cè)岵?jì),讓硬件平臺(tái)可信可控。業(yè)內(nèi)一些存儲(chǔ)設(shè)備制造商底層軟件的研發(fā)能力薄弱,依賴芯片廠商支持或采用一些簡單的開源驅(qū)動(dòng),這必然導(dǎo)致驅(qū)動(dòng)功能單一,硬件性能難以發(fā)揮到最大,系統(tǒng)的穩(wěn)定性也難以保證。
華為自研的存儲(chǔ)驅(qū)動(dòng),基于組件化的協(xié)議與公共處理,通過插入硬件與芯片適配層和接口適配層,實(shí)現(xiàn)硬件與芯片差異的解耦,及不同產(chǎn)品上層接口的解耦,這使硬件平臺(tái)實(shí)現(xiàn)了對產(chǎn)品業(yè)務(wù)的融合,讓一個(gè)硬件平臺(tái)能支撐多產(chǎn)品。
自研存儲(chǔ)驅(qū)動(dòng)、自研BIOS、自研OS,再加上芯片及FIRMWARE的自研,組成了一個(gè)完整自研鏈。在此背景下,存儲(chǔ)硬件平臺(tái)能夠根據(jù)業(yè)務(wù)特性自如的運(yùn)用芯片并進(jìn)行鏈路的可控處理。驅(qū)動(dòng)在業(yè)務(wù)鏈路上采用了防閃斷技術(shù),當(dāng)鏈路發(fā)生閃斷時(shí),驅(qū)動(dòng)的容錯(cuò)機(jī)制保證IO不會(huì)中斷;驅(qū)動(dòng)提供鏈路誤碼監(jiān)測與隔離,保障業(yè)務(wù)數(shù)據(jù)可靠性;驅(qū)動(dòng)采用中斷聚合技術(shù),與芯片交互,減少進(jìn)入中斷的次數(shù),從而降低系統(tǒng)CPU占用,提高性能。
硬盤應(yīng)用技術(shù)
目前業(yè)界的一些友商在硬盤的應(yīng)用上缺乏系統(tǒng)化策略和技術(shù)能力,比如沒有硬盤的訪問優(yōu)化,不能保證業(yè)務(wù)流控和硬盤的均衡使用;在硬盤故障處理方面缺乏精準(zhǔn)細(xì)致的手段,很難保證硬盤的高可用性;沒有進(jìn)行硬盤的節(jié)能設(shè)計(jì)等。
華為經(jīng)過長期的技術(shù)積累,打造了一個(gè)完整的硬盤應(yīng)用技術(shù)體系。其利用自主研發(fā)的硬盤可靠性專用軟件進(jìn)行硬盤的接入配置、訪問優(yōu)化、運(yùn)行管理、診斷預(yù)測、容錯(cuò)恢復(fù)和隔離離線。這些功能強(qiáng)大的軟件促成了對硬盤的優(yōu)化使用和閉環(huán)控制,實(shí)現(xiàn)了可信可控。
圖6 華為存儲(chǔ)的硬盤應(yīng)用技術(shù)
硬件工程技術(shù)
硬件工程技術(shù),很多友商沒有形成系統(tǒng)的設(shè)計(jì)能力,為減少研發(fā)投入,甚至采用外包的方式來進(jìn)行支撐,這很難使產(chǎn)品在規(guī)格、性能、可靠性方面形成競爭力。
華為素來有很強(qiáng)的硬件工程技術(shù)能力,在散熱設(shè)計(jì)方面,其板級散熱技術(shù)、熱管和VC散熱技術(shù)有效提升大功率芯片(如CPU)散熱能力,提高設(shè)備的業(yè)務(wù)處理能力;采用新型高效風(fēng)扇提高系統(tǒng)散熱能力和效率,使設(shè)備更加節(jié)能;通過降噪模塊的設(shè)計(jì),顯著降低系統(tǒng)噪音,提高客戶感受度。
華為在硬盤的減震設(shè)計(jì)上有獨(dú)特的技術(shù)積累,利用先進(jìn)的仿真技術(shù)進(jìn)行專業(yè)的抗震設(shè)計(jì),獲得專利,使硬盤故障率降低50%。華為采用的防腐蝕技術(shù)在業(yè)內(nèi)獨(dú)樹一幟,通過專利的在線腐蝕監(jiān)控技術(shù)提前預(yù)警數(shù)據(jù)中心腐蝕風(fēng)險(xiǎn),通過專業(yè)測試設(shè)備快速量化數(shù)據(jù)中心腐蝕物等級;通過聯(lián)合硬盤廠商采用ENIG/SPV工藝,有效的提升了硬盤在污染環(huán)境中的壽命和可靠性;通過防腐蝕工藝結(jié)合溫升、電壓分布設(shè)計(jì)進(jìn)行局部防護(hù),有效的提升了存儲(chǔ)控制模塊在污染環(huán)境中的壽命和可靠性;通過在機(jī)框加裝防腐蝕過濾器的專利技術(shù)解決機(jī)框級腐蝕問題。
展望未來
回首過往,華為在存儲(chǔ)硬件的自主研發(fā)之路上取得了豐碩的成果,存儲(chǔ)硬件平臺(tái)的可信可控也經(jīng)歷了考驗(yàn)。未來,存儲(chǔ)設(shè)備的硬件形態(tài)將會(huì)進(jìn)一步發(fā)生變化,而華為將一直堅(jiān)守打造自主可控的硬件平臺(tái),并做好技術(shù)積累。
用戶對分布式存儲(chǔ)系統(tǒng)的需求將會(huì)越來越大,低功耗、高性能、易擴(kuò)展的控制節(jié)點(diǎn)設(shè)計(jì)將是一個(gè)關(guān)鍵。華為存儲(chǔ)硬件已經(jīng)在分布式架構(gòu)設(shè)計(jì)獲得經(jīng)驗(yàn),并啟動(dòng)芯片自研。節(jié)點(diǎn)互連將是分布式系統(tǒng)的關(guān)鍵技術(shù)之一,高性能、低延時(shí)的全互連或交換架構(gòu)將是重要課題。而華為存儲(chǔ)硬件團(tuán)隊(duì)已經(jīng)掌握了PCIe光互連技術(shù),在Infiniband互連及RDMA技術(shù)等方面進(jìn)行技術(shù)積累。
硬件融合的趨勢也越來越明顯,華為目前的存儲(chǔ)硬件平臺(tái),已經(jīng)支撐了一些存儲(chǔ)業(yè)務(wù)的融合。在IO接口和通道方面,也將采用融合架構(gòu)。另外,硬件平臺(tái)均支持Scale- Out,能夠支持從低端產(chǎn)品到高端產(chǎn)品的硬件歸一,實(shí)現(xiàn)融合。硬件融合對用戶和存儲(chǔ)設(shè)備供應(yīng)商來說是雙贏。
華為將在打造自主可控的存儲(chǔ)硬件平臺(tái)方面繼續(xù)創(chuàng)新進(jìn)取,為客戶帶來更多價(jià)值。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會(huì)員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.