圖1:階段一的核心交換機(jī)架構(gòu)
這類產(chǎn)品的應(yīng)用范圍滿足了FE/GE接入和少量10GE上行的場(chǎng)景,在數(shù)據(jù)中心領(lǐng)域以GE服務(wù)器為主的場(chǎng)景下,可以滿足少量服務(wù)器組成的小型數(shù)據(jù)中心網(wǎng)絡(luò)。
2006年~2012年,階段二,高密GE/10GE接入?yún)R聚,少量10GE/40GE上行,在這個(gè)階段,中心交換的形態(tài)很多,有的是共享緩存的簡(jiǎn)單交換網(wǎng),有的是集中仲裁的交換網(wǎng),還有以6.25G為主的CLOS交換架構(gòu)。線卡單板以GE和10GE的LSW作為接口芯片,少量40GE上行接口為主。背板鏈路以5G~10Gbps為主,每線卡槽位的帶寬小于480G,目前最大能力16~48*10GE線速轉(zhuǎn)發(fā),業(yè)務(wù)處理基本以二層和三層為主,具有簡(jiǎn)單的HQoS調(diào)度,緩存范圍很廣,依賴于LSW芯片,有的交換機(jī)是2ms/端口,有的是10ms/端口。典型的產(chǎn)品有CISCO N7000、H3C 10500/12500等。
圖2:階段二的核心交換機(jī)架構(gòu)
這類產(chǎn)品的應(yīng)用范圍滿足了GE接入和10GE上行的場(chǎng)景,在數(shù)據(jù)中心領(lǐng)域以GE服務(wù)器為主的場(chǎng)景下,可以滿足GE服務(wù)器組成的中、小型數(shù)據(jù)中心網(wǎng)絡(luò)。
2012年~2020年,階段三,高密10GE/40GE接入?yún)R聚,少量100GE上行,這個(gè)階段的核心交換機(jī)以CLOS動(dòng)態(tài)路由交換為主,線卡單板以具有復(fù)雜業(yè)務(wù)處理能力的PP芯片為主,提供高密度的10GE/40GE線速轉(zhuǎn)發(fā)和業(yè)務(wù)處理,少量100GE上行接口為主。背板鏈路以10G起步,未來(lái)可演進(jìn)到25Gbps,每線卡槽位的帶寬是1T~4T為主,目前最大能力48~96*10GE線速轉(zhuǎn)發(fā),或者24*40GE線速轉(zhuǎn)發(fā),具有完善的 QoS處理能力,能支持比較大的緩存,可以達(dá)到100ms/端口。典型的產(chǎn)品有華為即將推出的CE12800。
圖3:階段三的核心交換機(jī)架構(gòu)
這類產(chǎn)品的應(yīng)用范圍滿足了高密度10GE/40GE接入的場(chǎng)景,按照服務(wù)器的發(fā)展演進(jìn),從2012年開始將主要以10GE服務(wù)器為主,在 2015年逐漸出現(xiàn)40GE服務(wù)器,因此這個(gè)階段的數(shù)據(jù)中心核心交換機(jī)必須能提供高密度10GE/40GE接口,滿足10GE/40GE服務(wù)器組成的大、中型數(shù)據(jù)中心網(wǎng)絡(luò)。
華為CE12800作為新一代核心交換機(jī)產(chǎn)品,具備了高密度10GE/40GE、帶寬1T~4T、完善的QoS處理和每端口至少100ms的大緩存能力,是新一代交換機(jī)的旗艦產(chǎn)品。
三個(gè)階段的核心交換機(jī)對(duì)比,通過(guò)上述三個(gè)階段的分析,我們可以得出不同階段的核心交換機(jī)的產(chǎn)品競(jìng)爭(zhēng)力屬性:
核心交換機(jī)端到端高速鏈路的發(fā)展
我們知道在核心交換機(jī)中,最重要的屬性是高密度、高帶寬,而支撐高密度和高帶寬屬性的是系統(tǒng)內(nèi)的高速鏈路,簡(jiǎn)單的說(shuō)如果我們核心交換機(jī)的背板是 10G的鏈路,那我們的單板就可以支持48*10GE線速;如果是25G的鏈路,那我們的單板未來(lái)就可以支持48*100GE線速。因此,核心交換機(jī)怎樣 才能支持更高速的鏈路,是核心交換機(jī)長(zhǎng)期演進(jìn)面臨的重要課題。下圖展示了一個(gè)典型的核心交換機(jī)系統(tǒng)中,端到端高速鏈路由哪些部分組成。
圖4:核心交換機(jī)端到端高速鏈路組成示意圖
我們從圖中可以很顯然的看到,高速鏈路從一個(gè)芯片的一個(gè)管腳輸出后,經(jīng)過(guò)線卡PCB、背板連接器、背板PCB、背板連接器、線卡PCB輸入到芯片輸 入端,在中間傳輸過(guò)程中,為了更好的提升高速鏈路的性能,特別需要做好兩件事,一是盡量降低到端到鏈路的長(zhǎng)度,二是盡量降低中間連接器的串?dāng)_。
降低端到端的走線長(zhǎng)度。為什么要降低端到端走線長(zhǎng)度,下圖很好的解釋了這個(gè)原因。
圖5:核心交換機(jī)端到端高速鏈路插損描述
上圖中X是信號(hào)的通道損耗(db),Y是信號(hào)的誤碼率。上圖綜合描述了通道損耗(IL)對(duì)誤碼率(BER)的影響,在板材、層疊等相同的情況下,高 速通道的損耗主要由走線長(zhǎng)度決定,可以看到在相同誤碼率條件下通道越短就可以支持更高的信號(hào)速率,而在信號(hào)速率確定的情況下通道越短,就可以獲得更加理想 的誤碼率。
因此如何降低高速通道的走線長(zhǎng)度是核心交換機(jī)演進(jìn)能力的重要體現(xiàn)。我們分析核心交換機(jī)的架構(gòu),可以看到走線長(zhǎng)度是由線卡走線+背板走線組成,如果把 背板的走線降低為0,就可以大大縮短端到端的鏈路走線,這就是下圖新一代核心交換機(jī)采用的正交架構(gòu),背板上的高速鏈路走線為0。
圖6:核心交換機(jī)正交架構(gòu)
核心交換機(jī)的線卡和交換網(wǎng)板,直接通過(guò)正交連接器對(duì)插,省掉了中間背板的走線連接,因此端到端的走線控制在最短,高速通道的阻抗一致性更好,能夠保證在更高的帶寬下通道的平順性,以支持系統(tǒng)實(shí)現(xiàn)更高速率演進(jìn)的能力。
提升高速連接器的性能。前面的分析我們也看到,除了降低走線長(zhǎng)度,提升高速鏈路性能的另外一個(gè)重要環(huán)節(jié)是背板的高速連接器,高速連接器的串?dāng)_對(duì)性能影響最大,10G~25G鏈路,最好的連接器串?dāng)_小于35dB。
對(duì)于高速連接器來(lái)說(shuō),串?dāng)_的屬性很大程度上受連接器Wafer之間的距離影響,而目前業(yè)界主流的連接器,Wafer距離一般都處于2mm左右,并不 能很好的滿足高速連接器串?dāng)_的要求,新一代核心交換機(jī)要支持更高的速率,必須采用新一代的高速連接器。上一代的連接器是無(wú)法滿足核心交換機(jī)長(zhǎng)期的演進(jìn)發(fā)展 的,目前業(yè)界主流的核心交換機(jī)都是基于上一代的高速連接器設(shè)計(jì),高速鏈路的性能基本上到10G已經(jīng)到了極限,不再可能升級(jí)到更高速率,也就不具備未來(lái)支持 48*40GE/100GE的能力。
華為CE12800核心交換機(jī)作為新一代的核心交換機(jī),采用了高性能的正交體系架構(gòu),與業(yè)界主流的連接器廠家合作開發(fā)了2.7mm的新一代正交高速連接器,能支持從10G向25G的演進(jìn),很好的滿足了未來(lái)4T的槽位帶寬演進(jìn)需求。
核心交換機(jī)整機(jī)散熱系統(tǒng)的演進(jìn)
核心交換機(jī)的整機(jī)散熱發(fā)展也經(jīng)歷了傳統(tǒng)的橫向風(fēng)道設(shè)計(jì)、前后進(jìn)風(fēng)的風(fēng)道設(shè)計(jì),現(xiàn)在正在向嚴(yán)格的前后風(fēng)道設(shè)計(jì)方向發(fā)展。在原來(lái)以FE/GE、非線速10GE為主的系統(tǒng)中,單板功率小,散熱要求不高,橫向風(fēng)道或者非嚴(yán)格的前后風(fēng)道都是可以滿足要求的;在后續(xù)以高密度線速10GE/40GE為主的核心交換機(jī)系統(tǒng)中,單板功率增加,嚴(yán)格的前后散熱風(fēng)道成為必須滿足的架構(gòu)要素。
為什么在數(shù)據(jù)中心領(lǐng)域,一定是前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道最能滿足要求,下圖詳細(xì)描述了數(shù)據(jù)中心機(jī)房建設(shè)的風(fēng)道設(shè)計(jì)和要求,相應(yīng)的核心交換機(jī)要能滿足這個(gè)嚴(yán)格的前進(jìn)風(fēng)后出風(fēng)的散熱風(fēng)道。
圖7:數(shù)據(jù)中心機(jī)房冷熱風(fēng)道嚴(yán)格的隔離散熱
在數(shù)據(jù)中心建設(shè)中,節(jié)能減排是最重要的屬性,為了提升設(shè)備的散熱效率,降低對(duì)機(jī)房的能耗要求,因此采用嚴(yán)格的冷熱風(fēng)道隔離,一排機(jī)柜是前面集中送冷風(fēng)進(jìn)來(lái),通過(guò)設(shè)備的散熱交換,機(jī)柜后面集中回收熱風(fēng),因此要求核心交換機(jī)必須是前進(jìn)風(fēng)后出風(fēng),才能很好的滿足數(shù)據(jù)中心機(jī)房建設(shè)的要求。
傳統(tǒng)的橫向散熱風(fēng)道。傳統(tǒng)的核心交換機(jī)通常以左右橫向風(fēng)道作為整機(jī)系統(tǒng),這類交換機(jī)在機(jī)柜中應(yīng)用時(shí),由于是橫向風(fēng)道,熱風(fēng)會(huì)在機(jī)柜中回流,導(dǎo)致散熱不夠充分,無(wú)法滿足大功率單板的散熱,因此這類交換機(jī)通常支持300W以下的單板散熱能力,下圖是這類交換機(jī)的散熱風(fēng)道。
圖8:傳統(tǒng)橫向風(fēng)道的核心交換機(jī)散熱
可以看到橫向風(fēng)道的交換機(jī)安裝在機(jī)柜內(nèi)時(shí),由于風(fēng)道是從左到右或者從右到左,機(jī)柜兩側(cè)的側(cè)壁是密封的,當(dāng)熱風(fēng)碰到機(jī)柜側(cè)壁時(shí),熱風(fēng)會(huì)沿著機(jī)柜側(cè)壁和交換機(jī)的上、下空間回流到進(jìn)風(fēng)口,導(dǎo)致進(jìn)風(fēng)口的溫度至少會(huì)升高15°C以上,長(zhǎng)期運(yùn)行會(huì)影響系統(tǒng)的可靠性和單板的散熱能力,也無(wú)法支持大功率、高密度的10GE/40GE單板。
這也是為什么數(shù)據(jù)中心機(jī)房建設(shè)一直在強(qiáng)調(diào)的要區(qū)分嚴(yán)格的冷熱風(fēng)道的原因,要嚴(yán)格的把進(jìn)風(fēng)口和出風(fēng)口隔離,避免熱風(fēng)和冷風(fēng)混合,導(dǎo)致進(jìn)風(fēng)口溫度提升,帶來(lái)散熱和功耗上升的弊端。所以傳統(tǒng)的橫向風(fēng)道的交換機(jī)是無(wú)法滿足數(shù)據(jù)中心建設(shè)的需求的,嚴(yán)格來(lái)講,這類交換機(jī)在園區(qū)網(wǎng)領(lǐng)域應(yīng)用時(shí)也會(huì)有問(wèn)題,無(wú)法支持更大功率的單板。
這類設(shè)備的典型代表是H3C S10500/9500E/7500E,CISCO N7018/7009等。
改進(jìn)型的前、后進(jìn)風(fēng),后出風(fēng)的散熱風(fēng)道。為了滿足數(shù)據(jù)中心冷熱風(fēng)道嚴(yán)格區(qū)分,部分廠家對(duì)核心交換機(jī)進(jìn)行了整機(jī)系統(tǒng)的改進(jìn),其中比較典型的是前后進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道,如下圖。
圖9:改進(jìn)型的前后進(jìn)風(fēng)的核心交換機(jī)散熱
可以看到改進(jìn)型的核心交換機(jī)相比傳統(tǒng)的橫向風(fēng)道的交換機(jī),在整機(jī)系統(tǒng)上做了一些改進(jìn),冷風(fēng)也可以從設(shè)備前面進(jìn)風(fēng),從設(shè)備后面出熱風(fēng),但這種改進(jìn)在數(shù)據(jù)中心應(yīng)用時(shí),還是滿足不了要求,因?yàn)楦倪M(jìn)型的設(shè)備后面部分的單板還需要從設(shè)備的后面進(jìn)風(fēng)散熱,我們知道數(shù)據(jù)中心風(fēng)道是冷熱嚴(yán)格區(qū)分的,這樣就又會(huì)像傳統(tǒng)橫向風(fēng)道的交換機(jī)一樣,帶來(lái)冷熱風(fēng)道混合的問(wèn)題,無(wú)法滿足高密度單板的應(yīng)用。
嚴(yán)格前后風(fēng)道隔離,高效的前進(jìn)后出直通風(fēng)風(fēng)道。從前面核心交換機(jī)的整機(jī)系統(tǒng)分析來(lái)看,無(wú)論是橫向風(fēng)道還是改進(jìn)型的前后風(fēng)道,都不能很好的滿足數(shù)據(jù)中心冷熱風(fēng)道嚴(yán)格隔離的要求,因此新一代核心交換機(jī)采用了冷熱風(fēng)道嚴(yán)格隔離,前進(jìn)風(fēng)、后出風(fēng)的直通風(fēng)散熱風(fēng)道,大大提升了核心交換機(jī)的散熱能力,可以滿足每槽位1000W的散熱能力,為后續(xù)提供48*40GE/100GE的高密度、大帶寬的單板提供了基礎(chǔ)。下圖是新一代核心交換機(jī)的整機(jī)系統(tǒng)風(fēng)道。
圖10:嚴(yán)格的前進(jìn)風(fēng)后出風(fēng)的核心交換機(jī)散熱
嚴(yán)格的冷熱風(fēng)道隔離的核心交換機(jī)非常好的匹配數(shù)據(jù)中心機(jī)房需求,滿足了前進(jìn)風(fēng)、后出風(fēng)的散熱風(fēng)道,同時(shí)采用直通風(fēng)的方式,不經(jīng)過(guò)中間任何形式的阻擋,降低了系統(tǒng)的風(fēng)阻,提升了系統(tǒng)的散熱效率,實(shí)際測(cè)量顯示,直通風(fēng)的散熱風(fēng)道能提升30%的散熱效率。
華為CE12800 作為新一代核心交換機(jī),采用嚴(yán)格的前進(jìn)風(fēng)、后出風(fēng)的直通風(fēng)散熱風(fēng)道,大大提升了系統(tǒng)的散熱效率,每槽位的散熱能力達(dá)到1000W,滿足未來(lái)高密度 40GE/100GE單板的散熱要求。同時(shí),由于高效的散熱效率,使得華為的CE12800系統(tǒng)可以長(zhǎng)期工作在高溫45度的環(huán)境下,如果數(shù)據(jù)中心機(jī)房工作溫度提升到45度,整個(gè)機(jī)房可以節(jié)省2/3的能耗。
核心交換機(jī)端口速率和密度的演進(jìn)
核心交換機(jī)依托于以太網(wǎng)標(biāo)準(zhǔn)的發(fā)展而發(fā)展,以太網(wǎng)的端口速率從10M開始,每隔幾年會(huì)向上發(fā)展一個(gè)臺(tái)階,目前最新的是已經(jīng)標(biāo)準(zhǔn)化的100GE端口,因此新一代的核心交換機(jī)必須能支持高密度的40GE和100GE接口。
圖11:以太網(wǎng)標(biāo)準(zhǔn)的發(fā)展歷程
新一代核心交換機(jī)除了能支持FE、GE和10GE接口外,還要能支持40GE和100GE接口,同時(shí)在端口密度上要能支持24和48等。也就是說(shuō),新一代核心交換機(jī)要能支持24*40GE、48*40GE、24*100GE等端口的線速轉(zhuǎn)發(fā)能力。
華為CE12800是面向高密度100GE接口能力的核心交換機(jī),當(dāng)前第一個(gè)版本就支持24*40GE的線卡,是業(yè)界主流友商的4倍。由于采用了先進(jìn)的體系架構(gòu),具備向25G演進(jìn)的能力,產(chǎn)品后續(xù)可以提供48*40GE、24*100GE、48*100GE的能力。
華為CE12800,重新定義了新一代核心交換機(jī)
華為CE12800是面向新一代10GE/40GE服務(wù)器組成的數(shù)據(jù)中心網(wǎng)絡(luò),是建設(shè)超大型和大型數(shù)據(jù)中心網(wǎng)絡(luò)的核心設(shè)備,提供1T~4T的帶寬能力,采用了嚴(yán)格的前后散熱風(fēng)道,具備1000W的槽位散熱能力,具有100ms的大緩存能力和完善的QoS,是面向未來(lái)10年的核心交換機(jī)產(chǎn)品,它的出現(xiàn)重新定義了核心交換機(jī)的競(jìng)爭(zhēng)屬性,能滿足云計(jì)算網(wǎng)絡(luò)建設(shè)的需求。