因?yàn)榇饲安捎玫氖谴疟P陣列的方式,最終計(jì)算性能就受限在存儲(chǔ)讀取設(shè)備上。而此次我們做了分載,通過(guò)分布式系統(tǒng)進(jìn)行存儲(chǔ),采用了集云的一體化的系統(tǒng),實(shí)現(xiàn)穩(wěn)健的快速存儲(chǔ)、訪問(wèn)及安全規(guī)范。
江蘇集云信息科技有限公司CEO陳寶輝對(duì)這個(gè)項(xiàng)目有清晰的認(rèn)識(shí):云存儲(chǔ)就是擺脫單存儲(chǔ)節(jié)點(diǎn)的瓶頸,往橫向擴(kuò)展(scale-out),橫向擴(kuò)展存儲(chǔ)是這個(gè)項(xiàng)目的關(guān)鍵,用低成本的存儲(chǔ)服務(wù)器能夠橫向擴(kuò)展達(dá)到高性能的要求。這就是通常說(shuō)的云分布存儲(chǔ)方案在贊奇實(shí)現(xiàn)的一個(gè)關(guān)鍵。
江蘇集云信息科技有限公司CEO陳寶輝總結(jié)道:其實(shí)云渲染主要用了兩個(gè)能力:計(jì)算能力、存儲(chǔ)的讀寫能力。因?yàn)槭遣⑿袖秩镜模?00個(gè)節(jié)點(diǎn)接到渲染任務(wù),500個(gè)節(jié)點(diǎn)同時(shí)渲染。同時(shí)渲染的時(shí)候,等最后一個(gè)節(jié)點(diǎn)完成才能并行往下處理第二步,所以某個(gè)單節(jié)點(diǎn)如果很慢就會(huì)產(chǎn)生一些問(wèn)題。這些問(wèn)題,大部分瓶頸不在計(jì)算上,而是在存儲(chǔ)上。普通存儲(chǔ)應(yīng)對(duì)并發(fā)訪問(wèn)的時(shí)候往往成為瓶頸,導(dǎo)致系統(tǒng)處理速度就變慢,這個(gè)挑戰(zhàn)就是我們和英特爾合作的契機(jī)。英特爾有一個(gè)橫向擴(kuò)展存儲(chǔ)參考設(shè)計(jì),我們參照它的參考設(shè)計(jì),設(shè)計(jì)了一體化的存儲(chǔ)產(chǎn)品,包括服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)系統(tǒng)全部集成,然后跟客戶一起調(diào)優(yōu)。贊奇項(xiàng)目是我們第一個(gè)在云渲染存儲(chǔ)的應(yīng)用。在項(xiàng)目測(cè)試中,我們的存儲(chǔ)達(dá)到了設(shè)計(jì)峰值,它的能力都用上了。
整個(gè)系統(tǒng)真正做到了分布式的,核心就是橫向擴(kuò)展(scale-out),如果將來(lái)它的存儲(chǔ)能力不夠,那么通過(guò)不斷增加存儲(chǔ)節(jié)點(diǎn),系統(tǒng)存儲(chǔ)能力和I/O并行能力可以隨時(shí)無(wú)縫升級(jí),這是傳統(tǒng)存儲(chǔ)做不到的。而且我們的產(chǎn)品不僅滿足性能的要求,同時(shí)為用戶實(shí)現(xiàn)了較低的成本。比如我們使用的硬盤,就不是價(jià)格昂貴的光纖盤,而用的是廉價(jià)的SATA盤。通過(guò)對(duì)每次讀寫速度的測(cè)量、調(diào)優(yōu),到達(dá)性能和成本兼顧。云渲染中對(duì)存儲(chǔ)有獨(dú)特的訪問(wèn)模式,通過(guò)大量調(diào)優(yōu)我們的橫向擴(kuò)展的存儲(chǔ)技術(shù)來(lái)達(dá)到并發(fā)渲染高性能的要求。從效果來(lái)看,大概成本是原來(lái)存儲(chǔ)設(shè)備的三分之一到五分之一,但速度高幾倍。
同時(shí)橫向擴(kuò)展存儲(chǔ)的管理性也很重要,比如有防硬件故障、防鎖,集云是英特爾的服務(wù)器方案合作伙伴,很多技術(shù)都通過(guò)與英特爾的合作實(shí)現(xiàn)。我們下面將和英特爾在另一個(gè)橫向擴(kuò)展技術(shù)Luster存儲(chǔ)方案上合作,實(shí)現(xiàn)有更多商業(yè)支持的解決方案。
設(shè)備定制化讓性價(jià)比更好
除了整個(gè)系統(tǒng)架構(gòu)的改變,出于性價(jià)比的考慮,各種設(shè)備也采用了定制化。剛剛大家已經(jīng)看到了存儲(chǔ)采用的是SATA硬盤,其實(shí)服務(wù)器也是定制的。在這個(gè)項(xiàng)目中,我們開(kāi)發(fā)了中國(guó)第一個(gè)托盤式的服務(wù)器產(chǎn)品。
托盤式服務(wù)器在Facebook是用到過(guò)的,它為Facebook三年節(jié)省了20億美金。而這個(gè)項(xiàng)目中,同樣采用了這種設(shè)計(jì),從而讓用戶的成本也降低20%,性能則提高20%,所以整體就有40%的性價(jià)比的提升。談到整個(gè)項(xiàng)目Intel公司提供的幫助,江蘇集云信息科技有限公司CEO陳寶輝說(shuō),跟英特爾的合作在很多上面都是方案定制服務(wù)。,因?yàn)楝F(xiàn)在的市場(chǎng)競(jìng)爭(zhēng)已經(jīng)不是在某個(gè)局部技術(shù)上的競(jìng)爭(zhēng),而更多是一種方案的競(jìng)爭(zhēng)。我們的方案是根據(jù)用戶的需求定制的,在服務(wù)器設(shè)計(jì)時(shí)把CPU設(shè)計(jì)在哪個(gè)位置更節(jié)能,機(jī)構(gòu)如何設(shè)計(jì)更有利散熱并降低成本等,,這些都是根據(jù)特定的用戶需求定制的優(yōu)化實(shí)現(xiàn)方案,這樣形成了集云獨(dú)特的競(jìng)爭(zhēng)力。云存儲(chǔ)也是這樣,我們能用SATA盤達(dá)到光纖盤的速度,有巨大競(jìng)爭(zhēng)優(yōu)勢(shì)的創(chuàng)新,同時(shí)成本也降低了很多。
依托與Intel的合作,整個(gè)的架構(gòu)其實(shí)我們沒(méi)有在基礎(chǔ)設(shè)計(jì)上投入太多,。我們的投入更多地是在Intel的基礎(chǔ)技術(shù)上為用戶進(jìn)行量身定制方案設(shè)計(jì)和服務(wù)這是很好的一個(gè)合作共贏模式。
整體性能提高三倍
贊奇科技發(fā)展有限公司總經(jīng)理?xiàng)铌考鳛橛脩魧?duì)這套系統(tǒng)還是非常滿意的,他說(shuō):“采用這套系統(tǒng)之后我們整個(gè)訪問(wèn)效率大大提升。第一,存儲(chǔ)設(shè)備的網(wǎng)絡(luò)占用率明顯下降,比原有占用率下降三分之二。第二,整體系統(tǒng)存儲(chǔ)和訪問(wèn)速率提升三倍多。使得整個(gè)系統(tǒng)規(guī)模目前已經(jīng)可以突破到500臺(tái)。我們系統(tǒng)的負(fù)載有一個(gè)自動(dòng)調(diào)配的過(guò)程。通過(guò)英特爾至強(qiáng)服務(wù)器,充分降低了我們TCO的指數(shù)。目前渲云數(shù)據(jù)中心已為上千家客戶提供服務(wù),如蘇州米粒、常州的恐龍園動(dòng)漫、卡龍、炮炮兵,蘇州天潤(rùn)安鼎等。”
總體來(lái)說(shuō),這一套新的計(jì)算架構(gòu)存儲(chǔ)效率確實(shí)比以前讀取穩(wěn)定性更高。當(dāng)然,新系統(tǒng)還有一些挑戰(zhàn),楊總也希望和集云陳總和英特爾繼續(xù)探討超大規(guī)模的并發(fā)訪問(wèn)。贊奇目前是500臺(tái),但是遠(yuǎn)期的目標(biāo)是要做到2000甚至5000臺(tái),因?yàn)橹挥羞@樣才可以面向好萊塢的影片提供高性能的渲染服務(wù)。