中文網(wǎng) 發(fā)表于:14年08月19日 10:35 [綜述] DOIT.com.cn
七牛云存儲(chǔ)如何把服務(wù)器成本降到32.5%?答案是:拋棄“三副本存儲(chǔ)方案”,我們往下看看,其道理何在呢?
在經(jīng)歷2013年年底,云基礎(chǔ)服務(wù)商之間開始競(jìng)相降價(jià)的價(jià)格戰(zhàn)后,該市場(chǎng)留存的頭部玩家已經(jīng)逐漸嘗到了甜頭——包括云主機(jī)服務(wù)商QingCloud、UCloud,云存儲(chǔ)服務(wù)商七牛在內(nèi)的創(chuàng)業(yè)公司,相繼在今年拿到數(shù)千萬美元的融資。這讓我想起在八個(gè)月前,金山云的CEO王育林曾在接受PingWest采訪時(shí)說:“如果不是百億級(jí)以上的市場(chǎng),金山就不會(huì)專門成立子公司去做它。”
在拿到寬帶資本、經(jīng)緯中國(guó)、啟明創(chuàng)投的C輪千萬美元投資后,七牛云存儲(chǔ)的創(chuàng)始人許式偉表示:“接下來,七牛要和產(chǎn)業(yè)上下游更多的公司相互協(xié)作,在技術(shù)上實(shí)現(xiàn)對(duì)接。”
從創(chuàng)業(yè)之初,七牛就和那些大體量的云基礎(chǔ)服務(wù)提供商區(qū)別開來——只專注于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)內(nèi)容,目前有超過10萬的用戶基數(shù),覆蓋在線教育、電商、旅游、圖片社交等領(lǐng)域。據(jù)許式偉介紹,在七牛的客戶群中,有許多用戶一邊用阿里云、騰訊云的云主機(jī)服務(wù),一邊使用七牛的云存儲(chǔ)。這表明,七牛與這些大公司的服務(wù)在競(jìng)爭(zhēng)之外,也是可以協(xié)作的。
為了保證數(shù)據(jù)可靠性,同時(shí)盡量降低成本,七牛在6月發(fā)布的2.0版產(chǎn)品中加入了糾刪碼算術(shù)冗余技術(shù)。為了便于理解,我們通過一種比較具象的比方來解釋:傳統(tǒng)的存儲(chǔ)方法中,假設(shè)備份數(shù)據(jù)X、Y,在不同的硬盤中各自備份三份副本,這時(shí)數(shù)據(jù)的冗余度為3。據(jù)許式偉的介紹,七牛的存儲(chǔ)方法的冗余度做到在1.4左右。這時(shí)候,你也許會(huì)問,為什么數(shù)據(jù)副本變少了,但存儲(chǔ)可靠性卻沒有降低呢?
實(shí)際上,七牛2.0的數(shù)據(jù)備份,是分別備份一份X、一份Y,再備份類似X+Y,X²+Y²這樣的冗余數(shù)據(jù)。那么,即便Y的數(shù)據(jù)丟失,就可以通過已知X+Y和X數(shù)據(jù),去恢復(fù)Y的數(shù)據(jù)。七牛2.0的糾刪碼(EC) 采用的是28+4,也就是把文件切分為28份,然后再根據(jù)這28份數(shù)據(jù)計(jì)算出4份冗余數(shù)據(jù)(比如X+Y),最后把這32份數(shù)據(jù)存儲(chǔ)在32臺(tái)不同的機(jī)器上。
這種新式的存儲(chǔ)方式相比經(jīng)典三副本冗余方案,需要的服務(wù)器只需要后者的32.5%,大大降低了成本,最高同時(shí)損壞四個(gè)硬盤數(shù)據(jù)也不會(huì)丟失,提高了硬件的容災(zāi)能力。
此外,相較于傳統(tǒng)的單機(jī)數(shù)據(jù)恢復(fù),七牛采取了多組服務(wù)器的存儲(chǔ)集群修復(fù)。也就說,一臺(tái)服務(wù)器上的數(shù)據(jù)損失,能夠通過剩余存儲(chǔ)集群能力共同為其恢復(fù)數(shù)據(jù),且集群規(guī)模越大,效率越高。許式偉認(rèn)為這些“技術(shù)壁壘”,使得他并不畏懼來自競(jìng)爭(zhēng)對(duì)手的價(jià)格戰(zhàn)——“首先我們存儲(chǔ)的成本低,即便把價(jià)格降下來,我們也會(huì)有輕微的利潤(rùn);而我們并不完全靠?jī)r(jià)格取勝,還包括增值服務(wù)。”
在基礎(chǔ)技術(shù)之上,七牛為一些開發(fā)者的共性需求做一些優(yōu)化服務(wù),在存儲(chǔ)的基礎(chǔ)上加入了一些PaaS應(yīng)用,比如圖片存儲(chǔ)中的縮略圖、自定義尺寸、防盜鏈等。在2013年年底,七牛團(tuán)隊(duì)發(fā)現(xiàn)客戶對(duì)音頻、視頻內(nèi)容的存儲(chǔ)需求比例開始增加后,開始為視頻數(shù)據(jù)存儲(chǔ),提供了十余種可供調(diào)用的API接口——包括視頻格式轉(zhuǎn)碼、視頻水印、視頻幀提取、數(shù)據(jù)分析等功能。
盡管,目前視頻客戶需求的比例還不算太高,但許式偉認(rèn)為,隨著視頻類應(yīng)用和服務(wù)的興起,這會(huì)成為一種趨勢(shì)。目前,包括視頻監(jiān)控設(shè)備供應(yīng)商?低、短視頻應(yīng)用美拍、在線教育平臺(tái)開課吧,都已經(jīng)是七牛云儲(chǔ)存的案例用戶。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.