以下為文章全文:
每個月,F(xiàn)acebook的用戶平均要上傳總?cè)萘扛哌_(dá)7PB的圖片,面對這些海量數(shù)據(jù),F(xiàn)acebook正在考慮全新的存儲方式。該公司負(fù)責(zé)基礎(chǔ)設(shè)施工程的副總裁杰伊·帕里克(Jay Parikh)表示,隨著圖片數(shù)量的增長,F(xiàn)acebook需要尋找價格和能耗都較低的存儲途徑。
帕里克周三在阿姆斯特丹的一個行業(yè)會議上表示,F(xiàn)acebook用戶每天要上傳約3億張圖片,在某些特別的日子里還不止這么多。“萬圣節(jié)算是一年里照片上傳的高峰日。這一天里的照片上傳量可能會達(dá)到10到20億張。”
拍攝于萬圣節(jié)的照片很快就將不再引起人們的注意,過了幾天,最多幾周,人們就不會再去查看它們,但是“根據(jù)用戶協(xié)議,即使人們不再查看這些照片,我們也不能把它們刪除,我們必須保存這些圖片,”帕里克說。由此引發(fā)了一個構(gòu)想,對這些照片進(jìn)行“冷存儲”,他說。
他說,為了做到這一點,F(xiàn)acebook計劃建設(shè)一個新型數(shù)據(jù)中心,在其中采用相對現(xiàn)有數(shù)據(jù)中心能耗更少、成本更低的存儲方式、服務(wù)器和網(wǎng)絡(luò)設(shè)備——同時還不能降低服務(wù)器的響應(yīng)速度。
但Facebook能讓冷存儲的效率達(dá)到何種程度呢?在降低數(shù)據(jù)中心成本和能耗的同時,存儲讀取速度往往也會受到影響。
以磁帶存儲方式為例,它能降低能耗,但卻會嚴(yán)重影響數(shù)據(jù)讀取速度。
亞馬遜網(wǎng)絡(luò)服務(wù)系統(tǒng)(Amazon Web Services, AWS)的Glacier云存儲服務(wù)走了一條中間路線,他們稱之為磁帶之外的新選擇。這一服務(wù)專門針對那些無需經(jīng)常讀取的數(shù)據(jù)進(jìn)行了優(yōu)化,前提是可以接受數(shù)小時的檢索時間。
按照帕里克的說法,這個時間對Facebook而言太長了。“當(dāng)用戶想要查看5到10年前上傳的圖片時,我們絕對不能在頁面上拉出一個橫幅,寫著‘嘿,過24小時再來試試看吧’。我們的圖片讀取仍然需要相對而言接近實時的響應(yīng),”他說。
更低的能耗
現(xiàn)在使用中的數(shù)據(jù)中心往往都針對那些需要大量計算能力同時能耗很大的任務(wù)進(jìn)行優(yōu)化的。Facebook計劃中的冷存儲則走向了另外一個極端,帕里克說。他說,“你需要非常非常大的存儲空間,但卻并不需要那么大的計算能力。”他還指出,數(shù)據(jù)中心各個方面的問題都需要重新考量,以保證能應(yīng)對 Facebook目前所面對的龐大數(shù)據(jù)規(guī)模。
帕里克說,總體而言,F(xiàn)acebook正在研發(fā)能夠在內(nèi)容創(chuàng)作時間較久之后,自動判斷在數(shù)據(jù)中心的什么位置以何種方式儲存該內(nèi)容的軟件。“這意味著隨著時間的推移,數(shù)據(jù)會在數(shù)據(jù)中心當(dāng)中不斷移動,以更好地利用為久遠(yuǎn)數(shù)據(jù)而優(yōu)化的存儲設(shè)施的各個部分。”他說,軟件層面的一些創(chuàng)新能夠保證 Facebook在以低能耗儲存數(shù)據(jù)的同時實現(xiàn)較快的響應(yīng)速度。
他說,在未來一兩年里,冷存儲將成為Facebook基礎(chǔ)設(shè)施的一部分。Facebook計劃通過開放計算項目(Open Compute Project)來公開并分享冷存儲項目中與之相關(guān)的內(nèi)容。開放計算項目由Facebook于2011年4月發(fā)起,旨在把開源軟件協(xié)作模式應(yīng)用到數(shù)據(jù)中心硬件領(lǐng)域。