通常一個(gè)對(duì)象的訪問(wèn)包括對(duì)元數(shù)據(jù)和數(shù)據(jù)的訪問(wèn)。對(duì)象數(shù)據(jù)容量越小,元數(shù)據(jù)訪問(wèn)在整個(gè)對(duì)象訪問(wèn)中的占比就越高。所以對(duì)于海量小文件管理,元數(shù)據(jù)訪問(wèn)的高效性非常關(guān)鍵。
XEOS V6 引入了分布式統(tǒng)一元數(shù)據(jù)集群,采用少量的 SSD盤(pán)部署元數(shù)據(jù)分區(qū),不僅能夠提供海量對(duì)象元數(shù)據(jù)信息的存儲(chǔ),而且元數(shù)據(jù)存儲(chǔ)性能大幅提升。下圖為同等硬件情況下,XEOS V6 版本相較于V5 版本的 OPS 請(qǐng)求情況,小文件寫(xiě)入性能平均提升了 65%。
靈活數(shù)據(jù)布局
擁有高效的元數(shù)據(jù)管理機(jī)制能夠有效提升小文件的存儲(chǔ)性能,但是低效的數(shù)據(jù)布局仍然會(huì)造成訪問(wèn)性能的下降,并且導(dǎo)致大量的磁盤(pán)空間被浪費(fèi)。隨著 XEOS V6 版本的發(fā)布,小文件歸并機(jī)制也迎來(lái)了重磅升級(jí)。
在線歸并
首先,以往的異步歸并方式升級(jí)為了在線實(shí)時(shí)歸并。在線歸并更為及時(shí),且不再需要從緩存池中讀取數(shù)據(jù),減小了緩存池的壓力,同時(shí)歸并性能不受集群規(guī)模影響,并且由于在線歸并直接在前端 IO 上下文進(jìn)行處理,因此可以對(duì)前端 IO 起到很好的反饋?zhàn)饔?,防止前端業(yè)務(wù)壓力太大導(dǎo)致業(yè)務(wù)不可寫(xiě)。
多級(jí)緩存
其次,XEOS V6 實(shí)現(xiàn)了中速緩存策略。用戶(hù)可以復(fù)用數(shù)據(jù)池中 HDD 硬件資源,部署中速緩存副本池,將 1~4MB(可配)文件寫(xiě)入中速緩存池,減少此范圍大小的文件對(duì)于高速緩存空間的占用,降低成本。同時(shí)它可以應(yīng)對(duì)突發(fā)小文件流量帶來(lái)的壓力,在高速緩存池寫(xiě)滿(mǎn)后,自動(dòng)啟用中速緩存池繼續(xù)寫(xiě)入小文件數(shù)據(jù),提高緩存池的可靠性,保證業(yè)務(wù)的連續(xù)性。
空洞回收
面對(duì)小文件頻繁刪除,歸并對(duì)象產(chǎn)生大量空洞的場(chǎng)景,XEOS V6 支持二次歸并機(jī)制,將空洞率超過(guò)回收閾值的歸并對(duì)象重新歸并,使得磁盤(pán)空間得以釋放。
總結(jié)
XEOS V6 的小文件管理機(jī)制能夠加快小文件的存儲(chǔ)效率,將不同大小的數(shù)據(jù)寫(xiě)入合適的資源池中,發(fā)揮各類(lèi)硬件優(yōu)勢(shì),數(shù)據(jù)布局靈活。同時(shí),借助 EC 冗余機(jī)制、空洞回收能力,可以進(jìn)一步提高存儲(chǔ)空間利用率,節(jié)省存儲(chǔ)成本!
了解更多軟件定義存儲(chǔ)及對(duì)象存儲(chǔ)知識(shí),請(qǐng)?jiān)L問(wèn)www.xsky.com,或者撥打電話(huà):400-016-6101