噜噜噜综合,又色又爽又高潮免费观看,综合无码一区二区三区四区五区,中文字幕无码人妻aaa片,四虎成人精品永久网站

據(jù)市場分析公司IDC的研究結(jié)果表明，2011年創(chuàng)造的信息數(shù)量達(dá)到1800EB，每年產(chǎn)生的數(shù)字信息量還在以60%的速度高速增長，到2020年，全球每年產(chǎn)生的數(shù)字信息將達(dá)到35ZB。迅速增長的數(shù)據(jù)量突顯了重復(fù)數(shù)據(jù)刪除技術(shù)(De-duplication)的重要性，它不僅能夠減少了信息在物理存儲空間的壓力，而且大幅降低了數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)帶寬占用。

在面對大數(shù)據(jù)時(shí)代的今天，重復(fù)數(shù)據(jù)刪除技術(shù)再次成為熱議的話題。首先，原始數(shù)據(jù)將被打散為數(shù)據(jù)塊，并進(jìn)行單一實(shí)例存儲。如何保證數(shù)據(jù)塊與指針正確，不造成數(shù)據(jù)丟失或誤刪除，顯得非常重要，任何數(shù)據(jù)塊的丟失都意味著很大一部分?jǐn)?shù)據(jù)將無法找回。其次，如何保證重復(fù)數(shù)據(jù)刪除的性能，過小的數(shù)據(jù)塊使得重刪比率會越高，但海量的數(shù)據(jù)塊比對會影響運(yùn)算性能;數(shù)據(jù)管理人員需要在兩者之間找到合適的平衡點(diǎn)，同樣是一場博弈，既要保證重復(fù)數(shù)據(jù)能夠大量刪除，又要選擇能夠接受的運(yùn)算性能。

眾志和達(dá)(英文SOUL)，是中國信息存儲、數(shù)據(jù)安全與應(yīng)用領(lǐng)域領(lǐng)先的解決方案與服務(wù)提供商，擁有超過15年的中國本土市場經(jīng)驗(yàn)和3000多家最終用戶。

SOUL以滿足云計(jì)算、大數(shù)據(jù)時(shí)代企業(yè)客戶需求為目標(biāo)，堅(jiān)持自主創(chuàng)新，擁有基于自主知識產(chǎn)權(quán)的SoC(Storage-on-Chip芯片級存儲)技術(shù)、SureSave智能化存儲與保護(hù)管理、分布式存儲與計(jì)算管理等核心技術(shù)，提供海量數(shù)據(jù)的存儲、保護(hù)與云計(jì)算、大數(shù)據(jù)等應(yīng)用解決方案，為現(xiàn)代IT應(yīng)用提供高速、安全、可靠、彈性的基礎(chǔ)架構(gòu)，將數(shù)據(jù)與計(jì)算的價(jià)值充分發(fā)揮。

塊級變長算法的高縮減比

SOUL開發(fā)的重復(fù)數(shù)據(jù)刪除技術(shù)基于塊級、變長模式，采用業(yè)界流行的HASH算法，以In-Line方式實(shí)現(xiàn)了在存儲過程中實(shí)現(xiàn)重復(fù)數(shù)據(jù)刪除功能。為防止重復(fù)數(shù)據(jù)刪除運(yùn)算降低總體I/O性能，所有重復(fù)數(shù)據(jù)刪除運(yùn)算均采用硬件實(shí)現(xiàn)。

基于塊級去重的方式：

圖一：基于塊級去重方式

如圖一所示，圖中第一次備份為全備份，以后每次只備份變化量，并給每個(gè)數(shù)據(jù)塊添加相應(yīng)的指針。從形式上看，塊級去重與文件級去重原理基本一致，但文件級去重比對的是不同文件，如果文件內(nèi)容有變化，則被視為變化量進(jìn)行保存;而基于數(shù)據(jù)塊去重模式無論文件是否變化，只記錄變化數(shù)據(jù)塊，而文件內(nèi)容變化后，其變化數(shù)據(jù)塊部分被保存。

基于變長去重的方式：

在去重效果上看，塊級去重遠(yuǎn)高于文件級去重，而塊級去重則進(jìn)一步涉及到變長與定長的問題。

定長是指數(shù)據(jù)塊大小是固定的，一般固定值為12K—256K不等，對于定長而言，數(shù)據(jù)塊越小，去重率越高。而變長的數(shù)據(jù)切割方式通過相應(yīng)的塊的長度，再加上相應(yīng)的字母順序，通過一個(gè)三維的算法進(jìn)行切割。

圖二：變長切割與定長切割的對比

如圖二所示，如果文件進(jìn)行改變，比如插一個(gè)“”在數(shù)據(jù)塊中，變長切割模式就變成4、4、7三行一組，剩下的又按照“父”是有含義的一個(gè)字，切割方法沒有變。最后掃描下來，只有首末行是變化的，需要備份首末行這一小小的變化量，即完成了變更，而數(shù)據(jù)量增加的僅僅是引號。

如果是定長則首行沒有任何規(guī)律可言，完全按照固定大小進(jìn)行數(shù)據(jù)切分，當(dāng)添加引號時(shí)引起整個(gè)數(shù)據(jù)塊變動，從而生成了新的數(shù)據(jù)塊。從去重效果上看，變長的去重率要高于定長。

多重校驗(yàn)的高可靠性

重復(fù)數(shù)據(jù)刪除技術(shù)的關(guān)鍵在于可靠性，由于數(shù)據(jù)存儲時(shí)候被切塊并對每個(gè)塊進(jìn)行單一實(shí)例存儲，那么任何一個(gè)數(shù)據(jù)塊丟失，或者指針錯(cuò)誤都會造成一大部分?jǐn)?shù)據(jù)永久無法找回。對于客戶而言，是造成不可估計(jì)的損失，因此如何保證重復(fù)數(shù)據(jù)刪除的可靠性顯得至關(guān)重要。

SOUL的重復(fù)數(shù)據(jù)刪除技術(shù)在每一步hash對比過程中都有CRC校驗(yàn)，保證了每一步對比中數(shù)據(jù)的正確性;而每一步對比過程都會定時(shí)與log進(jìn)行同步。如果出現(xiàn)不同步現(xiàn)象，則該步驟將清空記錄并重新引用log信息，再次執(zhí)行比對工作;而log則定時(shí)與底層數(shù)據(jù)庫同步，保證了數(shù)據(jù)與hashkey的絕對一致性。為了防止非法關(guān)機(jī)造成的數(shù)據(jù)不同步，SOUL在hash對比的第一層設(shè)置了啟動同步，無論是否非法關(guān)機(jī)，設(shè)備在啟動后都會進(jìn)行自檢，并與log進(jìn)行同步，進(jìn)一步確保了數(shù)據(jù)準(zhǔn)確性。

沙漏式對比機(jī)制的高效率

重復(fù)數(shù)據(jù)刪除技術(shù)始終是在去重比例與性能之間找平衡，去重比例越高則必然性能衰減越大，其原因在于數(shù)據(jù)塊在切塊時(shí)候塊越小，出現(xiàn)重復(fù)數(shù)據(jù)塊的幾率會越高;而塊越小則意味著相同大小的數(shù)據(jù)被切割后，產(chǎn)生的數(shù)據(jù)塊的數(shù)量越大，而數(shù)據(jù)塊數(shù)量越大在hashkey對比過程中耗時(shí)越長，使得性能衰減越大。因此即便采用等同的變長法則切塊后，hash對比過程也同樣決定著性能損耗的程度。

SOUL的重復(fù)數(shù)據(jù)刪除技術(shù)在hash對比過程中采用了沙漏式的對比機(jī)制，該機(jī)制會在緩存中逐級篩選重復(fù)數(shù)據(jù)。最上層機(jī)制做最簡單的粗略判定，丟掉絕大部分重復(fù)數(shù)據(jù)，將可能不重復(fù)的數(shù)據(jù)傳遞到第二層級;第二層做相對對比，判定hash是否已經(jīng)包含于某個(gè)hash段組中，此時(shí)已經(jīng)有99%的數(shù)據(jù)進(jìn)行了dedupe，而剩下的1%的數(shù)據(jù)將傳遞到第三層;第三層將前面沒有判定結(jié)果的hash與系統(tǒng)全部被使用過的hash進(jìn)行對比，此處才開始真正對比hash，也就是是細(xì)節(jié)對比，第三層將過濾掉剩下數(shù)據(jù)中的99.99999%，最后剩下仍然無法判定的則會在hash庫中逐一查找進(jìn)行對比。

雖然對比過程變成了4步，但去重效率卻大幅提升。通過實(shí)際去重測試，在打開重復(fù)數(shù)據(jù)刪除之后，磁盤I/O是未開啟重復(fù)數(shù)據(jù)刪除的1.06%。磁盤I/O決定了一個(gè)系統(tǒng)的性能，更低的I/O不僅有效提高去重效率，也提升了磁盤的使用壽命。在采用多重對比后，其數(shù)據(jù)縮減比也大幅提升，實(shí)際測試數(shù)據(jù)縮減比可以超過30：1。

能夠?qū)⒋疟PI/O降低到以上程度主要是因?yàn)槊恳徊竭\(yùn)算是在內(nèi)存中進(jìn)行，并且都采用預(yù)讀取機(jī)制，而每一步都將只判定自己可以判定的hash，任何無法判定的hash都交給后面處理，這樣每一層數(shù)據(jù)篩選的效率將大幅提升，從而提升整體效率。

綜上而言，SOUL采用多種優(yōu)化機(jī)制，解決了高去重比例下性能衰減的問題，實(shí)測在系統(tǒng)性能衰減不足5%的情況下實(shí)現(xiàn)了超過30：1的數(shù)據(jù)縮減比。同時(shí)高效、多重的校驗(yàn)機(jī)制也徹底打消客戶對重復(fù)數(shù)據(jù)刪除可靠性的擔(dān)心。

SOUL為大數(shù)據(jù)時(shí)代打造了安全可靠、高效靈活的數(shù)據(jù)管理與計(jì)算解決方案，以智能化、可拓展的開放式系統(tǒng)設(shè)計(jì)，輔助用戶實(shí)現(xiàn)從傳統(tǒng)IT應(yīng)用向云計(jì)算、大數(shù)據(jù)應(yīng)用的平滑遷移，從而更加快速開展數(shù)據(jù)資產(chǎn)的分析、挖掘、管理，并從中獲取商業(yè)機(jī)會與競爭優(yōu)勢。