隨著業(yè)務(wù)的快速發(fā)展、公司人員規(guī)模不斷擴(kuò)大，企業(yè)內(nèi)部產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)量也在高速增長，文檔管理系統(tǒng)承擔(dān)著越來越大的壓力。目前，廣汽豐田文檔管理系統(tǒng)采用的是輕量級的容器架構(gòu)，可實(shí)現(xiàn)快速發(fā)布和故障切換，為文檔管理系統(tǒng)的快速迭代和穩(wěn)定運(yùn)行提供了保障。

然而當(dāng)前文檔管理系統(tǒng)擁有千萬級的文件量且保持高速增長，底層所使用的集中式NAS存儲與當(dāng)前應(yīng)用架構(gòu)的矛盾日益突出：隨著數(shù)據(jù)量的增長及業(yè)務(wù)的實(shí)時響應(yīng)需求，NAS性能無法滿足文檔管理系統(tǒng)的要求;新增NAS卷的規(guī)劃及頻繁的變更操作，使IT運(yùn)維變得更加復(fù)雜，增加IT故障風(fēng)險;面對海量非結(jié)構(gòu)化數(shù)據(jù)，NAS磁盤數(shù)量的擴(kuò)容受限，而采購全新NAS設(shè)備成本高昂。

因此，廣汽豐田IT部門負(fù)責(zé)人決定選納更適合當(dāng)前業(yè)務(wù)需求的方案。考慮到面對萬億級文件的存儲，亞馬遜、阿里云等公有云廠商普遍采用對象存儲技術(shù)方案，從2006年亞馬遜發(fā)布S3對象存儲至今已經(jīng)在互聯(lián)網(wǎng)行業(yè)應(yīng)用超過十年，是經(jīng)過實(shí)踐所證明的海量非結(jié)構(gòu)化數(shù)據(jù)存儲的最佳方案。而到底哪種對象存儲方案才更適合廣汽豐田的文檔管理系統(tǒng)，大致需要滿足如下需求：

1. 去中心化：無中心節(jié)點(diǎn)，排除單點(diǎn)故障;

2. 分布式架構(gòu)：易擴(kuò)展，高可靠;

3. 海量數(shù)據(jù)性能：在海量文件場景下，文件數(shù)量增加，訪問性能保持穩(wěn)定;

4. x86服務(wù)器：控制成本，易更新，不被硬件廠商綁定;

5. 便捷運(yùn)維：軟硬件統(tǒng)一監(jiān)控，智能告警。

經(jīng)過多重考察、選型，最終廣汽豐田選擇部署杉巖海量對象存儲(SandStone MOS)解決方案。杉巖海量對象存儲采用去中心化、分布式架構(gòu)，以軟件形式部署在通用x86服務(wù)器上，支持百億級文件及EB級容量存儲。同時，具備高效的數(shù)據(jù)檢索、智能化標(biāo)簽和數(shù)據(jù)分析能力，可以幫助廣汽豐田輕松應(yīng)對大數(shù)據(jù)和云時代的存儲挑戰(zhàn)。究其技術(shù)優(yōu)勢，主要有如下幾點(diǎn)：

輕松擴(kuò)展，高效訪問

杉巖海量對象存儲構(gòu)建在通用的x86服務(wù)器上，采用去中心化全分布式架構(gòu)，單集群可擴(kuò)展至EB級規(guī)模。同時，杉巖對象存儲產(chǎn)品利用先進(jìn)的分布式哈希算法技術(shù)，通過哈希計算代替?zhèn)鹘y(tǒng)文件系統(tǒng)的樹形索引，使得在單一命名空間下，可管理的文件數(shù)量達(dá)到百億級別，輕松突破傳統(tǒng)NAS數(shù)千萬文件的瓶頸;另外，利用獨(dú)有的緩存技術(shù)對數(shù)據(jù)訪問進(jìn)行加速，保證在海量數(shù)據(jù)下依舊保持穩(wěn)定高效的訪問性能。

通用架構(gòu)，更新無憂

杉巖海量對象存儲采用“x86通用硬件+軟件”的分布式解耦架構(gòu)，單個硬件更新維護(hù)不會影響到整個系統(tǒng)的正常運(yùn)行。杉巖數(shù)據(jù)首創(chuàng)的分布式存儲數(shù)據(jù)盤漫游功能，可以幫助用戶漸進(jìn)式的進(jìn)行硬件更新，在業(yè)務(wù)持續(xù)運(yùn)行下，實(shí)現(xiàn)硬件的更新?lián)Q代。

統(tǒng)一管理，輕松運(yùn)維

杉巖海量對象存儲管理系統(tǒng)，統(tǒng)一監(jiān)控、管理存儲集群及所有服務(wù)器，故障自愈、自動巡檢、自動換盤等功能可盡量減少運(yùn)維人員的工作。單一命名空間下百億級文件的支持，一個存儲空間即可滿足應(yīng)用的全部需求，無需像傳統(tǒng)NAS進(jìn)行反復(fù)的擴(kuò)容及變更，減小運(yùn)維壓力。

智能標(biāo)簽，快速檢索

杉巖海量對象存儲支持文件標(biāo)簽，并且具備標(biāo)簽檢索功能，單個文件支持?jǐn)?shù)百個標(biāo)簽，用戶可將文件相關(guān)的元數(shù)據(jù)作為文件標(biāo)簽與數(shù)據(jù)一同存儲與存儲系統(tǒng)中，利用存儲系統(tǒng)中的搜索引擎，實(shí)現(xiàn)文件的多維度搜索功能。另外，存儲系統(tǒng)中搜索引擎同樣采用分布式架構(gòu)，保證在海量數(shù)據(jù)下的檢索性能以及搜索引擎的高可靠性。

完美契合，無限前景

彈性、去中心化的杉巖海量對象存儲，與文檔管理系統(tǒng)的輕量級架構(gòu)完美契合。廣汽豐田文檔管理系統(tǒng)經(jīng)過短期的接口改造，成功對接S3接口，并將全部數(shù)據(jù)遷移至杉巖海量對象存儲平臺上。杉巖海量對象存儲S3接口的無狀態(tài)連接方式，與Docker環(huán)境中運(yùn)行的無狀態(tài)服務(wù)，共同搭建了彈性、無瓶頸、易擴(kuò)展的系統(tǒng)架構(gòu)。

過去，廣汽豐田文檔管理系統(tǒng)采用某知名廠商的中端NAS存儲，在文件數(shù)達(dá)到3000多萬的情況下，平均業(yè)務(wù)訪問時延在500-800ms，且隨著文件數(shù)量的上升，訪問時延也有上升的趨勢。2017年至今，杉巖海量對象存儲已經(jīng)為廣汽豐田數(shù)千名員工穩(wěn)定服務(wù)近一年時間，每天有近150萬個請求發(fā)往存儲，文件數(shù)量由原來的3000多萬增長至8000多萬，業(yè)務(wù)訪問時延始終保持在100ms以內(nèi)，并且文件數(shù)量的增多不會影響訪問性能。

廣汽豐田文檔系統(tǒng)架構(gòu)示意圖

廣汽豐田的IT部門使用杉巖海量對象存儲后，不再需要擔(dān)心業(yè)務(wù)及數(shù)據(jù)的增長給存儲帶來的壓力，統(tǒng)一命名空間下百億級文件數(shù)量的支持，大大減少了存儲的變更操作和IT運(yùn)維故障。同時，智能監(jiān)控告警及自動巡檢也為運(yùn)維人員節(jié)省了大量的時間和精力。相信隨著大數(shù)據(jù)積累工作的完成和人工智能技術(shù)的引入，杉巖海量對象存儲將發(fā)揮更大價值，為廣汽豐田的業(yè)務(wù)發(fā)展提供更大的助力。

sunk