一、企業(yè)數(shù)據(jù)應(yīng)用需求的變化需要多樣化的數(shù)據(jù)存儲(chǔ)方式

隨著云計(jì)算、互聯(lián)網(wǎng)、移動(dòng)終端和物聯(lián)網(wǎng)的迅猛發(fā)展,全球各地智慧城市的建設(shè),大數(shù)據(jù)體量已成幾何性增長(zhǎng),面對(duì)數(shù)據(jù)量的爆發(fā)式增長(zhǎng),使得數(shù)據(jù)存儲(chǔ)日益成為一個(gè)更獨(dú)立的專業(yè)問(wèn)題,傳統(tǒng)的云平臺(tái)的存儲(chǔ)架構(gòu)已經(jīng)無(wú)法解決如此大數(shù)據(jù)量的存儲(chǔ)落地需求,企業(yè)和組織逐漸意識(shí)到垂直規(guī)模不再適合當(dāng)今的存儲(chǔ)需求,越來(lái)越多的數(shù)據(jù)中心正在從傳統(tǒng)架構(gòu)過(guò)渡到軟件定義存儲(chǔ)(SDS)。

面對(duì)大數(shù)據(jù)的存儲(chǔ)需求,品高云在 V8.0 之前已為用戶推出了彈性塊存儲(chǔ)和對(duì)象存儲(chǔ)服務(wù):

● 彈性塊存儲(chǔ)服務(wù),屬于 EC2 服務(wù)的附屬服務(wù),它允許用戶利用共享存儲(chǔ)設(shè)備(如:SAN、分布式存儲(chǔ))為 EC2 實(shí)例提供額外的存儲(chǔ)卷(虛擬硬盤),用戶可以按需創(chuàng)建任意大小的卷(只要實(shí)例的 OS 支持和存儲(chǔ)剩余空間足夠),一個(gè)存儲(chǔ)卷可被掛載到不同的 EC2 實(shí)例,但同一時(shí)刻只能被掛載到一個(gè) EC2 實(shí)例,它不會(huì)因關(guān)聯(lián) EC2 實(shí)例的損壞、銷毀而被刪除。

● 對(duì)象存儲(chǔ)服務(wù),是基于 http 協(xié)議訪問(wèn)的對(duì)象存儲(chǔ)功能,其構(gòu)建在品高云分布式存儲(chǔ)之上,可直接為物理機(jī)/EC2 實(shí)例中的應(yīng)用系統(tǒng)提供文件保存與共享服務(wù),無(wú)需擔(dān)心存儲(chǔ)擴(kuò)容、帶寬瓶頸、存儲(chǔ)設(shè)備宕機(jī)等問(wèn)題。用戶可通過(guò) S3 工具將本地文件上傳至 S3 中進(jìn)行保存并管理,應(yīng)用程序也可以方便的通過(guò) S3 的 API 進(jìn)行應(yīng)用數(shù)據(jù)的存儲(chǔ)管理。

彈性塊存儲(chǔ)和對(duì)象存儲(chǔ)服務(wù)的可擴(kuò)展、高可靠、高性能等特性,很好的滿足了用戶對(duì)于大數(shù)據(jù)的存儲(chǔ)需求。但是,數(shù)據(jù)應(yīng)用市場(chǎng)需求瞬息萬(wàn)變,大數(shù)據(jù)處理、文件共享、容器和微服務(wù)等場(chǎng)景的應(yīng)用越來(lái)越多。

● 大數(shù)據(jù)分析:業(yè)務(wù)快速增長(zhǎng),每天的數(shù)據(jù)增長(zhǎng)超出本地磁盤容量,需要遷移本地?cái)?shù)據(jù),擴(kuò)容本地磁盤需要中斷業(yè)務(wù),無(wú)法實(shí)時(shí)進(jìn)行數(shù)據(jù)分析,需要把本地磁盤數(shù)據(jù)集中后才能分析。

● 文件共享:業(yè)務(wù)部門甲部署在本地機(jī)房,業(yè)務(wù)部門乙部署在云上,業(yè)務(wù)甲生產(chǎn)的數(shù)據(jù)需要上傳到云,作為業(yè)務(wù)乙的數(shù)據(jù)輸入,每天有大量的共享數(shù)據(jù)需要上云。

● 容器和微服務(wù):容器和微服務(wù)的興起,推動(dòng)了軟件產(chǎn)品的快速迭代,大型開(kāi)發(fā)團(tuán)隊(duì)需要集中存儲(chǔ)和讀寫源代碼、二進(jìn)制文件或者其他資源。

● 網(wǎng)站或 APP 內(nèi)容管理:隨著業(yè)務(wù)量的增長(zhǎng),每天網(wǎng)站或 APP 將會(huì)上傳下載千萬(wàn)數(shù)量級(jí)小文件(圖片、音頻、日志),業(yè)務(wù)數(shù)據(jù)也需要跨環(huán)境的容災(zāi)能力。

面對(duì)云存儲(chǔ)提出的新要求,不僅僅要具備海量存儲(chǔ)空間、彈性擴(kuò)展、分布式存儲(chǔ)、高可靠等,還要求具備異構(gòu)環(huán)境下的數(shù)據(jù)共享、內(nèi)容管理、簡(jiǎn)單易用隨機(jī)位置讀寫操作等特性,這是彈性塊存儲(chǔ)和對(duì)象存儲(chǔ)服務(wù)所不能滿足的。彈性文件系統(tǒng),作為彈性塊存儲(chǔ)和對(duì)象存儲(chǔ)服務(wù)的補(bǔ)充,是一種分布式的網(wǎng)絡(luò)文件存儲(chǔ),可為容器、大數(shù)據(jù)、數(shù)據(jù)共享等提供安全、無(wú)限容量、高性能、高可靠、簡(jiǎn)單易用的文件存儲(chǔ)服務(wù),有效解決了數(shù)據(jù)的存儲(chǔ)和管理難題。

二、品高云彈性文件系統(tǒng)

品高云彈性文件系統(tǒng)服務(wù)(Elastic File System)是一項(xiàng)為云中虛擬機(jī)提供共享式,可擴(kuò)展的文件系統(tǒng)服務(wù)。彈性文件系統(tǒng)基于分布式存儲(chǔ)提供服務(wù),支持行業(yè)標(biāo)準(zhǔn)的網(wǎng)絡(luò)文件系統(tǒng)協(xié)議(NFS),提供多機(jī)容錯(cuò)架構(gòu),彈性伸縮可至 PB 規(guī)模,可為應(yīng)用程序在必要時(shí)間提供所需的存儲(chǔ)。

圖 1 彈性文件系統(tǒng)功能架構(gòu)圖

底層采用分布式存儲(chǔ),即品高云分布式存儲(chǔ)系統(tǒng),通過(guò)將 x86 服務(wù)器的本地硬盤集合起來(lái)協(xié)同工作,并通過(guò)通用數(shù)據(jù)接口(如 posix、CIFS、S3 等),向用戶提供海量數(shù)據(jù)存儲(chǔ)、管理和訪問(wèn)服務(wù)。

通過(guò)主備 NFS 服務(wù)器模式構(gòu)建高可用架構(gòu),即一主多備的部署模式,保證彈性文件系統(tǒng)的高可用。

三、功能特色

支持標(biāo)準(zhǔn)協(xié)議;

基于分布式存儲(chǔ) OS 內(nèi)核提供服務(wù),性能與分布式存儲(chǔ)相近;

彈性可伸縮,系統(tǒng)容量隨著業(yè)務(wù)增減動(dòng)態(tài)擴(kuò)展/縮小,提高資源利用率;

數(shù)據(jù)存儲(chǔ)支持高可用,故障發(fā)生時(shí)自動(dòng)切換虛擬 IP,無(wú)需用戶維護(hù);

四、應(yīng)用場(chǎng)景

大數(shù)據(jù)分析及應(yīng)用;

內(nèi)容管理系統(tǒng)的中央存儲(chǔ);

開(kāi)發(fā)測(cè)試團(tuán)隊(duì)的代碼集中存儲(chǔ);

五、功能實(shí)踐——彈性文件系統(tǒng)高可用和共享性驗(yàn)證

本次功能操作主要驗(yàn)證品高云彈性文件系統(tǒng)的高可用性和共享性特征。

● 高可用性驗(yàn)證:通過(guò)在彈性文件系統(tǒng)服務(wù)中創(chuàng)建一個(gè)文件系統(tǒng),并為其創(chuàng)建一個(gè)高可用的掛載點(diǎn),掛載彈性文件系統(tǒng)到本地目錄,拷貝文件到彈性文件系統(tǒng)目錄,拷貝過(guò)程中人為關(guān)閉正在連接的掛載目標(biāo)實(shí)例,等待拷貝任務(wù)結(jié)束,對(duì)比拷貝源文件與目標(biāo)文件是否一致。

● 共享性特征:模擬了內(nèi)容管理系統(tǒng)的中央存儲(chǔ)場(chǎng)景,創(chuàng)建兩臺(tái)客戶機(jī) A 與 B(或使用網(wǎng)絡(luò)可達(dá)的物理機(jī)),分別掛載同一彈性文件系統(tǒng)到兩臺(tái)客戶機(jī),在 A 中上傳一個(gè)文件到彈性文件系統(tǒng)目錄,在 B 中瀏覽彈性文件系統(tǒng)目錄,下載剛剛上傳的文件,并對(duì)比下載的文件與上傳的文件是否一致。

1、創(chuàng)建彈性文件系統(tǒng)

(1)通過(guò)登錄品高云操作系統(tǒng),進(jìn)入彈性文件系統(tǒng)服務(wù)頁(yè)面。

圖 2 彈性文件系統(tǒng)功能登錄頁(yè)面

(2)新建彈性文件系統(tǒng),填寫文件系統(tǒng)名稱和容量上限。

圖 3 文件系統(tǒng)名稱和容量

(3)選擇掛載目標(biāo)的網(wǎng)絡(luò)訪問(wèn)策略。設(shè)置掛載目標(biāo)的云網(wǎng)絡(luò)、子網(wǎng)、高可用和訪問(wèn)策略。

圖 4 網(wǎng)絡(luò)訪問(wèn)策略

(4)網(wǎng)絡(luò)訪問(wèn)策略設(shè)置完成后,點(diǎn)擊創(chuàng)建,則“web 應(yīng)用”彈性文件系統(tǒng)創(chuàng)建成功。

圖 5 “web 應(yīng)用”彈性文件系統(tǒng)

(5)點(diǎn)擊文件系統(tǒng)詳情查看掛在目標(biāo),具備高可用特性。

圖 6 彈性文件系統(tǒng)掛載目標(biāo)

掛載目標(biāo)實(shí)例為主備模式。

圖 7 彈性文件系統(tǒng)掛載目標(biāo)實(shí)例

2、高可用性驗(yàn)證

(1)選擇一個(gè)實(shí)例(IP 為 10.202.66.128),為其掛載“web 應(yīng)用”彈性文件系統(tǒng)。

圖 8 實(shí)例(10.202.66.128)

(2)通過(guò) shell 工具遠(yuǎn)程登錄實(shí)例,掛載“web 應(yīng)用”彈性文件系統(tǒng)。

圖 9 彈性文件系統(tǒng)掛載完成

(3)創(chuàng)建一個(gè)新文件。

圖 10 新創(chuàng)建的文件

(4)拷貝新建的文件到彈性文件系統(tǒng)。

圖 11 拷貝文件過(guò)程

(5)關(guān)閉一個(gè)彈性文件系統(tǒng)的掛載實(shí)例。

圖 12 關(guān)閉其中一個(gè)彈性文件系統(tǒng)的掛載實(shí)例

(6)關(guān)閉其中一個(gè)實(shí)例,復(fù)制過(guò)程不受影響。

圖 13 拷貝文件過(guò)程

(7)文件拷貝結(jié)束后,查看拷貝前后的文件 MD5,發(fā)現(xiàn)兩個(gè)文件的 MD5 一致,說(shuō)明品高云彈性文件系統(tǒng)具備高可用性特征。

圖 14 文件拷貝結(jié)束

3、共享性驗(yàn)證

(1)選擇一個(gè)實(shí)例(IP 地址為 10.202.66.128)。

圖 15 實(shí)例(10.202.66.128)

(2)遠(yuǎn)程登錄實(shí)例(IP 地址為 10.202.66.128),為其掛載新建的彈性文件系統(tǒng)。

圖 16 掛載彈性文件系統(tǒng)

彈性文件系統(tǒng)掛載完成。

圖 17 彈性文件系統(tǒng)掛載完成

(3)通過(guò)文件管理系統(tǒng)上傳文件至彈性文件系統(tǒng)。

圖 18 上傳文件

(4)上傳文件為“多用戶管理”的視頻文件。

圖 19 上傳文件

視頻上傳完成

圖 20 文件上傳完成

(5)選擇另外一個(gè)實(shí)例(IP 地址為 10.202.66.130)。

圖 21 實(shí)例(10.202.66.130)

(6)為實(shí)例(IP 地址為 10.202.66.130)掛載新建的彈性文件系統(tǒng)。

圖 22 掛載彈性文件系統(tǒng)

(7)彈性文件系統(tǒng)掛載完成后,通過(guò)文件管理系統(tǒng)可查看到多租戶管理”視頻文件已經(jīng)存在,說(shuō)明品高云彈性文件系統(tǒng)具備共享性特征。

圖 23 查看已存在的文件

分享到

崔歡歡

相關(guān)推薦