IT架構(gòu)將會(huì)如何應(yīng)對(duì)商業(yè)模式創(chuàng)新和成本控制的挑戰(zhàn)？商業(yè)模式的創(chuàng)新，需要滿足人們對(duì)更豐富多彩的媒體資源的渴求和交互體驗(yàn)的欲望。僅有純文字的表現(xiàn)形式已經(jīng)不能滿足需求，用戶需要更豐富的數(shù)字出版物、圖片、聲音以及視頻來表達(dá)和交流；僅有單向的傳播已經(jīng)不能滿足需求，用戶需要更豐富的交流與互動(dòng)體驗(yàn)；IT架構(gòu)必須能夠承載和傳播這些承爆發(fā)式增長(zhǎng)的非結(jié)構(gòu)化的數(shù)據(jù)。成本控制的壓力，需要我們采用可擴(kuò)展的柔性結(jié)構(gòu)，IT架構(gòu)的整體擁有成本最好能隨著業(yè)務(wù)需求的增長(zhǎng)而增長(zhǎng)，而不是需要超前的投資。然而，用戶訪問量的增長(zhǎng)卻從沒有停止過……相對(duì)于傳統(tǒng)應(yīng)用，視頻應(yīng)用有著非常大的用戶數(shù)量上漲空間，隨著網(wǎng)站的優(yōu)化整合，用戶將更加集中于優(yōu)秀的新媒體，IT設(shè)施將面臨更大挑戰(zhàn)……

      那么，新媒體需要什么樣的IT結(jié)構(gòu)、什么樣的存儲(chǔ)系統(tǒng)能夠更好的來支撐商業(yè)模式的創(chuàng)新，并合理的控制成本呢？下面將以在新媒體中最具代表性的視頻分享網(wǎng)站為例，來分析新媒體對(duì)IT結(jié)構(gòu)及其中的存儲(chǔ)系統(tǒng)的需求。

      首先，我們看視頻網(wǎng)站的IT結(jié)構(gòu)：分別由流媒體服務(wù)器、Web服務(wù)器、在線錄制服務(wù)器、視頻轉(zhuǎn)換服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、管理服務(wù)器、圖片服務(wù)器和其他服務(wù)器等一系列不同數(shù)量的服務(wù)器組成。

   
      由這幾個(gè)部分組合起來的IT結(jié)構(gòu)，如何才能支撐視頻分享門戶的競(jìng)爭(zhēng)優(yōu)勢(shì)呢？我們從以下兩方面來分析：

      1. 交互性體驗(yàn)方面：

      首先，為滿足用戶對(duì)交互體驗(yàn)的需要并保持自身的原創(chuàng)優(yōu)勢(shì)，需要為用戶提供視頻上傳和在線錄制視頻的功能；其次，需要把不同格式的視頻，轉(zhuǎn)換成該網(wǎng)站統(tǒng)一的格式；最后，需要在上傳后盡快發(fā)布以供播出。

      2. 服務(wù)壓力方面：

      首先，不但需要應(yīng)對(duì)已有的大數(shù)量的用戶訪問，而且將迎接持續(xù)的訪問量增長(zhǎng)；其次，當(dāng)用戶訪問量增加時(shí)，需要保持良好的反映速度和響應(yīng)時(shí)間；最后，必須面對(duì)清晰度日漸提高后，碼流增大所帶來的服務(wù)壓力。

      在各個(gè)技術(shù)層面上，我們?nèi)绾胃玫臐M足上述諸多需要呢？

      1. 在編解碼技術(shù)層面：編解碼技術(shù)不斷推陳出新，我們可以看到解碼效果更好，編碼壓縮率更高的編解碼方式等諸多方面均有良好進(jìn)展。尤其是由中科院計(jì)算所牽頭制定的AVS標(biāo)準(zhǔn)，是具有我國(guó)自主知識(shí)產(chǎn)權(quán)的新一代編解碼標(biāo)準(zhǔn)，將促進(jìn)我國(guó)新媒體行業(yè)的健康發(fā)展。

      2. 在媒體的傳輸層面：CDN技術(shù)已經(jīng)比較成熟，P2P技術(shù)的發(fā)展也非常的迅速，雖然存在缺乏統(tǒng)一標(biāo)準(zhǔn)等問題，但無法掩蓋P2P技術(shù)的鋒芒。目前，已有不少的視頻平臺(tái)運(yùn)營(yíng)商采用了P2P技術(shù)。此外，CDN＋P2P的復(fù)合技術(shù)也有了比較好的發(fā)展。

      3. 在媒體的服務(wù)提供層面：服務(wù)器集群技術(shù)已經(jīng)相當(dāng)成熟：雙機(jī)到多機(jī)的數(shù)據(jù)庫(kù)集群、由DNS輪詢或相關(guān)技術(shù)實(shí)現(xiàn)的Web服務(wù)器集群、由相關(guān)查詢指向技術(shù)實(shí)現(xiàn)的流媒體服務(wù)器集群等都可以比較方便的實(shí)現(xiàn)。成熟的服務(wù)器集群技術(shù)可以實(shí)現(xiàn)按需增加相應(yīng)應(yīng)用服務(wù)器來應(yīng)對(duì)業(yè)務(wù)需求，足以為新媒體行業(yè)提供良好的支撐。

      4. 在媒體資源存儲(chǔ)方面：需要有大容量、高帶寬、可共享的存儲(chǔ)技術(shù)來支撐，而傳統(tǒng)的存儲(chǔ)結(jié)構(gòu)和存儲(chǔ)技術(shù)，卻不能很好的滿足視頻網(wǎng)站的存儲(chǔ)需求。那么視頻網(wǎng)站在存儲(chǔ)方面都有什么具體的要求，怎么樣才能夠滿足這些要求呢？

      下面我們通過一個(gè)實(shí)例來詳細(xì)分析視頻網(wǎng)站的存儲(chǔ)需求：

      首先是選擇存儲(chǔ)系統(tǒng)的體系結(jié)構(gòu)。傳統(tǒng)存儲(chǔ)的體系結(jié)構(gòu)無非有兩種：集中式和分布式。新媒體存儲(chǔ)方案面臨著集中式存儲(chǔ)和分布式存儲(chǔ)兩種選擇，兩種結(jié)構(gòu)各有優(yōu)缺點(diǎn)，選擇起來其實(shí)是比較困難的。本案中的視頻網(wǎng)站的存儲(chǔ)結(jié)構(gòu)經(jīng)歷了“集中–分布–分布式的集中存儲(chǔ)”的變遷：

      網(wǎng)站建立之初，采用了集中式的存儲(chǔ)結(jié)構(gòu)。 

      集中式的存儲(chǔ)方案如下圖：

      很多新媒體的存儲(chǔ)采用的大多類似于上圖的、集中式的存儲(chǔ)結(jié)構(gòu)來存放所有媒體數(shù)據(jù)，通常為NAS架構(gòu)。簡(jiǎn)單地說，就是一臺(tái)大容量的文件服務(wù)器，而高端的NAS結(jié)構(gòu)是由一個(gè)NAS頭后面接SAS、SCSI或光纖盤陣。

      集中式存儲(chǔ)的優(yōu)點(diǎn)是比較明顯的：

      1. 集中存儲(chǔ)可實(shí)現(xiàn)服務(wù)的負(fù)載均衡，由于流媒體服務(wù)間的數(shù)據(jù)都是共享且統(tǒng)一的，當(dāng)發(fā)生熱點(diǎn)繁忙時(shí)，所有流媒體服務(wù)器都可為其提供服務(wù)，分減壓力，而不像分布式的存儲(chǔ)會(huì)出現(xiàn)熱點(diǎn)繁忙，沒有熱點(diǎn)內(nèi)容的存儲(chǔ)出現(xiàn)空閑這種不均勻情況。

      2. 集中存儲(chǔ)提高了存儲(chǔ)資源的利用率。

      3. 集中的高Raid 級(jí)別保護(hù)且成本較低，分布式存儲(chǔ)都實(shí)現(xiàn)Raid保護(hù)成本高昂。

      4. 集中的備份（快照）恢復(fù)，能方便的實(shí)現(xiàn)遠(yuǎn)程容災(zāi)。

      5. 集中存儲(chǔ)方案管理復(fù)雜度相對(duì)較低，以管理Mount點(diǎn)為例：需管理Mount點(diǎn)的數(shù)量為16（M+N+F+W）個(gè)，即上圖中的16根藍(lán)線。

      6. 集中存儲(chǔ)同時(shí)也是對(duì)流媒體服務(wù)器視頻內(nèi)容的集中管理。

      基于以上優(yōu)點(diǎn)，在視頻網(wǎng)站發(fā)展和訪問量增長(zhǎng)的同時(shí)，該網(wǎng)站最終還是放棄集中式的存儲(chǔ)結(jié)構(gòu)轉(zhuǎn)而采用分布式的存儲(chǔ)結(jié)構(gòu)，這是為什么呢？

      原因是：NAS頭成為存儲(chǔ)瓶頸……

   
      在這幅圖中，我們可以看到傳統(tǒng)的集中存儲(chǔ)方案中，存在如下問題：

      –I/O瓶頸

      –容量擴(kuò)展性差

      –性能不可擴(kuò)展

      –專業(yè)高端NAS成本高昂

      –單點(diǎn)故障

      隨著數(shù)據(jù)量的增加，存儲(chǔ)壓力也變得越來越集中，NAS已不足以支撐現(xiàn)有的應(yīng)用，無法更好的應(yīng)對(duì)未來的挑戰(zhàn)。既而，該網(wǎng)站從集中式的存儲(chǔ)方式轉(zhuǎn)向了采用分布式的存儲(chǔ)方式。

   
      圖中，每臺(tái)服務(wù)器上都提供文件共享服務(wù)，由應(yīng)用層來實(shí)現(xiàn)媒體資源數(shù)據(jù)在各個(gè)服務(wù)器集群之間的遷移，從而比較好的解決了集中存儲(chǔ)的IO瓶頸問題，但是問題也隨之而來。

      –分布式的存儲(chǔ)沒有負(fù)載均衡，例如：發(fā)生熱點(diǎn)的時(shí)候、部分流媒體服務(wù)器忙或部分閑置

      –分布式存儲(chǔ)利用相對(duì)較低率，重復(fù)數(shù)據(jù)大量存在，且份數(shù)多

      –無法實(shí)現(xiàn)集中的高Raid 級(jí)別保護(hù)

      –快照、備份、恢復(fù)、遠(yuǎn)程容災(zāi)比集中存儲(chǔ)實(shí)現(xiàn)成本高

      –需要在應(yīng)用層對(duì)存儲(chǔ)層過多關(guān)注。管理復(fù)雜度程幾何級(jí)增長(zhǎng)，整體系統(tǒng)維護(hù)工作越來越復(fù)雜、繁重。以管理Mount點(diǎn)為例：同樣的服務(wù)器數(shù)，需管理Mount點(diǎn)的數(shù)量為48 [M*(N+F)+W*N]個(gè)，即上圖中的48根紅線，遠(yuǎn)大于集中存儲(chǔ)結(jié)構(gòu)。這僅僅是Mount點(diǎn)一項(xiàng)，還不包括各個(gè)點(diǎn)存儲(chǔ)數(shù)據(jù)的維護(hù)，在實(shí)際應(yīng)用中相關(guān)的工作量是相當(dāng)驚人，管理員疲于奔命。

      既然傳統(tǒng)的集中和分布都存在不同的問題，怎么樣去解決？在給出答案之前，我們重新歸納前面分析的視頻網(wǎng)站對(duì)存儲(chǔ)的需求：

      1. 各種服務(wù)器集群之間有視頻傳遞的需求，需要上傳服務(wù)器、流媒體服務(wù)器、在線錄制服務(wù)器和轉(zhuǎn)換服務(wù)器之間的視頻文件是互相可見的，翻譯成存儲(chǔ)的語(yǔ)言則需要文件級(jí)共享的存儲(chǔ)。

      2. 各種應(yīng)用服務(wù)器可能使用著不同的操作系統(tǒng)平臺(tái)，都需要無差異的訪問到存儲(chǔ)空間，而翻譯成存儲(chǔ)的語(yǔ)言則需要跨平臺(tái)共享的存儲(chǔ)。

      3. 多臺(tái)流媒體服務(wù)器之間的存儲(chǔ)容量需要共享，從而提高存儲(chǔ)空間的利用率。如采用傳統(tǒng)SAN上面劃分獨(dú)立的存儲(chǔ)空間，給每臺(tái)服務(wù)器的類似做法顯然是不可接受的，并且需要視頻內(nèi)容合理的分布在各個(gè)存儲(chǔ)設(shè)備上，翻譯成存儲(chǔ)的語(yǔ)言則需要存儲(chǔ)容量的負(fù)載均衡。

      4. 單臺(tái)存儲(chǔ)設(shè)備的存儲(chǔ)速度始終是有限的，需要多個(gè)存儲(chǔ)設(shè)備的聚合才能滿足視頻內(nèi)容訪問量的爆炸式的增長(zhǎng)，翻譯成存儲(chǔ)的語(yǔ)言則需要多臺(tái)存儲(chǔ)設(shè)備間的存儲(chǔ)速度的聚合，從而實(shí)現(xiàn)存儲(chǔ)速度的負(fù)載均衡。

      5. 新增視頻內(nèi)容的不斷添加會(huì)導(dǎo)致存儲(chǔ)容量的不斷擴(kuò)大，在添加設(shè)備擴(kuò)展容量的時(shí)，能夠不影響原有系統(tǒng)，且平滑擴(kuò)展，能夠?qū)崿F(xiàn)在線的擴(kuò)展業(yè)務(wù)系統(tǒng)不停機(jī)，翻譯成存儲(chǔ)的語(yǔ)言則需要容量線性可擴(kuò)展，能夠?qū)崿F(xiàn)在線擴(kuò)容。

      6. 隨著用戶訪問量增長(zhǎng)和視頻清晰度提高帶來的帶寬增長(zhǎng)等諸多增長(zhǎng)因素的影響，對(duì)存儲(chǔ)帶寬的增長(zhǎng)需求，要求存儲(chǔ)系統(tǒng)實(shí)現(xiàn)帶寬隨容量呈線性增長(zhǎng)。

      7. 合理的成本控制是一個(gè)恒久的話題，需要存儲(chǔ)系統(tǒng)的總體擁有成本隨容量的擴(kuò)展而合理的擴(kuò)展，不能出現(xiàn)突變式的增長(zhǎng)。

      8. 穩(wěn)定性自然不用說，需要存儲(chǔ)系統(tǒng)采用冗余結(jié)構(gòu)以提高系統(tǒng)的穩(wěn)定性。

      為了滿足上述需求，當(dāng)我們面對(duì)“集中VS.分布”這個(gè)艱難抉擇的時(shí)候，技術(shù)的不斷進(jìn)步，涌現(xiàn)出：分布式的集中存儲(chǔ)結(jié)構(gòu)??集群存儲(chǔ)技術(shù)，其核心技術(shù)是集群文件系統(tǒng)。

      目前，廣為流行的集群文件系統(tǒng)的典型代表主要有：

      –Google 的GFS （Google File System）

      –中科儲(chǔ)天公司的BWFS（Blue Whale File System）

      –Panasas 的PanFS （PanFS File System）

      –IBM 的 GPFS （General Parallel File System)

      –CFS 的 Lustre （Lustre File System）

      由中科院計(jì)算所工程中心自主研發(fā)的、后經(jīng)中科儲(chǔ)天公司產(chǎn)品化的藍(lán)鯨集群存儲(chǔ)系統(tǒng)（BWStor）是以藍(lán)鯨集群文件系統(tǒng)BWFS(Blue Whale File System)為核心技術(shù)的集群存儲(chǔ)系統(tǒng)，是一種分布式的集中存儲(chǔ)系統(tǒng)。它可以很好的滿足以視頻網(wǎng)站為代表的新媒體行業(yè)的存儲(chǔ)需求。同時(shí)，BWStor是具有中國(guó)特色的自主知識(shí)產(chǎn)權(quán)存儲(chǔ)產(chǎn)品的杰出代表之一。

      BWStor 的特點(diǎn)可完全滿足視頻網(wǎng)站對(duì)流媒體服務(wù)的存儲(chǔ)需求，其特點(diǎn)如下：

      . 統(tǒng)一的全局命名空間

      . 文件級(jí)共享

      . 先進(jìn)的分布式存儲(chǔ)結(jié)構(gòu)

      . 高的聚合I/O帶寬

      . 跨Linux平臺(tái)和Windows平臺(tái)的文件共享

      . 分布式結(jié)構(gòu)，卓越的擴(kuò)展能力

      —線性擴(kuò)展I/O帶寬

      —良好的系統(tǒng)負(fù)載平穩(wěn)性

      —動(dòng)態(tài)擴(kuò)展存儲(chǔ)容量

      . 維護(hù)簡(jiǎn)便??管理、監(jiān)控一體化

      . 高可用??全冗余的結(jié)構(gòu)

      . 部署快速??接入以太網(wǎng)交換機(jī)，安裝客戶端，即可使用

      . 成本可控??成本隨容量和速度的增長(zhǎng)而增長(zhǎng)

      BWStor所具備的特點(diǎn)，很好的切合了視頻網(wǎng)站對(duì)存儲(chǔ)的需求：

      –文件共享、統(tǒng)一的全局命名空間??上傳服務(wù)器和流媒體服務(wù)器之間的文件可見性；多臺(tái)流媒體服務(wù)器間的存儲(chǔ)容量共享

      –多臺(tái)存儲(chǔ)設(shè)備間的存儲(chǔ)速度的聚合??流媒體服務(wù)器可用的存儲(chǔ)速度負(fù)載均衡

      –跨平臺(tái)共享（Windows/Linux）??支持不同平臺(tái)的流媒體服務(wù)器、上傳和其他服務(wù)器

      –容量線性可擴(kuò)展??使流媒體服務(wù)能應(yīng)對(duì)不斷擴(kuò)大的存儲(chǔ)容量需求

      –帶寬隨著容量線性增長(zhǎng)??使流媒體服務(wù)能應(yīng)對(duì)不斷擴(kuò)大的用戶訪問量； 可以按需擴(kuò)大流媒體服務(wù)器的數(shù)量而不用擔(dān)心存儲(chǔ)

      –成本需隨著容量的擴(kuò)展而擴(kuò)展??良好的成本控制

      –全冗余結(jié)構(gòu)??穩(wěn)定的強(qiáng)壯的存儲(chǔ)系統(tǒng)

      BWStor邏輯圖如下：

   
      作為第三代的存儲(chǔ)技術(shù)，BWStor采用帶外體系結(jié)構(gòu)，能夠支撐優(yōu)質(zhì)的流媒體服務(wù)、提升新媒體的核心競(jìng)爭(zhēng)優(yōu)勢(shì)、充分滿足現(xiàn)有需求，并可積極地應(yīng)對(duì)未來業(yè)務(wù)發(fā)展對(duì)存儲(chǔ)應(yīng)用提出的巨大挑戰(zhàn)。BWStor的使用和管理與集中式存儲(chǔ)一樣方便，拓?fù)鋱D如下：

  
   
      隨著新媒體行業(yè)的發(fā)展，大家都會(huì)遇到各種各樣的存儲(chǔ)方面的問題，非常歡迎業(yè)界的朋友與筆者共同探討有關(guān)新媒體行業(yè)的存儲(chǔ)問題。

      MSN：zhilizhu@hotmail.com
      E-mail：zhuzhili@nrchpc.ac.cn

多易