大數(shù)據(jù):媒體文件存儲的六大建議
王振 發(fā)表于:13年07月04日 16:45 [編譯] DOIT.com.cn
大數(shù)據(jù)在今年可算是一個熱門話題,但是對于廣播行業(yè)而言,這只不過是老生長談罷了。該行業(yè)在如何存儲大量的媒體文件方面已經(jīng)探索了好多年了。
CDW公司的企業(yè)存儲專家穆薩·瑪塔瑞耶說:“廣播數(shù)據(jù)可算是真正的原始大數(shù)據(jù),它們數(shù)量巨大,往往要占用大量的存儲空間。”
如今,IT行業(yè)的每樣?xùn)|西都發(fā)生了變化。實(shí)際上,廣播公司們需要像BBC更換《神秘博士》的演員那樣頻繁地改變自己的存儲系統(tǒng),而促進(jìn)這一變化的,應(yīng)該就是點(diǎn)播視頻的發(fā)展。
瑪塔瑞耶說:“你上網(wǎng)然后重新點(diǎn)播觀看午間新聞,就這個動作對架構(gòu)的性能要求很高,對數(shù)據(jù)的訪問要求也很高。這就要求企業(yè)要加固背后的可橫向擴(kuò)展架構(gòu)。”
下面就介紹幾個小建議來幫助你優(yōu)化媒體文件的存儲。
1.確定使用場景
大數(shù)據(jù)對數(shù)據(jù)存儲和數(shù)據(jù)分析都有要求。
NetApp產(chǎn)品及媒體娛樂解決方案部門的杰森·丹尼爾森說:“大數(shù)據(jù)對容量的要求是廣播公司這么多年來一直努力解決的問題,但是在對大量消費(fèi)者信息數(shù)據(jù)庫分析這個問題上,大部分廣播公司還未起步。”
不過,一些廣播公司已經(jīng)開始發(fā)力于大數(shù)據(jù)分析,比如說放棄進(jìn)行用戶調(diào)查而是選擇分析Twitter數(shù)據(jù)來更快速地獲得某項(xiàng)活動對用戶影響的反饋。從存儲的角度來看,大數(shù)據(jù)分析和媒體存儲最主要的不同是大數(shù)據(jù)分析需要低延遲訪問大量的小文件,而媒體存儲則要不間斷地訪問數(shù)量相對較少的文件。
2. 將閃存用于流媒體
在建立文件系統(tǒng)時,把元數(shù)據(jù)和縮略圖放在第一層存儲中,這里最好選擇固態(tài)硬盤或閃存,它們更適合于長文件,無論文件是低分辨率還是高解析度,它們都能輕松應(yīng)對。另外還包括4k的視頻——把它們放在更低層的存儲層中。這樣不僅適用于數(shù)據(jù)編輯,還適用于緩沖流媒體的點(diǎn)播。
StorageIO公司的高級顧問格爾茲·舒庫茨說:“視頻的縮略圖和開頭部分可以在線存儲在固態(tài)硬盤中用來實(shí)現(xiàn)快速訪問,后端的硬盤或磁帶則用來支持后續(xù)訪問(比如說減少一個視頻下載或緩沖的等待時間)。”
3.根據(jù)使用環(huán)境選擇正確的存儲
應(yīng)用對存儲系統(tǒng)的需求是不同的。
瑪塔瑞耶說:”對于廣播媒體公司來說,最好的解決方案要取決于使用環(huán)境。如果我們討論一些我們在媒體中經(jīng)常見到的應(yīng)用,其中有許多應(yīng)用自出現(xiàn)的時候就要占用存儲空間,不僅要在本地占用,還要跨過多個媒體通過光纖通道接口來實(shí)現(xiàn)大量數(shù)據(jù)轉(zhuǎn)移。對于這種情況,許多應(yīng)用程序都會有一個預(yù)先核實(shí)的它們支持的產(chǎn)品的生產(chǎn)商名單。“
他說自從考慮并選擇了針對單組數(shù)據(jù)的存儲系統(tǒng)之后,系統(tǒng)吞吐量和容量都增加了,支持更多的人同時下載或訪問同一首歌曲或同一個視頻,無論是實(shí)況轉(zhuǎn)播還是在線流媒體,系統(tǒng)處理起來都游刃有余,系統(tǒng)架構(gòu)也非常適合流媒體。
瑪塔瑞耶說:“這個系統(tǒng)的另一個優(yōu)勢是它們可以協(xié)同工作,多個應(yīng)用程序和用戶可以通過簡單的NFS訪問這個系統(tǒng),這就允許一個媒體文件可以在一個單一的平臺上被下載,編輯,或以流媒體的形式播放。”
4.保留磁帶
磁盤在許多領(lǐng)域都在代替磁帶,但是磁帶仍然在廣播行業(yè)中起到重要作用,一個單一的視頻文件就可以占若干TB的空間,利用磁帶可以建立活動歸檔。但是,如果你不想把那些幾乎再也用不著的視頻文件移到線下,你就可以利用磁帶庫,把它們建成活動歸檔,在需要的時候把它們恢復(fù)到硬盤上。
Spectra Logic公司的業(yè)務(wù)發(fā)展及合作高級副總裁侯賽因·茲沙科瑞說:“大數(shù)據(jù)環(huán)境中最流行的戰(zhàn)略是建立一個活動歸檔存儲模式;顒託w檔價(jià)格低廉,是一個可以在線完成的解決方案。通過把文件系統(tǒng)擴(kuò)展到磁帶上,可以訪問,存儲所有被創(chuàng)建的數(shù)據(jù)。一個活動歸檔包括生產(chǎn)數(shù)據(jù),不管它們多老,被訪問的頻率多么頻繁,它們?nèi)匀豢梢员辉诰恢復(fù)。”
5.不要進(jìn)行重復(fù)數(shù)據(jù)刪除
對于某些種類的文件而言,數(shù)據(jù)去重和壓縮有很大的優(yōu)勢,但是對于媒體存儲來說,它們的幫助卻不大。首先,許多文件一開始就已經(jīng)是壓縮格式了,比如MP3,MP4或WAV,再壓縮就會降低質(zhì)量了。
舒庫茨說:“在媒體領(lǐng)域,不用考慮去重類型功能,也不用在乎那些可在性能(帶寬),空間容量,可靠性,持久性以及管理方式等方面擴(kuò)展的的存儲方式。對于元數(shù)據(jù),可編輯或訪問頻繁的熱數(shù)據(jù)就適合存儲于固態(tài)硬盤中,而高性能,低消耗的SAS及SATA硬盤,還有支持LTO,LTFS的磁帶也可以滿足數(shù)據(jù)對帶寬和存儲空間的要求。”
但處理非媒體數(shù)據(jù)應(yīng)采用有更高IOPS的固態(tài)硬盤,而不是大容量的SAS或SATA硬盤。
6.要想到分析
EMC Isilon產(chǎn)品管理和市場部門副總裁山姆·克羅克特說:“當(dāng)提到媒體存儲時,大數(shù)據(jù)就是一個非常適用的術(shù)語。一些單一的文件很容易就達(dá)到了TB級,而每個電影都需要轉(zhuǎn)換為大概16種不同的格式以便在全世界范圍內(nèi)傳播,并應(yīng)用到多個平臺,媒體行業(yè)數(shù)據(jù)的增長要比其它行業(yè)多得多。”
但是廣播行業(yè)需要對大數(shù)據(jù)進(jìn)行分析,確保得到它們想要的回報(bào)。簡言之就是,觀眾們在點(diǎn)他們的鼠標(biāo)時有上千萬種娛樂選擇,通過大數(shù)據(jù)分析,企業(yè)要知道他們要提供給觀眾的是什么?
克羅克特說:“對于廣播公司來說,最重要的是它們?nèi)绾尾拍馨阉鼈兊馁Y產(chǎn)轉(zhuǎn)化成貨幣。為了達(dá)到這一目的,廣播公司們不僅要最大化觀眾的數(shù)量,還要從成千上萬的觀眾們看到它們的資產(chǎn)。”
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.