|
主持人：尊敬的各位來(lái)賓，歡迎在百忙之中蒞臨2012年中國(guó)存儲(chǔ)峰會(huì)，我是主持人。今天下午本次分會(huì)場(chǎng)討論主題是大數(shù)據(jù)創(chuàng)新，在今天下午我們請(qǐng)到五位業(yè)內(nèi)專家分享他們的嘉賓。同時(shí)演講結(jié)束后進(jìn)行抽獎(jiǎng)活動(dòng)。請(qǐng)?jiān)谘葜v過(guò)程中調(diào)成靜音狀態(tài)，感謝你的參與。首先我們有請(qǐng)NetApp大中華區(qū)技術(shù)顧問(wèn)張偉先生，演講主題是大數(shù)據(jù)的ABCNetApp大數(shù)據(jù)解決方案。 張偉：今天跟高興跟大家做一個(gè)交流，分析帶寬和大容量的解決方案。今天主要的內(nèi)容第一個(gè)大數(shù)據(jù)市場(chǎng)分析，第二個(gè)就是NetApp在大數(shù)據(jù)方面的方法和理念。我先介紹NetApp公司，是92年專門成立的做存儲(chǔ)，NetApp是公司一直關(guān)注與存儲(chǔ)的領(lǐng)域，目前來(lái)說(shuō)是世界500強(qiáng)之一，比較專業(yè)的。NetApp提供產(chǎn)品組合，解決方案，另外一方面與業(yè)界領(lǐng)先的公司合作，提供廣泛的解決方案。在全球來(lái)看目前來(lái)說(shuō)有大概1萬(wàn)2千人左右，它在2000年左右進(jìn)入中國(guó)，比如說(shuō)在金融、電信、能源各行各業(yè)都是比較大的份額。在500強(qiáng)里面有77%的都是NetApp的客戶，這是一個(gè)基本的情況�？纯次覀兇髷�(shù)據(jù)的解決方案。 大數(shù)據(jù)怎么來(lái)的？為什么這兩年引起大家的興趣。我們看一下幾張圖案，一個(gè)是（英文）的圖案。對(duì)于傳統(tǒng)的郵件來(lái)說(shuō)，每天我們發(fā)出多少郵件，每天有上千億封的郵件會(huì)在全球傳來(lái)傳去。另外這幾年新興的博客，比過(guò)傳統(tǒng)報(bào)紙一年的發(fā)行量。再有就是移動(dòng)設(shè)備，就是說(shuō)手機(jī)這種設(shè)備，它每天發(fā)送的信息量大家可以想象一下，每天實(shí)際上有43個(gè)PB級(jí)的數(shù)據(jù)量。再有就是比較著名的FaceBook每天更新量也是很大，這么大的數(shù)據(jù)量造成我們現(xiàn)在數(shù)據(jù)瓶頸的一個(gè)原因。 有人問(wèn)我的信息化建設(shè)從90年代開始，為什么到現(xiàn)在突然大數(shù)據(jù)成為一個(gè)話題，一個(gè)難題，在企業(yè)內(nèi)部可能會(huì)碰到，是怎么回事？大家可以看一下，計(jì)算一下。我在2010有100PB，經(jīng)過(guò)6年大家1.1個(gè)GB，到2020年這個(gè)數(shù)據(jù)增長(zhǎng)達(dá)到58倍這么一個(gè)水平，大家可以看一下前兩年是11倍，再過(guò)四年增長(zhǎng)到50倍，實(shí)際上數(shù)據(jù)的發(fā)展越來(lái)越快的。大家以前經(jīng)常聽一個(gè)故事，把一張報(bào)紙來(lái)回折疊，折疊10次，折疊30次多厚，折疊30多次以后超過(guò)喜馬拉雅的高度。這是下面的圖表是做的一個(gè)調(diào)查統(tǒng)計(jì)，社交網(wǎng)站，移動(dòng)設(shè)備，對(duì)我們傳統(tǒng)來(lái)說(shuō)業(yè)務(wù)發(fā)展也是比較迅速的。以往的一些（英文）基礎(chǔ)設(shè)施增長(zhǎng)也很迅速。對(duì)于這么大的數(shù)據(jù)量我們是如何解決的，它會(huì)有什么問(wèn)題，我們具體看一下？ 在信息化建設(shè)的頭10年，20世紀(jì)90年代，大家沒(méi)有太注意這個(gè)問(wèn)題，因?yàn)楹芏鄶?shù)據(jù)剛剛產(chǎn)生，這時(shí)候大家偏重于技術(shù)，應(yīng)用的性能，這是我們IT部門多數(shù)把我們工作重心放在性能的解決，我們買一套存儲(chǔ)。在21世紀(jì)初IT發(fā)展比較迅猛及我們數(shù)據(jù)量產(chǎn)生比較多，這時(shí)候?qū)τ贗T部門我們并不是簡(jiǎn)單的關(guān)注性能，另外一個(gè)關(guān)注點(diǎn)是效率。我們?nèi)绾文軌蛞杂行У氖侄螌?shí)現(xiàn)事半功倍的效果，這是IT部門考慮的另外一個(gè)問(wèn)題，效率。如何控制我的數(shù)據(jù)量增長(zhǎng)沒(méi)有那么大，如何提高我存儲(chǔ)的服務(wù)器。 再有一個(gè)就是這10年，數(shù)據(jù)量比較大了，而成規(guī)模了，這種情況下，實(shí)際上對(duì)于IT部門來(lái)說(shuō)就要注意我企業(yè)內(nèi)部有沒(méi)有產(chǎn)生大數(shù)據(jù)的業(yè)務(wù)，有沒(méi)有這種難題，傳統(tǒng)的架構(gòu)能不能滿意我業(yè)務(wù)的要求，這時(shí)候大數(shù)據(jù)應(yīng)運(yùn)而生了，這是我們IT部門，很多客戶，很多服務(wù)廠商所要解決的一個(gè)問(wèn)題。在這種架構(gòu)下，大家希望提供一個(gè)靈活的架構(gòu)，滿足企業(yè)內(nèi)部不同的需求。這個(gè)架構(gòu)不會(huì)造成我操作的復(fù)雜性，這樣一個(gè)考慮。 我不知道大家以前有沒(méi)有統(tǒng)計(jì)現(xiàn)在傳輸?shù)臄?shù)據(jù)有多少，全球數(shù)據(jù)量達(dá)到了ZB這個(gè)級(jí)別，數(shù)據(jù)量非常大。隨著社交網(wǎng)站，云計(jì)算，這種智能設(shè)備的發(fā)展，數(shù)據(jù)量還會(huì)迅猛的發(fā)展，據(jù)估算到2020年達(dá)到2B級(jí)，這個(gè)80%都是非結(jié)構(gòu)化的數(shù)據(jù)，一篇一篇的文章。所以對(duì)于大數(shù)據(jù)業(yè)務(wù)來(lái)說(shuō)，大數(shù)據(jù)的解決方案，我們?nèi)绻鉀Q好這一部分的業(yè)務(wù)，基本上滿足我們自身內(nèi)部的大數(shù)據(jù)的難題。 大數(shù)據(jù)是不是只是針對(duì)某一個(gè)客戶某一個(gè)行業(yè)，就我們來(lái)看不是這樣，大數(shù)據(jù)是貫徹到所有的行業(yè)，比如說(shuō)金融行業(yè)，可能涉及到信用卡的分析統(tǒng)計(jì)，對(duì)反洗錢的監(jiān)控。比如說(shuō)交通做視頻監(jiān)控，監(jiān)控流量，對(duì)醫(yī)療保健我們有很多數(shù)字醫(yī)療設(shè)備，我們X光都是數(shù)字化了，這樣的大量信息也會(huì)造成數(shù)據(jù)的巨增。各行各業(yè)都有大數(shù)據(jù)的問(wèn)題，事先沒(méi)有意識(shí)到這一點(diǎn)，你構(gòu)造數(shù)據(jù)中心可能會(huì)遇到未來(lái)的一些瓶頸。 我們剛才說(shuō)以O(shè)OPD方面為中心，這個(gè)特點(diǎn)是大量的小數(shù)據(jù)，對(duì)性能IOPS要求比較高。這個(gè)作為企業(yè)的核心應(yīng)用。隨著大數(shù)據(jù)的發(fā)展，大家可以看一下對(duì)另外一個(gè)范疇，高帶寬，高性能訪問(wèn)，這種分析業(yè)務(wù)，這時(shí)候也會(huì)產(chǎn)生很多的內(nèi)容。包括以往我們說(shuō)的支持分析，常常對(duì)數(shù)據(jù)有快速的分析，大數(shù)據(jù)推動(dòng)了這個(gè)業(yè)務(wù)，總體核心業(yè)務(wù)向非結(jié)構(gòu)化的主體業(yè)務(wù)發(fā)展。大數(shù)據(jù)會(huì)帶來(lái)什么樣的影響？ 爆炸式的增本，第一個(gè)造成企業(yè)成本的增長(zhǎng)，我需要存儲(chǔ)、備份，我在五年之前聽說(shuō)過(guò)，那時(shí)候1T，那時(shí)候用一個(gè)備份軟件，把數(shù)據(jù)備份過(guò)去，從主存儲(chǔ)備份到磁帶上，這時(shí)候發(fā)展幾十TB，采取傳統(tǒng)手段是不是有效，在數(shù)據(jù)丟失之后，是不是可以恢復(fù)，讓我業(yè)務(wù)正常運(yùn)行，這時(shí)候?qū)τ趥鹘y(tǒng)的備份手段，存儲(chǔ)手段提出更高的要求。分析的數(shù)據(jù)還要寫完磁盤上，這樣大量的數(shù)據(jù)可能加載也變大。大家對(duì)這一塊也都缺少一定的經(jīng)驗(yàn)。 大數(shù)據(jù)來(lái)說(shuō)它是如何打破原有的體系架構(gòu)，我們90年代建立的體系架構(gòu)，2000年初建立的體系架構(gòu)，能不能滿足我們大數(shù)據(jù)的要求。三方面看一下。第一大數(shù)據(jù)的復(fù)雜性。大數(shù)據(jù)以非結(jié)構(gòu)化的為主，一般來(lái)說(shuō)是實(shí)時(shí)性的，而且數(shù)據(jù)是相關(guān)的。在這種相關(guān)聯(lián)的數(shù)據(jù)里面，加上我們以往的包括TB業(yè)務(wù)，如何加上新數(shù)據(jù)分析系統(tǒng)滿足我數(shù)據(jù)分析要求，這是第一個(gè)難題。我們傳統(tǒng)的架構(gòu)不適用。 第二主體的速度，不管是視頻這時(shí)候?qū)τ谖掖鎯?chǔ)的性能要求也比較高。傳統(tǒng)的性能，傳統(tǒng)的價(jià)格，能不能滿足我性能的要求。 第三個(gè)就是量，就是體積。那么在這種情況下，數(shù)據(jù)量越來(lái)越大，如何能在線動(dòng)態(tài)調(diào)整我的業(yè)務(wù)，我的空間，我的應(yīng)用程序，使它能夠不影響我的業(yè)務(wù)，并且我能找到一個(gè)空間調(diào)整，這是對(duì)于體積來(lái)說(shuō)，也是對(duì)于我們傳統(tǒng)架構(gòu)的挑戰(zhàn)。 NetApp希望從這幾點(diǎn)解決上述的一個(gè)難題。第一個(gè)控制，我可以控制我這么大的數(shù)據(jù)量，增長(zhǎng)緩慢一些，使我們效果提高一些，采取一些去重、壓縮功能。并且能夠突破到比傳統(tǒng)理念概念更大的規(guī)模。傳統(tǒng)上我們是16個(gè)G，NetApp有一些可以調(diào)整更大，幾百G甚至是TB的級(jí)別。操作的復(fù)雜性。通過(guò)這種手段。 就來(lái)就是洞察力，數(shù)據(jù)在磁盤上不是作為一個(gè)死數(shù)據(jù)。NetApp提出了自己的解決方案ABC。A是分析，第二B是帶寬的縮寫，第三C是容量。NetApp希望從這三個(gè)角度提出我們解決方案。在一些場(chǎng)合我們發(fā)現(xiàn)基本上逃不過(guò)這三個(gè)模式。有些希望我們對(duì)大數(shù)據(jù)分析，有些是產(chǎn)生帶寬。我們可以分別從這個(gè)角度混合使用。NetApp預(yù)測(cè)，這幾年大數(shù)據(jù)量越來(lái)越大，2012年可能是1.7，到2016年高帶寬大容量也會(huì)同比的增長(zhǎng)。不管是對(duì)于這種方案供應(yīng)商來(lái)說(shuō)，都是比較大的機(jī)會(huì)。 那么NetApp在這塊主要是提供了這幾種解決方案，第二根據(jù)數(shù)據(jù)分析，極端大數(shù)據(jù)的高性能分析，把數(shù)據(jù)做出來(lái)找到帶寬。在線網(wǎng)站一些運(yùn)營(yíng)的公司都在采用，雅虎、騰訊、淘寶，提供一些有價(jià)值的信息過(guò)決策者，讓他們做出明確的決策。來(lái)自交管部門攝象頭的數(shù)據(jù)，這需要把它存儲(chǔ)在我的存儲(chǔ)上。有（英文）、（英文）解決方案。 圖片共享，這是一個(gè)傳統(tǒng)的（英文），這個(gè)隨著用戶人數(shù)的增長(zhǎng)，發(fā)展的越來(lái)越快。再一個(gè)就是企業(yè)內(nèi)部的應(yīng)用，我的監(jiān)督系統(tǒng)，我去銀行辦理手續(xù)，身份證件，圖片和監(jiān)督，我們的保險(xiǎn)都會(huì)在這種范疇。再一個(gè)我們的（英文）分布式的存儲(chǔ)。（英文）是NetApp的一個(gè)軟件，我們把通常把放在一個(gè)站點(diǎn)的數(shù)據(jù)，可以給它分散到幾十個(gè)上百個(gè)的站點(diǎn)，這是一種架構(gòu)，突破了我們傳統(tǒng)上只有一個(gè)數(shù)據(jù)中心的范疇。保證你在北京訪問(wèn)一個(gè)數(shù)據(jù)，我飛到海南、美國(guó)還可以訪問(wèn)相同的數(shù)據(jù)，同時(shí)這個(gè)數(shù)據(jù)我會(huì)在后臺(tái)放多份，這樣不管我位置在哪里，我都可以放相同的數(shù)據(jù)，會(huì)有自動(dòng)的后臺(tái)同步，這樣的解決方案。 這是NetApp目前的市場(chǎng)，傳統(tǒng)是右邊綠色我們叫做共享的架構(gòu)，我可以采用虛擬化的架構(gòu)和方案。對(duì)于大數(shù)據(jù)的范疇主要是ABC三個(gè)范疇，NetApp是另外一個(gè)系列的產(chǎn)品E系列的產(chǎn)品，滿足ABC相關(guān)的解決方案，我們具體的來(lái)看一下。 傳統(tǒng)上NetApp是有大型的產(chǎn)品線，提供更高效能，更多的（英文），提供集成的數(shù)據(jù)方案，我們數(shù)據(jù)在傳統(tǒng)上我們需要（英文）軟件進(jìn)行備份，B2B的存儲(chǔ)，也支持第三方的產(chǎn)商，比如說(shuō)IBM的存儲(chǔ)。 再有就是E系列，有高中低的產(chǎn)品，特點(diǎn)主要是高密度高性能的大容量，滿足我ABC三個(gè)方面的要求。 在傳統(tǒng)上基本上是這種架構(gòu)，我們說(shuō)的在90年代2000年初，就是用一個(gè)獨(dú)特的存儲(chǔ)池，滿足某一類的存儲(chǔ)業(yè)務(wù)，做一些比如說(shuō)PSS分析，數(shù)據(jù)要相互矛盾，在整個(gè)的架構(gòu)里面。大家知道幾個(gè)GB的數(shù)據(jù)可以，達(dá)到TB級(jí)PB級(jí)，（英文）適合這種架構(gòu)，我在存儲(chǔ)端是一個(gè)靈活的結(jié)構(gòu)，我數(shù)據(jù)空間可以進(jìn)行動(dòng)態(tài)生長(zhǎng)。本身存在熱點(diǎn)，這些熱點(diǎn)也會(huì)在我的存儲(chǔ)后臺(tái)同步交換，整個(gè)的過(guò)程中前端業(yè)務(wù)不會(huì)中斷的，這是NetApp的基本的勾勾。我們會(huì)采用（英文），提供光纖盤的性能，保證我增長(zhǎng)空間沒(méi)有那么快，NetApp新的架構(gòu)提高存儲(chǔ)的靈活率，滿足前端的要求。通過(guò)存儲(chǔ)效率的提高，降低管理成本，降低大數(shù)據(jù)增長(zhǎng)的時(shí)候，對(duì)于我們成本的壓力。 第一個(gè)對(duì)于數(shù)據(jù)分析來(lái)說(shuō)，一個(gè)人的消費(fèi)模式，我在某些地方發(fā)生了這種詐騙，我是否接受它這種請(qǐng)求，這是我們需要（英文）系統(tǒng)。對(duì)于傳統(tǒng)的社交網(wǎng)站數(shù)據(jù)量非常大，這么大的數(shù)據(jù)量讀出來(lái)分析把結(jié)果寫回原來(lái)位置，這時(shí)候?qū)Υ鎯?chǔ)來(lái)說(shuō)壓力比較大。NetApp一些傳統(tǒng)的（英文），結(jié)構(gòu)化的統(tǒng)計(jì)，建立了一些優(yōu)勢(shì)，比如說(shuō)（英文）的合作，做大數(shù)據(jù)的解決方案。在一些新興領(lǐng)域，我們傳統(tǒng)的F系列也可以滿足，同樣可以提供這種解決方案。在數(shù)據(jù)分析這個(gè)領(lǐng)域，一般來(lái)看我們覺得結(jié)點(diǎn)可能不斷的擴(kuò)充，第一造成我流量的擴(kuò)充，第二我希望這個(gè)性能同樣得到發(fā)展�；旧衔译S著我結(jié)點(diǎn)的增加，性能也是這種線的增長(zhǎng)，這時(shí)候不管你數(shù)據(jù)量初始多大，一開始比較小，伴隨能量增長(zhǎng)，這個(gè)性能也跟著提高。 NetApp自身也是利用了這個(gè)情況，我們有一個(gè)（英文）的網(wǎng)站，把我們存儲(chǔ)信息的通到后臺(tái)，檢查硬盤是不是有問(wèn)題。在這個(gè)架構(gòu)下面，NetApp對(duì)做分析，某些磁盤是不是比較大，傳統(tǒng)上這個(gè)數(shù)據(jù)量是240一條，在NetApp架構(gòu)解決方案就可以得到一個(gè)結(jié)果，磁盤的分析。另外一個(gè)我們本身可能有問(wèn)題鼓掌，NetApp通過(guò)方式去檢測(cè)，NetApp做了這種解決方案以后，18個(gè)小時(shí)可能得到結(jié)果，這對(duì)于我們用戶和我們自身來(lái)說(shuō)都是有好處的。 再有一個(gè)剛才說(shuō)的就是帶寬，這塊NetApp主要是從E系列，通過(guò)不同的產(chǎn)品提高高性能的要求，他可以提供6GB的帶寬，3GB的帶寬。通過(guò)這種方式基本上滿足我對(duì)大容量高性能的要求，這塊前端主要是有一個(gè)性能優(yōu)化的文件系統(tǒng)，這個(gè)（英文）有聯(lián)合的解決方案，是打包的解決方案，我們用可以直接拿它用。在這種高帶寬E系列，滿足我說(shuō)的幾個(gè)方面，對(duì)于傳統(tǒng)視頻的要求，對(duì)地震處理的要求，對(duì)媒體的高性能要求都可以得到解決。 衛(wèi)星發(fā)圖片，在無(wú)人駕駛飛機(jī)進(jìn)行拍照時(shí)候，這個(gè)都可以很高效的放到我們的磁盤上。 最后一個(gè)就是我們內(nèi)容，這塊通過(guò)我們傳統(tǒng)軟件可以實(shí)現(xiàn)了，可以提供傳統(tǒng)業(yè)務(wù)的滿足，新興的業(yè)務(wù)里面NetApp通過(guò)（英文）加我們E系列提供解決方案。在這個(gè)架構(gòu)上面?zhèn)鹘y(tǒng)主要是提供文件的（英文）服務(wù)，要求有集成的數(shù)據(jù)保護(hù)，數(shù)據(jù)不需要在我網(wǎng)絡(luò)上像螞蟻搬家式的從這邊搬到那邊，這種對(duì)我們沒(méi)有任何好處。在我們真正需要的時(shí)候，很可能沒(méi)有辦法要求。我需要幾個(gè)TB這么大的空間，做業(yè)務(wù)的要求，比如說(shuō)我醫(yī)院醫(yī)療系統(tǒng)可能需要（不清）。我的其他的文件，企業(yè)內(nèi)部的整個(gè)文件。下面是我們（英文）采用分布式的，自動(dòng)到后臺(tái)，分散到我都個(gè)軟件，標(biāo)準(zhǔn)的云機(jī)構(gòu)的解決方案，保證我數(shù)據(jù)自動(dòng)的在任何一個(gè)地方都可以得到最新的訪問(wèn)。 我們的基礎(chǔ)架構(gòu)可以實(shí)現(xiàn)，可以保證我數(shù)據(jù)在里面上下移動(dòng)，我一個(gè)磁盤不夠用，可以把業(yè)務(wù)分擔(dān)出去，把數(shù)據(jù)移來(lái)移去，把存儲(chǔ)瓶頸移開。我某個(gè)有存儲(chǔ)出問(wèn)題需要維護(hù)怎么辦？可以把業(yè)務(wù)遷徙到其他存儲(chǔ)，修好之后再移回來(lái)。如果不能滿足我存儲(chǔ)，我可以增加幾個(gè)存儲(chǔ)，這時(shí)候我的增長(zhǎng)是靈活動(dòng)態(tài)，是這樣一個(gè)結(jié)構(gòu)。 我們看一下分布式的架構(gòu)怎么辦？這種（英文）的解決方案，把一個(gè)數(shù)據(jù)寫到我的一個(gè)（英文）的軟件控制的存儲(chǔ)上，把它復(fù)制一份兩份甚至更多份在后臺(tái)運(yùn)行，這個(gè)備份很難完成，某一個(gè)磁盤，某一個(gè)設(shè)備故障的話，會(huì)自動(dòng)的請(qǐng)別的站點(diǎn)，標(biāo)準(zhǔn)的（英文）、（英文）都是支持。在這個(gè)架構(gòu)里面我不需要做備份恢復(fù)，我在任何一個(gè)站點(diǎn)都可以得到我最新的數(shù)據(jù)。我任何的個(gè)人系統(tǒng)都可以通過(guò)這種方式訪問(wèn)。你需要數(shù)據(jù)把它復(fù)制到幾個(gè)位置都可以的。我們通過(guò)這種方式解決大數(shù)據(jù)量非結(jié)構(gòu)化的存儲(chǔ)辦公。管理的數(shù)據(jù)基本上達(dá)到幾十個(gè)TB，都可以得到滿足，基于對(duì)象的一種解決方案，我們通過(guò)文件名，找到對(duì)應(yīng)的地址，這種文件的架構(gòu)，大數(shù)據(jù)的結(jié)構(gòu)有問(wèn)題，訪問(wèn)效率太高了，像我們傳統(tǒng)的（英文），（英文）數(shù)據(jù)庫(kù)來(lái)說(shuō)，縮影太大了，通過(guò)縮影訪問(wèn)數(shù)據(jù)性能也會(huì)下夠，這個(gè)是存儲(chǔ)（英文），通過(guò)這種（英文）這種方式，不用管你后臺(tái)數(shù)據(jù)具體存在哪，（英文）就會(huì)快速訪問(wèn)這樣的方法。 這種解決方案主要是用在私有云、公有云、數(shù)據(jù)媒體等這些上面。過(guò)一段時(shí)間它的圖片發(fā)生失真的問(wèn)題，他們并不是數(shù)據(jù)丟失，就是失真了，采用這種方式，可以自動(dòng)后臺(tái)做校驗(yàn)。這種解決方案在一些公司，提供（英文）的技術(shù)，比如說(shuō)（英文）他采用的是NetApp，這種云服務(wù)，主要是面臨醫(yī)療機(jī)構(gòu)，常見的一些（英文），這時(shí)候企業(yè)內(nèi)部的數(shù)據(jù)跟外部的這種云機(jī)構(gòu)商務(wù)數(shù)據(jù)吻合在一起我企業(yè)內(nèi)部的數(shù)據(jù)還是放在企業(yè)內(nèi)部管理，對(duì)于不重要的數(shù)據(jù)可以放在云儲(chǔ)藏里面去。把私有云公有云整合在一起，這種想法，這不是唯一的。這是跟比較有名的用戶廠商合作，也提供這種的解決方案。NetApp相關(guān)的解決方案跟他私有云公有云合并，我數(shù)據(jù)關(guān)鍵數(shù)據(jù)在線數(shù)據(jù)放在我公司內(nèi)部，對(duì)于長(zhǎng)期數(shù)據(jù)，需要高性能運(yùn)算的數(shù)據(jù)可以放到（英文），讓它運(yùn)運(yùn)行，運(yùn)行之后再給我傳回來(lái)，是這樣一個(gè)架構(gòu)，目前來(lái)說(shuō)也是全球提供這種解決方案。 我今天簡(jiǎn)單給大家介紹我NetApp針對(duì)大數(shù)據(jù)的解決方案，對(duì)于有些用戶來(lái)說(shuō)，可能碰到相關(guān)的問(wèn)題，大家可以考慮一下，通過(guò)三個(gè)角度找到相對(duì)應(yīng)的解決方案，滿足我們的要求。通過(guò)這種方式可以降低我存儲(chǔ)復(fù)雜性，提高效率，這些業(yè)務(wù)一方面是（英文）自己做的，另外一方面跟我們業(yè)內(nèi)領(lǐng)先伙伴聯(lián)合推出來(lái)的，給可以幫助用戶提供解決模式，謝謝大家！ |
|
主持人：感謝朱海峰先生帶來(lái)的精彩演講，接下來(lái)我們有請(qǐng)富士通信息系統(tǒng)有限公司產(chǎn)品戰(zhàn)略事業(yè)部總監(jiān)邱弘先生，帶來(lái)未雨綢繆，迎接大數(shù)據(jù)時(shí)代的演講。 邱弘：大家下午好，很高興能在這里和大家進(jìn)行討論大數(shù)據(jù)的相關(guān)話題，下面的時(shí)間我跟大家分享一下富士通在大數(shù)據(jù)方面的一些技術(shù)和經(jīng)驗(yàn)，我今天演講主題是未雨綢繆迎接大數(shù)據(jù)時(shí)代，對(duì)于像云計(jì)算大數(shù)據(jù)的這些話題，我想大家可能比較熟悉了。之所以咱們大家關(guān)注和討論主要是它離我們?cè)絹?lái)越近，并且它的出現(xiàn)，對(duì)我們?nèi)粘Ｉ詈推髽I(yè)的商業(yè)行為，造成深遠(yuǎn)的影響，所以它的到來(lái)需要我們對(duì)它有充分的認(rèn)識(shí)和了解，做好相應(yīng)的準(zhǔn)備，逐步提升我們技術(shù)水平和能力。 大數(shù)據(jù)的出現(xiàn)和發(fā)展它將會(huì)使我們智能化社會(huì)成為一個(gè)驅(qū)動(dòng)力。為什么這么說(shuō)？就是我們現(xiàn)在日常的生活和行為，無(wú)時(shí)無(wú)刻都伴隨著數(shù)據(jù)，我們所有行動(dòng)都可以產(chǎn)生數(shù)據(jù)，關(guān)鍵我們是不是隨時(shí)的關(guān)注它，把它的信息進(jìn)行收集和處理分析。一旦我們把這些信息進(jìn)行了收集分析之后，我們會(huì)從中發(fā)現(xiàn)對(duì)于我們有價(jià)值的數(shù)據(jù)和信息，從而可以指導(dǎo)我們?nèi)粘Ｉ畹男袨楹托袆?dòng)。這方面我們可以舉個(gè)簡(jiǎn)單的例子，我們上班的一個(gè)行為，早晨我們需要幾點(diǎn)鐘車門，坐什么交通工具，走什么路線，這些數(shù)據(jù)的產(chǎn)生都是因?yàn)槲业男袨樗a(chǎn)生的。對(duì)于這些數(shù)據(jù)的收集分析之后，我們可以從中了解到，整個(gè)相關(guān)的行動(dòng)的具體發(fā)生規(guī)律。這些信息的收集和沉淀可以作為一種知識(shí)反饋到我們社會(huì)。使我們能夠在這個(gè)信息當(dāng)中，給我們帶來(lái)一些便利和高效。因此所以說(shuō)我們企業(yè)如果對(duì)各種信息的收集整合分析處理，把它形成一種知識(shí)或者一種服務(wù)反饋到我們社會(huì)，這個(gè)循環(huán)過(guò)程當(dāng)中，不斷的循環(huán)和豐富，對(duì)于我們會(huì)形成一個(gè)智能化的社會(huì)提供一個(gè)非常好的驅(qū)動(dòng)。 我們說(shuō)大數(shù)據(jù)的到來(lái)，到底離我們有多遠(yuǎn)？或者到了什么程度？這里有兩張圖是ABC統(tǒng)計(jì)數(shù)據(jù)報(bào)告。我們2012年我們數(shù)據(jù)量達(dá)到了2.7個(gè)ZB，一個(gè)ZB相當(dāng)于10的6次方的PB。這個(gè)數(shù)據(jù)量增長(zhǎng)是一個(gè)爆炸式的增長(zhǎng)，數(shù)據(jù)量非常巨大，我們?cè)忍幚淼臄?shù)據(jù)都是在GB等。這樣相應(yīng)我們?cè)跀?shù)據(jù)處理技術(shù)和服務(wù)方面，在未來(lái)三年將近有40%的增長(zhǎng)。因?yàn)檫@個(gè)成長(zhǎng)空間是相當(dāng)巨大的。通過(guò)技術(shù)手段，通過(guò)數(shù)據(jù)大數(shù)據(jù)的處理進(jìn)行服務(wù)，需要我們不斷的創(chuàng)新。我們談到大數(shù)據(jù)需要對(duì)它認(rèn)識(shí)和了解，作為大數(shù)據(jù)到底有什么特征？什么叫大數(shù)據(jù)？就是說(shuō)能夠從經(jīng)濟(jì)高效，從大容量、結(jié)構(gòu)當(dāng)中獲取價(jià)值，產(chǎn)生新的價(jià)值。大數(shù)據(jù)可以分為四個(gè)V的特征。這個(gè)大家都理性了解，第一個(gè)V就是容量，它具有超高的容量，PB、到ZB、EB這種級(jí)別很多。第二個(gè)特征就是它具有很高的多樣性，數(shù)據(jù)類型，數(shù)據(jù)結(jié)構(gòu)也好都是非常復(fù)雜，不像我們?cè)鹊臄?shù)據(jù)都是數(shù)據(jù)庫(kù)，半結(jié)構(gòu)數(shù)據(jù)，非結(jié)構(gòu)數(shù)據(jù)。第三個(gè)V我們需要更快的處理速度。這些數(shù)據(jù)量大的產(chǎn)生，需要我們處理，另外需要處理我們相關(guān)的信息。前三個(gè)V說(shuō)明大數(shù)據(jù)的特征。第四個(gè)V就是我們大數(shù)據(jù)實(shí)現(xiàn)的目的。通過(guò)我們技術(shù)手段的處理和支持，實(shí)現(xiàn)對(duì)大數(shù)據(jù)前三個(gè)V的處理和分析，來(lái)實(shí)現(xiàn)我們第四個(gè)V的價(jià)值。這個(gè)價(jià)值主要是體現(xiàn)在我們對(duì)我們企業(yè)商業(yè)行為，或者商業(yè)活動(dòng)的決策支持。 作為大數(shù)據(jù)的技術(shù)，前面也談到大數(shù)據(jù)本身就是架構(gòu)和技術(shù)。它的發(fā)展就是隨著我們數(shù)據(jù)不斷的發(fā)展變化，而逐漸發(fā)展創(chuàng)新出來(lái)的。原先這個(gè)數(shù)據(jù)技術(shù)，是數(shù)據(jù)量很小。需要通過(guò)我們技術(shù)的創(chuàng)新來(lái)實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分析。我們可以看到隨著我們數(shù)據(jù)的高速增長(zhǎng)，時(shí)效性不管的增強(qiáng)，我們數(shù)據(jù)庫(kù)，和結(jié)構(gòu)化的數(shù)據(jù)已經(jīng)慢慢發(fā)展到數(shù)據(jù)容量爆炸式的增長(zhǎng)，他的技術(shù)向復(fù)雜處理技術(shù)發(fā)展。并行的處理技術(shù)，它是利用存儲(chǔ)和文件系統(tǒng)的存儲(chǔ)技術(shù)，用來(lái)設(shè)計(jì)實(shí)現(xiàn)大規(guī)模的設(shè)備上實(shí)現(xiàn)應(yīng)用。 再有一個(gè)我們復(fù)雜式的處理技術(shù)，這個(gè)技術(shù)主要是實(shí)現(xiàn)對(duì)左右的數(shù)據(jù)進(jìn)行分析，中間的過(guò)程比較復(fù)雜，對(duì)數(shù)據(jù)的檢索，重新的更新，數(shù)據(jù)的轉(zhuǎn)化存儲(chǔ)分析計(jì)算，是特別復(fù)雜的過(guò)程。大數(shù)據(jù)的出現(xiàn)可以說(shuō)為我們企業(yè)創(chuàng)造了一個(gè)新的商機(jī)。我們是否能夠抓住這個(gè)機(jī)遇，我們收集各種各樣的數(shù)據(jù)進(jìn)行挖掘。從目前技術(shù)的發(fā)展和我們處理能力的提過(guò)，我們企業(yè)已經(jīng)有能力新商業(yè)模式的創(chuàng)新和發(fā)展。我們企業(yè)通過(guò)收集我們商業(yè)活動(dòng)的各種信息，來(lái)從中發(fā)現(xiàn)有價(jià)值的信息資料。通過(guò)這些信息資料我們可以分析出我們?nèi)粘；顒?dòng)的預(yù)測(cè)。預(yù)測(cè)我們一些事先能夠出現(xiàn)的結(jié)果，這樣可以指導(dǎo)我們商業(yè)行為。通過(guò)這些數(shù)據(jù)的指導(dǎo)性，和商業(yè)行為的信息，可以把它變成一種服務(wù)，指導(dǎo)我們企業(yè)或者我們用戶。通過(guò)這種循環(huán)我們可以實(shí)現(xiàn)新的商業(yè)模式，通過(guò)這種商業(yè)模式我們可以逐步的發(fā)現(xiàn)商業(yè)價(jià)值。 同樣可以用我們?cè)扰e的例子，比如說(shuō)我們以上班信息為例子，如果某個(gè)企業(yè)可以把這些信息收集進(jìn)行統(tǒng)一的處理，這樣的話我們這些信息，以某種服務(wù)的形式，提供出來(lái)。作為我們用戶我們可以通過(guò)付費(fèi)的方式，能夠在下次出行的時(shí)候，能夠準(zhǔn)確了解，何時(shí)、走什么路線等這些信息，可以給我們帶來(lái)一個(gè)非常大的便利。包括我們企業(yè)也可以從中獲取它的價(jià)值。通過(guò)這個(gè)例子可以看到，這個(gè)數(shù)據(jù)收集分析利用的過(guò)程。對(duì)于大數(shù)據(jù)的實(shí)現(xiàn)，我們可以用簡(jiǎn)單的模型做一個(gè)說(shuō)明。大數(shù)據(jù)技術(shù)體現(xiàn)在一個(gè)大數(shù)據(jù)的收集，大數(shù)據(jù)的處理，大數(shù)據(jù)的能效。這是一個(gè)三三結(jié)構(gòu)。最底層是我們架構(gòu)層，主要是實(shí)現(xiàn)了我們能夠便于存取，或者是收集各種微型的數(shù)據(jù)中心，而且進(jìn)行處理，搭建的一個(gè)基礎(chǔ)架構(gòu)平臺(tái)。這種基礎(chǔ)架構(gòu)平臺(tái)復(fù)雜和多樣需要一個(gè)彈性，靈活的基礎(chǔ)架構(gòu)。在目前我們現(xiàn)在討論的云計(jì)算的基礎(chǔ)架構(gòu)里是比較適合這個(gè)的，因?yàn)樗`活性和大規(guī)模的處理，非常適合我們對(duì)大數(shù)據(jù)處理的要求。 同時(shí)我們通過(guò)云計(jì)算的基礎(chǔ)架構(gòu)，現(xiàn)在各種大數(shù)據(jù)的需求。第二層是我們處理層，主要是在合理的架構(gòu)之上，我的算法條件流程，相關(guān)的軟件工具，實(shí)現(xiàn)對(duì)數(shù)據(jù)的處理。對(duì)于利用集中化的優(yōu)勢(shì)完成存儲(chǔ)。這個(gè)上面是我們展現(xiàn)層，展現(xiàn)騰主要是將我們處理的結(jié)果，以某種服務(wù)結(jié)構(gòu)服務(wù)到我們?nèi)粘Ｉ钪�，使我們�(nèi)粘Ｉ罾靡恍┙Y(jié)果，從而使我們整個(gè)的發(fā)展，使我們社會(huì)向一個(gè)智能化的手段發(fā)展。IT作為一種服務(wù)。 富士通對(duì)于大數(shù)據(jù)的支持和服務(wù)，涵蓋了基礎(chǔ)架構(gòu)層和主力層，在基礎(chǔ)架構(gòu)層我們可以包含我們傳統(tǒng)性的架構(gòu)和目前基于云計(jì)算的基礎(chǔ)架構(gòu)。對(duì)于傳統(tǒng)的基礎(chǔ)架構(gòu)我們知道，這些傳統(tǒng)基礎(chǔ)架構(gòu)是我們企業(yè)原先比較成熟的應(yīng)用系統(tǒng)。對(duì)于關(guān)鍵性的應(yīng)用系統(tǒng)，我們可以通過(guò)對(duì)它進(jìn)行不斷的改進(jìn)和優(yōu)化，提升整個(gè)系統(tǒng)的服務(wù)。對(duì)于非關(guān)鍵性的應(yīng)用系統(tǒng)我們可以做深度開發(fā)，充分發(fā)揮它的潛力價(jià)值，使它發(fā)揮更大的作用。 另外隨著我們業(yè)務(wù)不斷的發(fā)展和不斷的細(xì)化，我們可以把更多業(yè)務(wù)遷移到我們?cè)朴?jì)算基礎(chǔ)架構(gòu)來(lái)，這樣更加便利和更加適合大數(shù)據(jù)發(fā)展的復(fù)雜需求。富士通在這方面有我們自己的產(chǎn)品和我們自己的解決方案，可以跟我們伙伴合作發(fā)展。 對(duì)于大數(shù)據(jù)處理主要是體現(xiàn)在軟件結(jié)構(gòu)處理流程。大數(shù)據(jù)有三個(gè)V的特征，根據(jù)這三個(gè)V的特征我們可以進(jìn)行一個(gè)規(guī)劃，使我們軟件、架構(gòu)和三個(gè)V特征優(yōu)化。我們看到像手機(jī)終端或者前端的數(shù)據(jù)終端，以及收集數(shù)據(jù)設(shè)備產(chǎn)生的數(shù)據(jù)，這些數(shù)據(jù)需要我們實(shí)時(shí)收集和檢測(cè)。對(duì)于這些數(shù)據(jù)處理之后，有些數(shù)據(jù)可以直接利用，我們直接利用。對(duì)外另外一些需要進(jìn)行再分析再處理的數(shù)據(jù)。第二類是我們交易類的數(shù)據(jù)，這些數(shù)據(jù)要求我們實(shí)時(shí)性比較高，需要我們高速計(jì)算的過(guò)程，通過(guò)這個(gè)結(jié)果進(jìn)行匯總、分析加以綜合利用。 另外一部分是我們談到大規(guī)模的數(shù)據(jù)，這些數(shù)據(jù)我們可以通過(guò)一些像PC的工作。進(jìn)行統(tǒng)一的處理分析。這些數(shù)據(jù)處理之后，進(jìn)行綜合的利用。針對(duì)目前大數(shù)據(jù)不同的特征和處理流程的不同，有三個(gè)不同處理過(guò)程。一個(gè)就是復(fù)雜式的處理，另外一個(gè)交流式處理，再有就是我們運(yùn)行分布式的處理。通過(guò)這幾個(gè)過(guò)程的處理，我們可以獲得相關(guān)有價(jià)值的信息和數(shù)據(jù)。對(duì)于我們的日常生活的行為，起到一個(gè)指導(dǎo)性的作用在這一方面，可視性、精準(zhǔn)度等這方面好處都為我們企業(yè)提供創(chuàng)新型服務(wù)的模式，提供一個(gè)很好的基礎(chǔ)。 富士通技術(shù)創(chuàng)新主要是結(jié)合了我們自身的產(chǎn)品優(yōu)勢(shì)和相關(guān)的技術(shù)創(chuàng)新，實(shí)現(xiàn)對(duì)大數(shù)據(jù)高速的處理。這些創(chuàng)新主要是體現(xiàn)在對(duì)大數(shù)據(jù)三個(gè)不同處理過(guò)程來(lái)實(shí)現(xiàn)的。對(duì)于我們分布式的過(guò)程，我們采用富士通自己的分布式的軟件，通過(guò)這些軟件我們可高數(shù)據(jù)的并發(fā)度。采用這樣的架構(gòu)性能可以提高2倍。復(fù)雜式的處理上我們采用了我們自己的搜索過(guò)濾軟件。這個(gè)軟件的使用可以大大提高我們數(shù)據(jù)的定位搜索，從而與第三方的軟件性能提升達(dá)到了提高。再一個(gè)處理過(guò)程就是我們極限交易處理，同樣是利用我們富士通有的技術(shù)，實(shí)現(xiàn)大并發(fā)量的數(shù)據(jù)訪問(wèn)，由此來(lái)提高整個(gè)數(shù)據(jù)庫(kù)的并發(fā)量。而且可以解決數(shù)據(jù)庫(kù)高并發(fā)的瓶頸。采用這種技術(shù)可以使整個(gè)應(yīng)用處理，比傳統(tǒng)的應(yīng)用處理提高10倍的效率。 對(duì)于大數(shù)據(jù)的并發(fā)處理，前面我們談到了，采用我們軟件，我們軟件提供并行的軟件系統(tǒng)，實(shí)現(xiàn)系統(tǒng)集群管理，通過(guò)這個(gè)技術(shù)的集群管理，有高可靠性。通過(guò)我們分布式并行軟件系統(tǒng)，可以使我們應(yīng)用直接訪問(wèn)數(shù)據(jù)，直接交換。我們可以通過(guò)原先的Hadoop的這種處理結(jié)構(gòu)，在原先標(biāo)準(zhǔn)上架構(gòu)中應(yīng)用數(shù)據(jù)的訪問(wèn)，都要通過(guò)Hadoop的服務(wù)器。這樣的話將會(huì)對(duì)我們數(shù)據(jù)的性能產(chǎn)生影響。而采用我們自己的服務(wù)系統(tǒng)，應(yīng)用系統(tǒng)可以直接訪問(wèn)我們數(shù)據(jù)進(jìn)行交換。同時(shí)還可以支持Hadoop的存儲(chǔ)架構(gòu)。通過(guò)這種架構(gòu)的實(shí)現(xiàn)，我們可以使數(shù)據(jù)傳輸?shù)臅r(shí)間提高80%。一旦也服務(wù)器出現(xiàn)故障，我們可以實(shí)現(xiàn)靈活切換，確保系統(tǒng)的可靠性。對(duì)于復(fù)雜式的改進(jìn)采用我們私有的產(chǎn)品，這個(gè)產(chǎn)品主要是實(shí)現(xiàn)數(shù)據(jù)高速的增長(zhǎng)。通過(guò)這個(gè)傳統(tǒng)大大提高我們的定位。在這個(gè)事故處理性能方面主要是靠是否有一個(gè)很好的檢索和處理引擎，有了這個(gè)高速的處理引擎之后，大大提升了整個(gè)系統(tǒng)平臺(tái)處理，管理的速度。富士通采用了自有知識(shí)產(chǎn)權(quán)的產(chǎn)品，它可以快速的進(jìn)行定位檢索，經(jīng)過(guò)簡(jiǎn)單的規(guī)則定義，對(duì)它進(jìn)行定義的設(shè)定，可以來(lái)實(shí)現(xiàn)事物過(guò)濾。 另外我們通過(guò)高速的引擎，和我們公司自有的軟件為我們用戶搭建一個(gè)非常強(qiáng)大處理使用的平臺(tái)。富士通在極限交易處理這方面的改進(jìn)，主要是采用富士通自有的技術(shù)，通過(guò)這種技術(shù)的使用，我們可以大大提升整個(gè)數(shù)據(jù)庫(kù)并發(fā)量。我們通過(guò)應(yīng)用服務(wù)器和數(shù)據(jù)庫(kù)之間，采用增加緩沖服務(wù)器的方式，來(lái)實(shí)現(xiàn)數(shù)據(jù)的高度的分析。 通過(guò)原先的應(yīng)用架構(gòu)和目前改進(jìn)的應(yīng)用架構(gòu)對(duì)比我們可以看到，原先的應(yīng)用架構(gòu)，服務(wù)器對(duì)數(shù)據(jù)的訪問(wèn)，任何信息都要跟服務(wù)器進(jìn)行打交道，服務(wù)器后臺(tái)變成了一個(gè)瓶頸，通過(guò)我們軟件改進(jìn)，采用分布式的技術(shù)，能夠使整個(gè)的訪問(wèn)，在我們（英文）這個(gè)層面進(jìn)行響應(yīng)，只有必要的時(shí)候我們（英文）數(shù)據(jù)打交道，這樣可以大大緩解數(shù)據(jù)庫(kù)的瓶頸，解決數(shù)據(jù)庫(kù)的并發(fā)量。所以通過(guò)這個(gè)架構(gòu)的改進(jìn)和提升，確保我們整個(gè)交易處理的速度，我們高可靠性，可擴(kuò)展性。 前面談到大數(shù)據(jù)處理流程，處理方式，對(duì)于系統(tǒng)本身的處理設(shè)備的性能，對(duì)于某些復(fù)雜事物處理，高復(fù)雜性高運(yùn)算的應(yīng)用，需要我們有一個(gè)比較強(qiáng)大的處理設(shè)備，和統(tǒng)一的運(yùn)行管理系統(tǒng)，富士通在去年年底發(fā)布了一款高性能的軟件京，是目前處理性能最快的高性能計(jì)算機(jī)，處理速度達(dá)到每秒鐘1京次，這是目前世界上最快的處理系統(tǒng)。像這些產(chǎn)品和技術(shù)，我們說(shuō)都可以作為我們?nèi)蘸蟠髷?shù)據(jù)處理的一個(gè)堅(jiān)強(qiáng)的后盾。 富士通對(duì)于大數(shù)據(jù)處理的一些需求，有很多的服務(wù)器架構(gòu)的產(chǎn)品未來(lái)供大家選擇。富士通在服務(wù)器產(chǎn)品線是非常豐富，非常強(qiáng)的，有基于SMP高端服務(wù)器，也有像普通的這種低價(jià)的服務(wù)器，還有刀片服務(wù)器，還有滿足高性能計(jì)算云計(jì)算的要求，服務(wù)系統(tǒng)。在云計(jì)算和大數(shù)據(jù)時(shí)代變革的時(shí)候，對(duì)于存儲(chǔ)系統(tǒng)是非常關(guān)鍵的。存儲(chǔ)系統(tǒng)在原先很小級(jí)別是GB，存儲(chǔ)系統(tǒng)基本上是縱向架構(gòu)的，隨著我們數(shù)據(jù)的增長(zhǎng)和擴(kuò)展，達(dá)到PB的數(shù)據(jù)量，這種擴(kuò)展的架構(gòu)系統(tǒng)不能滿足對(duì)數(shù)據(jù)的需求。同時(shí)需要我們分布式的處理和橫向的統(tǒng)計(jì)。因此我們看到存儲(chǔ)系統(tǒng)的發(fā)展和變化，慢慢演變成一個(gè)虛擬的系統(tǒng)。在存儲(chǔ)系統(tǒng)的文件需求過(guò)程當(dāng)中，富士通通過(guò)GDS的系統(tǒng)，也有（英文）的虛擬系統(tǒng)，也有相關(guān)存儲(chǔ)軟件相配合，可以實(shí)現(xiàn)一個(gè)統(tǒng)一基于橫向擴(kuò)展的統(tǒng)一數(shù)據(jù)系統(tǒng)。在備份的需求當(dāng)中，也有（英文）系統(tǒng)。富士通通過(guò)這些技術(shù)的發(fā)展和創(chuàng)新，逐步適應(yīng)云計(jì)算大數(shù)據(jù)的需求。 前面談到就是我們存儲(chǔ)設(shè)備在不斷的發(fā)展和優(yōu)化。其實(shí)這個(gè)過(guò)程我們可以發(fā)現(xiàn)，它其實(shí)從硬件存儲(chǔ)系統(tǒng)向軟件存儲(chǔ)系統(tǒng)轉(zhuǎn)變的過(guò)程。從存儲(chǔ)系統(tǒng)搭建的架構(gòu)來(lái)看，原先的硬件存儲(chǔ)系統(tǒng)，包括我們存儲(chǔ)網(wǎng)管，虛擬網(wǎng)管設(shè)備等等搭建起了硬件架構(gòu)，存儲(chǔ)系統(tǒng)。我們的增長(zhǎng)變化，這種架構(gòu)變得越來(lái)越靈活，逐漸的發(fā)展，現(xiàn)在是通過(guò)一些軟件，實(shí)現(xiàn)相同硬件存儲(chǔ)功能，配合我虛擬化存儲(chǔ)設(shè)備。 富士通可以通過(guò)VS虛擬存儲(chǔ)系統(tǒng)和相應(yīng)軟件的趨同化功能配合來(lái)實(shí)現(xiàn)我們?cè)拼鎯?chǔ)系統(tǒng)。它具有很好的靈活性擴(kuò)展性，完全可以滿足我們目前大數(shù)據(jù)的存儲(chǔ)需求。富士通在存儲(chǔ)系統(tǒng)方面也有完善的產(chǎn)品線，有自己的磁帶庫(kù)，有自己磁盤作業(yè)，有相關(guān)的設(shè)備，存儲(chǔ)管理軟件等等。這些產(chǎn)品都可以為我們用戶提供存儲(chǔ)解決方案，可以滿足我們用戶不同的存儲(chǔ)需求。富士通作為三大IT供應(yīng)商服務(wù)商之一，我們通過(guò)服務(wù)器存儲(chǔ)技術(shù)的創(chuàng)新發(fā)展優(yōu)化，為我們用戶提供各種各樣的解決方案，實(shí)現(xiàn)了在大數(shù)據(jù)方面的不同復(fù)雜需求。 目前我們說(shuō)大數(shù)據(jù)現(xiàn)在已經(jīng)來(lái)臨，而且說(shuō)它的出現(xiàn)對(duì)于我們來(lái)說(shuō)，它是一個(gè)新的時(shí)代的開始，在這個(gè)大數(shù)據(jù)時(shí)代，各個(gè)行業(yè)可以在各種數(shù)據(jù)的收集利用和分析上，可以發(fā)現(xiàn)，它給我們帶來(lái)更大便利。比如說(shuō)對(duì)我們?nèi)粘Ｉ钚袨閹?lái)各種便利。我們企業(yè)通過(guò)對(duì)各種行業(yè)事物收集信息分析處理，可以提供相應(yīng)的信息服務(wù)，信息的提供。他們可以以我們很強(qiáng)大的云計(jì)算的基礎(chǔ)架構(gòu)平臺(tái)為載體，可以實(shí)現(xiàn)各個(gè)行業(yè)的輸入的智能。通過(guò)各個(gè)行業(yè)不斷的發(fā)展和豐富，我們各個(gè)行業(yè)的智能化的完善，最終實(shí)現(xiàn)我們社會(huì)的便利。富士通在大數(shù)據(jù)探索方面，像利用我們優(yōu)勢(shì)，跟我們合作伙伴一塊合作，發(fā)揮各自優(yōu)勢(shì)，在目前這個(gè)挑戰(zhàn)機(jī)遇的時(shí)代，共同發(fā)現(xiàn)自身的價(jià)值，共同創(chuàng)造商業(yè)價(jià)值。我今天內(nèi)容講到這里，非常感謝大家！ |
|
主持人：感謝邱弘總監(jiān)帶來(lái)的精彩的演講。下面我們有請(qǐng)Spectra Logic大中國(guó)區(qū)總監(jiān)蘇濤先生，帶來(lái)大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)存儲(chǔ)管理，有請(qǐng)。 蘇濤：大家好，今天非常榮幸有這一個(gè)機(jī)會(huì)，我是Spectra Logic公司的，有這個(gè)機(jī)會(huì)跟大家分享在大數(shù)據(jù)時(shí)代的海量數(shù)據(jù)存儲(chǔ)管理。今天下午我的報(bào)告給大家?guī)?lái)更多新意。大家講到大數(shù)據(jù)時(shí)代，各位業(yè)界同仁已經(jīng)介紹了很多大數(shù)據(jù)時(shí)代的技術(shù)發(fā)展。這四個(gè)V大家不止一次看到，我在講大數(shù)據(jù)時(shí)代的存儲(chǔ)管理之前，確實(shí)還要進(jìn)一步的給大家曬一下我們這方面的理解和我們一些數(shù)據(jù)。這四個(gè)V里面大家都會(huì)去，第一個(gè)了解到，是大的容量，大數(shù)據(jù)都是大容量，在大數(shù)據(jù)大容量方面，我們國(guó)內(nèi)做信息化建設(shè)，大家都知道在中國(guó)最大投入是數(shù)據(jù)。我拿一些我們?cè)谌蜻@個(gè)領(lǐng)域，在信息化建設(shè)這方面這個(gè)數(shù)據(jù)量怎么來(lái)的。首先大家看到的美國(guó)，現(xiàn)在大家都知道一個(gè)信息，美國(guó)到2020年真正要實(shí)現(xiàn)無(wú)紙化辦公。這個(gè)是劃時(shí)代的標(biāo)志，這個(gè)紙張中國(guó)人發(fā)明，到現(xiàn)在已經(jīng)兩千年的歷史了。今天美國(guó)人說(shuō)了我們到2020年完全無(wú)紙化�？纯醇幽么螅�2017年不保存任何紙制的文件接收了。澳大利亞同樣在2012年也提出了數(shù)字化紙張的戰(zhàn)略，在咱們中國(guó)政府09年開始專門發(fā)布了中辦國(guó)辦發(fā)布了電子文件管理的辦法，啟動(dòng)中國(guó)真正電子文件的數(shù)據(jù)化，應(yīng)該說(shuō)所有信息數(shù)據(jù)數(shù)字化的一個(gè)過(guò)程。從這個(gè)看應(yīng)該說(shuō)所有社會(huì)的推動(dòng)力，政府整個(gè)推動(dòng)數(shù)字化的過(guò)程。從911以后，帶來(lái)了一個(gè)存儲(chǔ)行業(yè)的浪潮。特別對(duì)于做數(shù)據(jù)保護(hù)數(shù)據(jù)存儲(chǔ)的公司來(lái)說(shuō)，帶來(lái)了很多商業(yè)的機(jī)會(huì)。 大家可以看到這是在美國(guó)相應(yīng)的一些法規(guī)，涉及到保存的年限，對(duì)數(shù)據(jù)保存年限在不斷的加長(zhǎng)，數(shù)據(jù)量有60%的增長(zhǎng)。同時(shí)在國(guó)際上我們分享一個(gè)統(tǒng)計(jì)的數(shù)據(jù)，這里是財(cái)富500強(qiáng)企業(yè)的一個(gè)統(tǒng)計(jì)數(shù)據(jù)，大家發(fā)現(xiàn)他們數(shù)據(jù)有50%以上的數(shù)據(jù)保存在五年之上，可能28%的數(shù)據(jù)保存20年以上，由于長(zhǎng)期保存的需求，帶來(lái)了我們數(shù)據(jù)量累計(jì)的增長(zhǎng)。同時(shí)基于我們這個(gè)數(shù)據(jù)產(chǎn)生的來(lái)源，應(yīng)該說(shuō)數(shù)據(jù)應(yīng)用，IT技術(shù)的變遷帶來(lái)了數(shù)據(jù)量的變化。之前大家講到IT行業(yè)，最支柱產(chǎn)業(yè)是電信、金融，在今天我們說(shuō)大數(shù)據(jù)時(shí)代來(lái)臨，我們從西方歐美國(guó)家看，大數(shù)據(jù)產(chǎn)生有一塊在高性能計(jì)算，這塊在國(guó)內(nèi)目前數(shù)量比較小，未來(lái)是一個(gè)方向，涵蓋了所有我們制造業(yè)、衛(wèi)生醫(yī)療、包括金融、零售業(yè)，我們能源的產(chǎn)業(yè)。通過(guò)高性能計(jì)算和我們?cè)朴?jì)算相關(guān)處理我們信息數(shù)據(jù)，同時(shí)帶來(lái)海量的數(shù)據(jù)。 跟大家每一個(gè)人切身相關(guān)的，就是我們現(xiàn)在的副媒體時(shí)代，我們帶來(lái)了海量的數(shù)據(jù)，每個(gè)人都能夠接觸到，大家開車人感受到，以前很少被攝象頭拍下來(lái)�，F(xiàn)在發(fā)現(xiàn)城市到處是攝象頭，我們?cè)谝曨l監(jiān)控這個(gè)領(lǐng)域，不光是中國(guó)，全球都是一個(gè)很大市場(chǎng)，帶來(lái)了數(shù)據(jù)的增長(zhǎng)。到底是什么級(jí)別？應(yīng)該說(shuō)在2010年的時(shí)候，大家說(shuō)世界進(jìn)入了數(shù)字時(shí)代。標(biāo)志性的數(shù)據(jù)，每年產(chǎn)生的數(shù)據(jù)量超過(guò)一個(gè)ZB級(jí)別，這是非常龐大的數(shù)據(jù)。有一個(gè)比較，就是說(shuō)在全人類在1999年之前，全人類所有產(chǎn)生數(shù)據(jù)信息量只有11EB，0.011個(gè)，但是我們現(xiàn)在在2010年一年產(chǎn)生了一個(gè)ZB的數(shù)據(jù)。這個(gè)圖表大家經(jīng)�？吹�，這是基于我們EST2010年做的預(yù)測(cè)的分析。大家看到這個(gè)數(shù)據(jù)的量是一個(gè)級(jí)數(shù)的增長(zhǎng)。這里頭分享一個(gè)數(shù)字大家更直觀了，這是美國(guó)的做了一個(gè)統(tǒng)計(jì)，在美國(guó)平均每個(gè)手持設(shè)備存儲(chǔ)的照片，大家沒(méi)有想過(guò)，大家每個(gè)人拿智能手機(jī)，統(tǒng)計(jì)結(jié)果平均08年的時(shí)候，每個(gè)人有177張，到2011年有255張，預(yù)測(cè)2015每個(gè)人平均照片是300，光是這一項(xiàng)大家看到這個(gè)數(shù)據(jù)量在不斷的增長(zhǎng)。 這是一個(gè)美國(guó)的高性能的實(shí)驗(yàn)室，在2012年實(shí)施的一個(gè)高能性的項(xiàng)目。這個(gè)項(xiàng)目里面它使用380個(gè)PB的存儲(chǔ)，只有在頭兩年里頭的存儲(chǔ)量。大家看到最前面的四排柜子，是四個(gè)磁帶過(guò)程，存儲(chǔ)量是380個(gè)PB，里面使用了幾百個(gè)起動(dòng)器實(shí)現(xiàn)這個(gè)存儲(chǔ)。在大數(shù)據(jù)時(shí)代實(shí)際上還有文件的特性發(fā)生了很大的改變，在傳統(tǒng)的時(shí)候我們，大量是結(jié)構(gòu)化的數(shù)據(jù)，在數(shù)據(jù)庫(kù)里面。今天很多人講我們半結(jié)構(gòu)化，多結(jié)構(gòu)化的數(shù)據(jù)，大量非結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)的交易數(shù)據(jù)，電子郵件，表單，今天我們不了解很少接觸的格式，包括日至和網(wǎng)頁(yè)。說(shuō)到網(wǎng)頁(yè)分享一個(gè)數(shù)據(jù)給大家，中國(guó)目前有5億多的網(wǎng)民，在互聯(lián)網(wǎng)的中心做一個(gè)統(tǒng)計(jì)，每個(gè)人平均一天點(diǎn)擊20次網(wǎng)頁(yè)，我們一天有100億網(wǎng)頁(yè)的點(diǎn)擊。大家可想而知這個(gè)數(shù)據(jù)量。另外一方面就是地理信息，導(dǎo)航有很大地理信息，前兩年比較熱門詞物聯(lián)網(wǎng)。物聯(lián)網(wǎng)有很多傳感器的信息，包括一些感知芯片的信息。這些年近兩年社交媒體，微博、微信各種社交媒體的產(chǎn)生，產(chǎn)生大量的非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)類型跟傳統(tǒng)IT產(chǎn)生本質(zhì)的變化。價(jià)值多方面，大數(shù)據(jù)時(shí)代，真正價(jià)值產(chǎn)生經(jīng)過(guò)大數(shù)據(jù)應(yīng)用以后帶來(lái)價(jià)值。這些數(shù)據(jù)本身的價(jià)值不是很高的，在我們存儲(chǔ)大量海量的數(shù)據(jù)，每年產(chǎn)生（英文）的數(shù)據(jù)，大量是碎片數(shù)據(jù)，大量數(shù)據(jù)我們其實(shí)并沒(méi)有那么多的價(jià)值。這些大量的數(shù)據(jù)由于數(shù)據(jù)生命周期的延長(zhǎng)，帶來(lái)我們數(shù)據(jù)量累增，這個(gè)大量數(shù)據(jù)很多數(shù)據(jù)訪問(wèn)量很低。我們視頻大家27小時(shí)錄像，真正有多少錄像數(shù)據(jù)用到，可能就是幾分鐘的時(shí)間，發(fā)生交通事故或者發(fā)生犯罪行為的時(shí)候才會(huì)使用。 這方面我們?cè)趲啄昵拔覀儯瘢ㄓ⑽模┥芷诠芾淼母拍�，�?dāng)時(shí)炒的很熱就是解決這些問(wèn)題。應(yīng)用發(fā)生很大變化？不是簡(jiǎn)單的應(yīng)用管理和查詢。在大數(shù)據(jù)我們要利用數(shù)據(jù)分析的手段，可視化的分析，包括我們做數(shù)據(jù)挖掘，包括我們有很多語(yǔ)義引擎，智能感知，預(yù)測(cè)的分析，都是帶來(lái)對(duì)我們處理速度的要求。關(guān)于速度這個(gè)詞，大數(shù)據(jù)來(lái)說(shuō)不光是處理速度，這個(gè)數(shù)據(jù)創(chuàng)造，高它更新，遷徙，移動(dòng)的速度，處理速度等。這里面提到速度我分享兩張圖片，大家軍事愛好者知道這個(gè)圖片，這是殲20的引擎，大家看到這個(gè)速度的變化。這個(gè)大家有沒(méi)有人見過(guò)，這個(gè)美國(guó)最新?lián)舫贆C(jī)，做到90分鐘超過(guò)半個(gè)地球。這個(gè)速度超乎我們想象的。講到四個(gè)V大家發(fā)現(xiàn)我們解決大數(shù)據(jù)時(shí)代的應(yīng)用，我們存儲(chǔ)方面怎么滿足大數(shù)據(jù)時(shí)代的要求？從容量、多樣性、價(jià)值、內(nèi)容，我們生命中期管理能力，我們涉及遷移，很多磁盤廠商基于磁盤系統(tǒng)也做了遷移。當(dāng)它到海量，我們把訪問(wèn)低的我們分析降低成本。同時(shí)快速處理我們使用越來(lái)越先進(jìn)的快速處理設(shè)備，今天我們現(xiàn)在在隔壁的一個(gè)會(huì)場(chǎng)介紹新一代的存儲(chǔ)，芯片的存儲(chǔ)。 大家發(fā)現(xiàn)這些不同技術(shù)解決的是不同問(wèn)題，在存儲(chǔ)管理上我們?cè)趺凑�？這應(yīng)該說(shuō)在我們大數(shù)據(jù)時(shí)代，對(duì)于存儲(chǔ)管理還是一個(gè)最大的挑戰(zhàn)。這里介紹我們管理解決方案之前，我們跟大家分析，今天大家所接受到的存儲(chǔ)。各位最熟悉就是磁盤存儲(chǔ)，我告訴大家一個(gè)消息，我們每個(gè)人，包括個(gè)人電腦，包括我們企業(yè)磁盤存儲(chǔ)上的問(wèn)題。所有磁盤現(xiàn)在存儲(chǔ)容量里頭有70%的空間實(shí)際上浪費(fèi)。這里面是40%不活躍，包括10%幾的空間我們分配沒(méi)有用，甚至一些碎片數(shù)據(jù)占用我大量磁盤空間。我們現(xiàn)在IT建設(shè)里面存儲(chǔ)建了非常重要的份額。大家看到一個(gè)數(shù)據(jù)，我們一美元的IT投資里面，有30美元到70美元的投資進(jìn)行存儲(chǔ)，這個(gè)趨勢(shì)不斷往更高的比例發(fā)展。 這里我們可以看到，我們花很昂貴的投入，存儲(chǔ)了大量無(wú)用的數(shù)據(jù)，這就是現(xiàn)狀。再一個(gè)說(shuō)到存儲(chǔ)行業(yè)很重要的一個(gè)數(shù)據(jù)備份。這兩個(gè)詞可能不太好，一個(gè)（英文），一個(gè)（英文）。在備份領(lǐng)域我們數(shù)據(jù)的分析，一類數(shù)據(jù)寫了時(shí)候很少讀取，一類寫了以后從來(lái)不會(huì)被讀取。我們把整個(gè)系統(tǒng)整個(gè)文件做（英文），這個(gè)（英文）的過(guò)程中，我們把大量的（英文、（英文）的數(shù)據(jù)進(jìn)行數(shù)據(jù)備份。我們可能一個(gè)月做一個(gè)備份，一周做一個(gè)全備份就是52份數(shù)據(jù)，這里面大量的數(shù)據(jù)不是非常關(guān)鍵的數(shù)據(jù)。因此我們做備份的時(shí)候，為了備份少量的關(guān)鍵數(shù)據(jù)，采用了大量的投資，硬件軟件備份了并不是關(guān)鍵的數(shù)據(jù)。 基于剛才說(shuō)的這些現(xiàn)狀我們現(xiàn)在需要怎么做？我們必須要改變，不改變的話，意味著我們投資非常不值，在改變方面我們目前各個(gè)廠商在做，同時(shí)我們也在探討的幾個(gè)方面。一個(gè)方面就是今天我后面著重介紹的一個(gè)活動(dòng)歸檔的技術(shù)。把傳統(tǒng)靜態(tài)的歸檔讓它更加有效，能夠更好再一個(gè)系統(tǒng)里面獨(dú)立的處理好關(guān)于容量和速度的問(wèn)題。另外一個(gè)在云技術(shù)里面大量的虛擬化技術(shù)，通過(guò)虛擬化的技術(shù)把我們不同的存儲(chǔ)介質(zhì)更好利用起來(lái)，對(duì)用戶來(lái)說(shuō)看到統(tǒng)一的存儲(chǔ)池。通過(guò)一個(gè)新興的技術(shù)，把現(xiàn)有介質(zhì)更好利用，我們引進(jìn)新的介質(zhì)。在我們大數(shù)據(jù)時(shí)代來(lái)說(shuō)，我們通過(guò)我們新的技術(shù)一些架構(gòu)和理念，應(yīng)該給用戶解決問(wèn)題的方法。這里我們主要給大家介紹活動(dòng)歸檔的技術(shù)。 活動(dòng)歸檔實(shí)際上出發(fā)點(diǎn)就是要給用戶，給大家提供一個(gè)新成本，經(jīng)濟(jì)實(shí)惠的解決方案，同時(shí)保證你所有的數(shù)據(jù)都是可靠在線訪問(wèn)。這個(gè)解決方案是廉價(jià)是經(jīng)濟(jì)的。同時(shí)通過(guò)活動(dòng)歸檔的技術(shù)，保證我們數(shù)據(jù)存儲(chǔ)在不同介質(zhì)里面。數(shù)據(jù)的創(chuàng)建者，會(huì)做很多的數(shù)據(jù)處理，通過(guò)中間接口層，我們虛擬化層，管理層，最后最下端是非常靈活，給用戶提供一個(gè)非常好的解決方案。這種解決方案里面實(shí)際上應(yīng)該說(shuō)我們傳統(tǒng)的數(shù)據(jù)存儲(chǔ)整個(gè)路徑，我們看到我們前端有很多應(yīng)用，下面有操作系統(tǒng)，還有文件系統(tǒng)，還有卷案系統(tǒng)，我們磁盤也做虛擬化，數(shù)據(jù)通過(guò)一個(gè)渠道到我們存儲(chǔ)體�；顒�(dòng)歸檔這個(gè)領(lǐng)域我們做到我們高性能的磁盤系統(tǒng)，我們低性能磁盤系統(tǒng)，我們廉價(jià)的存儲(chǔ)介質(zhì)，都給進(jìn)行統(tǒng)一的虛擬化，讓用戶存儲(chǔ)的功能更加的靈活，用戶的成本更加的降低。 也就是說(shuō)我們實(shí)現(xiàn)把我們文件系統(tǒng)進(jìn)行一個(gè)擴(kuò)展，把我們所有的介質(zhì)，變成統(tǒng)一的系統(tǒng)，給用戶提供靈活的存儲(chǔ)空間。這兩邊有兩種比較流行的模式，一種是（英文）的活動(dòng)歸檔，我們主存儲(chǔ)是獨(dú)立的，住存儲(chǔ)是傳統(tǒng)高性能磁盤系統(tǒng)，中間我們有活動(dòng)歸檔的管理。后端是虛擬化的存儲(chǔ)池，這個(gè)是近時(shí)間存儲(chǔ)，我們離線存儲(chǔ)設(shè)備等提供一個(gè)歸檔的環(huán)境。這樣用戶來(lái)說(shuō)更加簡(jiǎn)便靈活，管理上更加統(tǒng)一，我們集成所有介質(zhì)，在統(tǒng)一的存儲(chǔ)里面。 我們前端有磁盤的存儲(chǔ)，為了保護(hù)我們這些數(shù)據(jù)，我們后端會(huì)有專門數(shù)據(jù)保護(hù)的系統(tǒng)，包括做（英文），做（英文），這在2000年有實(shí)現(xiàn)的，隨著技術(shù)的發(fā)展大家發(fā)現(xiàn)，我們有（英文）的硬盤產(chǎn)生。后端同樣我們是用傳統(tǒng)的備份技術(shù)，磁帶技術(shù)、磁盤技術(shù)的備份，做離線的保護(hù)。隨著技術(shù)的發(fā)展實(shí)際上我們可以把磁帶設(shè)備引入到前端的應(yīng)用。磁帶技術(shù)50年前發(fā)明就是在線的存儲(chǔ)，隨著技術(shù)發(fā)展現(xiàn)在磁帶技術(shù)也在發(fā)展，我們很多用戶作為在線使用。在線部分我們有不同存儲(chǔ)，數(shù)據(jù)保護(hù)里面我們還有一套相應(yīng)存儲(chǔ)設(shè)備，這種情況下大家都是分立系統(tǒng)進(jìn)行存儲(chǔ)。 我們今天有一個(gè)更好的方案，我們整合所有不同的存儲(chǔ)介質(zhì)，統(tǒng)一的進(jìn)行調(diào)度管理。讓用戶在存儲(chǔ)方面投資是最小化的。這是我們活動(dòng)歸檔大致的一個(gè)模型，我們實(shí)現(xiàn)的一個(gè)模型。這里頭的關(guān)鍵點(diǎn)實(shí)際上就是靈活性。就是它能夠同時(shí)整個(gè)用戶關(guān)于性能和容量的需求。這里面有幾個(gè)應(yīng)用的實(shí)例，大家看看這個(gè)我們?cè)趺醋龅�。第一個(gè)做數(shù)據(jù)備份，今天數(shù)據(jù)量不斷的增加，我們的備份任務(wù)越來(lái)越繁重，現(xiàn)在有磁盤備份，ATR解決速度問(wèn)題，時(shí)間方法問(wèn)題。傳統(tǒng)方法不斷提升硬件設(shè)備，我們把非關(guān)鍵數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移，我們只針對(duì)我們核心業(yè)務(wù)進(jìn)行備份，這樣可以提高我們備份速度。 同時(shí)對(duì)這種性能要求很高的用戶，屬于高速訪問(wèn)的用戶，我們以前實(shí)現(xiàn)高速訪問(wèn)，我們大量購(gòu)買新的設(shè)備，我們用最先進(jìn)的磁盤提升這個(gè)性能。存儲(chǔ)使用率達(dá)到一定的時(shí)候，性能是逐漸下降的。現(xiàn)在我們同樣有這樣方法，我們通過(guò)活動(dòng)歸檔技術(shù)，提升本身原主存儲(chǔ)的性能。對(duì)于空間不足的問(wèn)題一樣，我們不斷的購(gòu)買磁盤，這個(gè)磁盤到PB級(jí)以上是非常昂貴的。我們?cè)诨顒?dòng)歸檔根據(jù)用戶的價(jià)值，在不同成本介質(zhì)里面動(dòng)態(tài)實(shí)時(shí)進(jìn)行遷移，讓用戶盡可能少的買這種昂貴的存儲(chǔ)設(shè)備�；顒�(dòng)歸檔這個(gè)技術(shù)，我們不光在內(nèi)容、數(shù)據(jù)方面，在數(shù)據(jù)完整性，數(shù)據(jù)可查詢，可檢索的方面，還有開放的模式，這些方面我們都有考量，把這些技術(shù)進(jìn)行整合，這樣產(chǎn)生的活動(dòng)歸檔，能夠更加滿足客戶對(duì)存儲(chǔ)的需求。 （英文）作為活動(dòng)歸檔的倡導(dǎo)者，我們2010年我們整合我們合作伙伴的一些廠商，包括主機(jī)廠商，戴爾等，很多做歸檔軟件遷移軟件的公司，我們大家共同成立了活動(dòng)歸檔的聯(lián)盟。這個(gè)聯(lián)盟做什么事情？首先一個(gè)事情就是教育用戶和市場(chǎng)。我做的報(bào)告也是這部分的工作，讓大家了解到我們有完全全新的理念和技術(shù)，能夠解決用戶存儲(chǔ)的問(wèn)題。另外我們通過(guò)這些廠商的整合，我們做最佳的實(shí)踐，在我們用戶實(shí)現(xiàn)活動(dòng)歸檔的架構(gòu)，給用戶帶來(lái)價(jià)值，證明活動(dòng)歸檔有意義。給用戶更好選擇產(chǎn)品和解決方案的時(shí)候，有一個(gè)很好的基礎(chǔ)。 剛才給大家講的主要是應(yīng)對(duì)我們大數(shù)據(jù)時(shí)代活動(dòng)歸檔，能夠給大家?guī)?lái)的一種全新的理念。說(shuō)到這種存儲(chǔ)，因?yàn)榇鎯?chǔ)最關(guān)鍵離不開存儲(chǔ)的介質(zhì)，下面的時(shí)間我簡(jiǎn)單給大家分享一下在活動(dòng)歸檔環(huán)境下我們存儲(chǔ)介質(zhì)的理解。存儲(chǔ)介質(zhì)每個(gè)人都在用。在今天蘋果電腦里面甚至連硬盤都沒(méi)有基于SID的，這種介質(zhì)在不斷的發(fā)展，在企業(yè)級(jí)里面，企業(yè)級(jí)應(yīng)用就是兩種主要的介質(zhì)，一種是磁盤一種是磁帶。說(shuō)到這方面大家可以分享一些特性。速度方面有優(yōu)勢(shì)，在隨機(jī)訪問(wèn)確實(shí)有很強(qiáng)優(yōu)勢(shì)。我們真正企業(yè)級(jí)的應(yīng)用，都是磁盤的割裂，達(dá)到1.0GB以上。磁帶這方面大家了解不多，今天LTO第六代技術(shù)，目前的技術(shù)，400兆每秒的速度。這個(gè)不報(bào)告我們?nèi)肆C(jī)房的成本，這是設(shè)備成本。一個(gè)企業(yè)級(jí)的磁盤系統(tǒng)，每GB是7到20美金。成本在每GB在15美分的成本。 這方面不同的存儲(chǔ)介質(zhì)的差異是很大的。同時(shí)在存儲(chǔ)力度能耗方面，這是我們一個(gè)的實(shí)際用戶，同時(shí)有8個(gè)TB存儲(chǔ)設(shè)備。右邊是磁帶系統(tǒng)，這是一萬(wàn)槽的磁帶，整整8個(gè)TB。磁帶系統(tǒng)的能耗是小千瓦，一個(gè)磁盤系統(tǒng)的能耗等于2500千瓦的水平，這個(gè)差距非常大，從整個(gè)電源能耗經(jīng)濟(jì)性，大家通過(guò)這個(gè)更清晰，每年預(yù)計(jì)有30的增長(zhǎng)。這個(gè)環(huán)境下如果我們采用磁帶系統(tǒng)的成本。第五年每年成本6千多美金磁盤是16萬(wàn)美金的成本。這個(gè)不夠極端。我們看看數(shù)據(jù)的長(zhǎng)期保存，我們大數(shù)據(jù)保存周期的增長(zhǎng)，12年以后怎么樣？經(jīng)過(guò)12年的保存，一個(gè)用戶有1個(gè)TB，這個(gè)差異很大。一個(gè)磁帶系統(tǒng)保存12年，成本只有1萬(wàn)7千美金，如果磁盤系統(tǒng)在電源能耗花費(fèi)就要400多萬(wàn)美金。 剛才大說(shuō)了磁盤性能很少，很多用戶都知道，這個(gè)磁帶有一個(gè)問(wèn)題，這個(gè)磁帶非常不可靠�？煽啃苑矫嫖覀兡靡恍⿺�(shù)據(jù)跟大家分享，我希望大家看到一些更新的信息。這里面大家看到磁盤系統(tǒng)有很多差異，我們用的桌面是14次方字節(jié)的碼率，我們平均產(chǎn)生一個(gè)應(yīng)用錯(cuò)誤。當(dāng)我們企業(yè)級(jí)的磁盤，有一個(gè)級(jí)數(shù)的增長(zhǎng)。這個(gè)上面看到兩種磁帶介質(zhì)，目前最主流的（英文）技術(shù)，達(dá)到10的17次方，19次方故障的性能。 我們看這張圖，每個(gè)錯(cuò)誤，沒(méi)寫多少TB產(chǎn)生一個(gè)錯(cuò)誤，我們看到（英文）磁盤系統(tǒng)，11個(gè)TB就可能產(chǎn)生錯(cuò)誤。我們企業(yè)的光纖磁盤，100多個(gè)磁盤產(chǎn)生一個(gè)錯(cuò)誤。磁帶上TB才產(chǎn)生一個(gè)錯(cuò)誤。磁帶合理的使用方式下，有很好的可靠性的保障。剛才因?yàn)榇蠹視?huì)說(shuō)了，你是做磁帶庫(kù)的，你說(shuō)磁帶庫(kù)好。實(shí)際上這個(gè)經(jīng)驗(yàn)應(yīng)該說(shuō)整個(gè)業(yè)界，大家可能仔細(xì)的看會(huì)發(fā)現(xiàn)，在今天左右的IT的巨頭，大的廠商，IBM、包括EMC，EMC還和Spectra Logic簽了合同。在2010年取得很大突破，他們每平方英寸保存290億。預(yù)計(jì)不久的將來(lái)，我們會(huì)擁有每單盤容量25個(gè)TB，這個(gè)通過(guò)實(shí)驗(yàn)室驗(yàn)證。大家看到以后磁盤也會(huì)快速發(fā)展，我們磁帶技術(shù)也會(huì)快速發(fā)展，以更高級(jí)數(shù)方式在發(fā)展。磁帶滅亡這個(gè)事情五年人就說(shuō)了，現(xiàn)在為止所有廠商沒(méi)有拋棄它，可能也是這個(gè)原因。 今天我們發(fā)布了LTO6，現(xiàn)在LTO的發(fā)展，兩到三年推出一代，第7代可能達(dá)到16個(gè)TB，第8代接近于35TB的存儲(chǔ)容量。這正好是很好的存儲(chǔ)介質(zhì)，對(duì)于海量數(shù)據(jù)來(lái)說(shuō)。不光是容量的問(wèn)題，磁帶技術(shù)，這些年的發(fā)展，也是翻天覆地的，從介質(zhì)技術(shù)到使用器的技術(shù)，我們采用更好的驅(qū)動(dòng)器的技術(shù)，在可靠性有極大提升，解決了磁帶可靠性的問(wèn)題。作為磁帶的Spectra Logic廠商，我們?cè)跀?shù)據(jù)安全性方面做了量的工作，在介質(zhì)生命周期，驅(qū)動(dòng)器的生命周期。通過(guò)這些管理技術(shù)，使我們數(shù)據(jù)保存在磁帶介質(zhì)上，可靠性得到保障。 我們磁帶設(shè)備包括我們基于這種活動(dòng)歸檔的技術(shù)，在海量數(shù)據(jù)存儲(chǔ)方面的實(shí)踐應(yīng)用。這是美國(guó)國(guó)家能源中心有13PB的存儲(chǔ)，這里面大量采用的磁帶技術(shù)。其中有30%到40%數(shù)據(jù)用于讀的，對(duì)磁帶歸檔了解大家知道，深度歸檔，大量磁帶天天做的工作是寫，不斷的寫，讀的頻率非常低。美國(guó)能源中心里面，大家看到它的磁帶存儲(chǔ)讀的頻率非常高。在這里面通過(guò)采用磁帶存儲(chǔ)，把整個(gè)成本降到整體磁盤的5%。它提出它的主存儲(chǔ)，這個(gè)就是磁帶，我們不需要2級(jí)，不是作為2級(jí)數(shù)據(jù)拷貝的數(shù)據(jù)，作為總存儲(chǔ)。我們作為負(fù)責(zé)任廠商來(lái)說(shuō)，我們也不推薦大家僅僅采用主存儲(chǔ)的方式，我們不建議大家基于磁帶保存只保存一個(gè)副本，這個(gè)對(duì)于任何存儲(chǔ)都非�？膳碌模瑸槭裁唇裉焖性诰�系統(tǒng)都要做數(shù)據(jù)保護(hù)的原因。 這是（英文），大家可能在很多電視看到（英文）頻道非常精彩的題目，這需要構(gòu)建全球多站點(diǎn)的數(shù)據(jù)歸檔，數(shù)據(jù)量達(dá)到30PB，采用了我們多臺(tái)的（英文）設(shè)備，通過(guò)活動(dòng)歸檔的系統(tǒng)，后端有磁盤緩存。CHS是美國(guó)社區(qū)衛(wèi)生醫(yī)療的系統(tǒng)，類似于咱們國(guó)家做醫(yī)改搞得健康檔案的平臺(tái)，已經(jīng)建成的平臺(tái)，29個(gè)州在使用。希望就是說(shuō)我們建造安全歸檔存儲(chǔ)，醫(yī)療數(shù)據(jù)在美國(guó)法案保存30年以上，采用的方式，也是采用了很大的前端，很大磁盤的態(tài)勢(shì)，提高在線可控在線的訪問(wèn)，通過(guò)管理的平臺(tái)，后端整合進(jìn)去磁帶的存儲(chǔ)，到在線存儲(chǔ)離線存儲(chǔ)整合在一個(gè)平臺(tái)上。 這邊是美國(guó)前五大的銀行機(jī)構(gòu)，它的數(shù)據(jù)也非常大，20個(gè)TB，同樣采用了活動(dòng)歸檔的系統(tǒng)平臺(tái)，采用了磁盤作為前端高速的緩存，后端是一個(gè)非常大型的（英文）的磁帶庫(kù)，進(jìn)行海量數(shù)據(jù)的保存。 大家通過(guò)分享，看到的這些案例，我們講到分機(jī)存儲(chǔ)技術(shù)，活動(dòng)歸檔技術(shù)在今天有很多實(shí)踐。后面有點(diǎn)時(shí)間做一些廣告，給大家介紹一下Spectra Logic的公司。很多朋友大家以前沒(méi)有聽說(shuō)過(guò)Spectra Logic，Spectra Logic是非常技術(shù)型的公司，有30多年的歷史。向用戶提供海量數(shù)據(jù)可靠保存的解決方案。我們?cè)谇笆髷?shù)據(jù)中心，有八家采用了Spectra Logic的數(shù)據(jù)存儲(chǔ)解決方案。 看我們的目標(biāo)實(shí)際上通過(guò)我們技術(shù)革新、創(chuàng)新，給用戶提供低碳化，企業(yè)級(jí)的磁帶存儲(chǔ)產(chǎn)品，滿足用戶綠色數(shù)據(jù)中心的需求。讓用戶存儲(chǔ)海量數(shù)據(jù)，更高密度，占用更小空間，更可靠的能耗。達(dá)到大數(shù)據(jù)應(yīng)用不可回避的一個(gè)問(wèn)題。這是我們頂級(jí)的（英文）的磁帶庫(kù)，我們單套磁帶庫(kù)達(dá)到24萬(wàn)盤的容量。單臺(tái)我們可以達(dá)到2萬(wàn)盤以上。大家看到（英文）那個(gè)用戶，他僅僅是380個(gè)TB非常巨大了，只是用了我們四臺(tái)機(jī)連的方式，我們最多可以有12連的機(jī)連，提供更大的容量。 因?yàn)镾pectra Logic我們一直做技術(shù)創(chuàng)新，應(yīng)該說(shuō)在過(guò)去的10年里面，不斷的基于磁帶技術(shù)的創(chuàng)新，我們得到了很多業(yè)界的認(rèn)可，得到了大量的獎(jiǎng)項(xiàng)，都是基于技術(shù)方面的獎(jiǎng)項(xiàng)。給大家分享兩個(gè)，專門針對(duì)大數(shù)據(jù)時(shí)代，DCIG專門做了一個(gè)大數(shù)據(jù)的指南，這個(gè)單獨(dú)有一項(xiàng)針對(duì)磁帶庫(kù)的，Spectra Logic在單機(jī)、雙機(jī)這兩項(xiàng)評(píng)價(jià)里面都獲得了第一名的成績(jī)。涵蓋了大量的分析數(shù)據(jù)，大家有興趣可以提供大家詳細(xì)的分享報(bào)告。意味著在大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)方面Spectra Logic有很好的產(chǎn)品非常適合用戶，解決大數(shù)據(jù)存儲(chǔ)的問(wèn)題。另外一個(gè)獎(jiǎng)項(xiàng)是這周拿到資料，這是我們Storage雜志每年針對(duì)不同的IT技術(shù)，存儲(chǔ)技術(shù)進(jìn)行評(píng)測(cè)，這是12月份剛剛發(fā)布的成果，針對(duì)企業(yè)級(jí)終端磁帶庫(kù)市場(chǎng)做了詳細(xì)的分析，我們Spectra Logic在終端磁帶庫(kù)，企業(yè)級(jí)磁帶庫(kù)兩項(xiàng)里面都獲得了第一名的成就。這個(gè)評(píng)測(cè)是非常權(quán)威的，涵蓋了整個(gè)的產(chǎn)品銷售競(jìng)爭(zhēng)力，包括產(chǎn)品質(zhì)量，包括產(chǎn)品功能，包括產(chǎn)品的可靠性，還有我們售后服務(wù)支持的能力，是一個(gè)綜合的評(píng)測(cè)，應(yīng)該說(shuō)Spectra Logic獲得了很好的成績(jī)。 另外這是我們兩個(gè)比較大型的客戶，這是一些案例，產(chǎn)品在這里不過(guò)多介紹。一個(gè)是（英文），是美國(guó)宇航局這個(gè)有大量的數(shù)據(jù)，在早期做開始做火星探測(cè)，機(jī)遇者、勇敢者號(hào)探測(cè)采集的數(shù)據(jù)都是用Spectra Logic的磁帶庫(kù)，在大量的存儲(chǔ)空間的同時(shí)，減少了GDP占的。另外一個(gè)更近一些，這是我們鄰居，韓國(guó)的氣象中心，現(xiàn)在至少是亞太，全球可能也是排在前面，最大規(guī)模的氣象中心，有很高性能的機(jī)器。我們整個(gè)數(shù)據(jù)備份，采用我們Spectra Logic（英文）的產(chǎn)品。在前面我們可以看到用了幾百個(gè)IBM的T140的起動(dòng)機(jī)。應(yīng)該說(shuō)Spectra Logic目前在離線存儲(chǔ)，或者說(shuō)磁帶存儲(chǔ)這個(gè)領(lǐng)域，在企業(yè)界領(lǐng)域走在非常前沿的位置。 剛才這些介紹占用大家很多的時(shí)間。最后總結(jié)一下，我今天想跟大家分享向大家介紹活動(dòng)歸檔的技術(shù)，通過(guò)活動(dòng)歸檔技術(shù)給大家在數(shù)據(jù)存儲(chǔ)量，成本非常靈活的管理，給大家整個(gè)大數(shù)據(jù)時(shí)代的存儲(chǔ)，帶來(lái)更加全新的理念，希望大家有興趣的話，我們會(huì)后大家都可以進(jìn)行進(jìn)一步的交流。在最后再次感謝大家！ |
|
主持人：下面有請(qǐng)?zhí)旖蛑锌扑{(lán)鯨信息技術(shù)有限公司產(chǎn)品經(jīng)理劉振晗先生，演講題目是大數(shù)據(jù)應(yīng)用下的存儲(chǔ)挑戰(zhàn)。 劉振晗：謝謝大家非常高興在這里代表中科藍(lán)鯨的存儲(chǔ)挑戰(zhàn)。當(dāng)前全球信息總量，每?jī)赡暝鲩L(zhǎng)一倍，面對(duì)爆炸式的增長(zhǎng)，我們采取什么方式應(yīng)對(duì)，這部分重要性和價(jià)值越來(lái)越高，每個(gè)企業(yè)都無(wú)法容忍這個(gè)數(shù)據(jù)的丟失和損害。如何將資源進(jìn)行有效的應(yīng)用，這是擺在我們面前的挑戰(zhàn)和促進(jìn)。中科藍(lán)鯨希望采用一些新的技術(shù)。為客戶提供節(jié)省投資，提高存儲(chǔ)系統(tǒng)效率，同時(shí)可以節(jié)省投資的這么一個(gè)解決方案。 在這個(gè)過(guò)程里面我們面臨一些制約因素，比如說(shuō)如何去為客戶減少它的項(xiàng)目投資，包括如何保證他以前的原有投資，在系統(tǒng)升級(jí)過(guò)程中如何保證系統(tǒng)可靠性，不會(huì)影響系統(tǒng)正常硬性。如何在系統(tǒng)運(yùn)行之后，盡量減少對(duì)維護(hù)人員的影響。包括如何維持基礎(chǔ)架構(gòu)不做過(guò)多改變，這些都是我們需要解決的問(wèn)題。我們希望把大數(shù)據(jù)分為兩個(gè)主要的方向，一個(gè)傳統(tǒng)音視頻領(lǐng)域非結(jié)構(gòu)化數(shù)據(jù)，另外是一些傳統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)。一個(gè)數(shù)字媒體行業(yè)，另外一部分就是視頻監(jiān)控的領(lǐng)域，主要是用于平安城市、社會(huì)城市、數(shù)字城市、智慧公安等等的這些領(lǐng)域。其他非結(jié)構(gòu)化的數(shù)據(jù)，主要是集中勘探數(shù)據(jù)計(jì)算的分析，石油地質(zhì)的勘探，需要通過(guò)地震波偵測(cè)地質(zhì)的不同性質(zhì)，這個(gè)地震波以圖象方式反饋上來(lái)，每個(gè)地震波需要大量圖片組成，而一個(gè)圖片大概容量是幾G十幾G甚至更高。其他方面比如說(shuō)高性能計(jì)算，遙感信息處理，檔案設(shè)計(jì)，互聯(lián)網(wǎng)網(wǎng)站應(yīng)用，海量圖片應(yīng)用諸多領(lǐng)域。我們首先對(duì)大數(shù)據(jù)的獲取。最后大數(shù)據(jù)的處理，通過(guò)信息分析希望信息產(chǎn)生價(jià)值。 這個(gè)數(shù)據(jù)的獲取從平臺(tái)終端的角度來(lái)分，我們可以發(fā)現(xiàn)從PC包括手機(jī)包括大量的傳感器，包括傳統(tǒng)數(shù)字媒體的攝像機(jī)、錄音機(jī)，都可以產(chǎn)生大量的數(shù)據(jù)，從領(lǐng)域上來(lái)分，包括互聯(lián)網(wǎng)，包括其他的相關(guān)很多領(lǐng)域，都會(huì)產(chǎn)生大量的數(shù)據(jù)。存儲(chǔ)大數(shù)據(jù)主要是通過(guò)不同的存儲(chǔ)廠商，為客戶提供不同的硬件和軟件的支持。大數(shù)據(jù)的處理希望把海量的信息量?jī)r(jià)值比較低的這么一些數(shù)據(jù)，通過(guò)能夠數(shù)據(jù)挖掘，數(shù)據(jù)分析等一些技術(shù)，提取出對(duì)用戶更有價(jià)值和更珍貴的數(shù)據(jù)。 中科藍(lán)鯨在這樣一個(gè)形式下面，具備什么企業(yè)價(jià)值。一部分是產(chǎn)品技術(shù)，一部分是產(chǎn)品策略，一部分是認(rèn)證。產(chǎn)品技術(shù)上中科藍(lán)鯨具備業(yè)界領(lǐng)先的技術(shù)共享技術(shù)。面向客戶運(yùn)用創(chuàng)新的技術(shù)。中科藍(lán)鯨具備十多年的數(shù)據(jù)保護(hù)和數(shù)據(jù)存儲(chǔ)管理經(jīng)驗(yàn)�？梢蕴峁┫冗M(jìn)成熟的解決方案。在用戶驗(yàn)證方面，在異架存儲(chǔ)管理方案，市場(chǎng)占領(lǐng)領(lǐng)先的優(yōu)勢(shì)。 我們把中科藍(lán)鯨存儲(chǔ)解決方案實(shí)力劃分為四層。第一層存儲(chǔ)的解決方案，為企業(yè)提供基礎(chǔ)存儲(chǔ)結(jié)構(gòu)的部署。第二層存儲(chǔ)管理的方案。為企業(yè)提供信息數(shù)據(jù)生命周期管理的方案。再上面一層存儲(chǔ)方案的一面。為企業(yè)信息系統(tǒng)提供顧問(wèn)的系統(tǒng)。 中科藍(lán)鯨大數(shù)據(jù)解決方案理念，可以被流媒體大數(shù)據(jù)為主高速度方案，集成數(shù)據(jù)歸檔解決方案。另外一個(gè)實(shí)現(xiàn)數(shù)據(jù)共享。第二大部分主要是擴(kuò)展能力。中科藍(lán)鯨的方案具備強(qiáng)大的系統(tǒng)擴(kuò)展性，同時(shí)從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)到未來(lái)非結(jié)構(gòu)化大數(shù)據(jù)可以提供多重管理手段，這個(gè)后面有詳細(xì)的介紹。同時(shí)主力于未來(lái)客戶私有云的部署。 第三部分它具有高價(jià)值的收益。主要體現(xiàn)在異架部署企業(yè)級(jí)軟件設(shè)備，另外實(shí)現(xiàn)面向業(yè)務(wù)的數(shù)據(jù)分級(jí)，存儲(chǔ)管理，有效整合企業(yè)已有的資源，保護(hù)用戶的已有投資。 第二部分給大家介紹一下傳統(tǒng)音視頻行業(yè)大數(shù)據(jù)的解決方案。當(dāng)前以廣電為主的數(shù)字媒體行業(yè)，數(shù)據(jù)特征有如下變化方式，主要三個(gè)方面。一個(gè)業(yè)務(wù)數(shù)字化，一個(gè)節(jié)目高清化，第三電臺(tái)網(wǎng)絡(luò)化。業(yè)務(wù)數(shù)字化主要是產(chǎn)生大量的數(shù)字化數(shù)據(jù)，節(jié)目高清化，產(chǎn)生大量音視頻文件同時(shí)，隨著清晰度的增壓，這些音視頻文件本身尺寸也會(huì)極大的獲得提升。為不同客戶端提供共享的支持。 下面舉幾個(gè)實(shí)際的例子，上述的冰河時(shí)代，這些電影都是在這個(gè)平臺(tái)上進(jìn)行編輯和制作，編輯對(duì)存儲(chǔ)能量有巨大的需求。如果是2K的數(shù)字電影，每禎是13到20兆P的大小，4K的數(shù)據(jù)電影每楨達(dá)到50兆B，在整個(gè)影片的編輯里面，全部的數(shù)據(jù)達(dá)到數(shù)百平米。2K數(shù)字電影需要400兆每秒，4K需要帶寬1.2G/秒。面對(duì)數(shù)字媒體行業(yè)提出新的需求，中科藍(lán)鯨設(shè)計(jì)了如下的解決方案。地層的存儲(chǔ)設(shè)備以在線存儲(chǔ)，靜線存儲(chǔ)，離線存儲(chǔ)不同的分級(jí)方式提供訪問(wèn)。上層可以進(jìn)行數(shù)據(jù)遷移，存儲(chǔ)訪問(wèn)，存儲(chǔ)服務(wù)器的配置。再上一層傳統(tǒng)數(shù)字媒體行業(yè)的業(yè)務(wù)，包括服務(wù)器的機(jī)群。再上一層就是我們總結(jié)為采集、編輯播出的業(yè)務(wù)流程。整個(gè)所有業(yè)務(wù)流程和管理系統(tǒng)，都可以通過(guò)中科藍(lán)鯨大數(shù)據(jù)解決方案滿足它的需求。這個(gè)方案優(yōu)勢(shì)主要體現(xiàn)在這幾個(gè)方面。一個(gè)可以為整個(gè)業(yè)務(wù)流程提供高速度的數(shù)據(jù)通路訪問(wèn)，另外一個(gè)提供異構(gòu)平臺(tái)的訪問(wèn)。對(duì)（英文）提供統(tǒng)一的訪問(wèn)支持。這些異構(gòu)客戶端訪問(wèn)同樣一個(gè)資源，我用一個(gè)（英文）的客戶端把我筆記本采集到的視頻上傳到 我們業(yè)務(wù)平臺(tái)，另外一個(gè)編輯對(duì)這個(gè)目錄里面對(duì)視頻文件進(jìn)行編輯，包括剪切，配音字幕后期制作。另外一個(gè)辦公室領(lǐng)導(dǎo)對(duì)視頻內(nèi)容檢查，看看有沒(méi)有不符合需求的情況。最后通過(guò)另外發(fā)布的過(guò)程，對(duì)外播出。這就需要我們中科藍(lán)鯨為整個(gè)系統(tǒng)業(yè)務(wù)，體夠一個(gè)共享的訪問(wèn)模式。 不同客戶端以不同的平臺(tái)，看到是同樣一個(gè)用戶的空間。再一個(gè)為了節(jié)省用戶的投資，包括前面也說(shuō)過(guò)，由于業(yè)務(wù)比較復(fù)雜，所以不同業(yè)務(wù)部門對(duì)存儲(chǔ)的性能帶寬，還有存儲(chǔ)能量有不同的需求。所以說(shuō)我們也為用戶設(shè)計(jì)分級(jí)的概念。上面介紹了數(shù)字媒體行業(yè)的解決方案。 接下來(lái)介紹視頻監(jiān)控行業(yè)數(shù)據(jù)增長(zhǎng)對(duì)數(shù)據(jù)存儲(chǔ)提供的需求。滿足PB級(jí)的存儲(chǔ)，這個(gè)不管是攝象頭的數(shù)量在不斷的提升，監(jiān)控?cái)?shù)據(jù)的類型也是越來(lái)越多，同時(shí)對(duì)這個(gè)監(jiān)控清晰度也越來(lái)越高，系統(tǒng)中存放的時(shí)間長(zhǎng)度，也是希望越來(lái)越長(zhǎng)，新時(shí)代的發(fā)展對(duì)容量有巨大要求。同時(shí)對(duì)帶寬有巨大要求，需要滿足高并發(fā)實(shí)時(shí)讀取能力，較高的傳輸能力。把不必要的數(shù)據(jù)直接的過(guò)濾掉，這一方面進(jìn)一步增加了對(duì)存儲(chǔ)系統(tǒng)的負(fù)載。 再下一部分需要存儲(chǔ)系統(tǒng)有良好的擴(kuò)展性，這樣有效對(duì)數(shù)據(jù)量飛速增長(zhǎng)，對(duì)存儲(chǔ)空間不斷擴(kuò)大的需求。 再一部分對(duì)穩(wěn)定性的需求，需要保證數(shù)據(jù)的可靠性，再一個(gè)保證連續(xù)性。我存進(jìn)去的數(shù)據(jù)不能隨便丟，如果需要的話，數(shù)據(jù)丟失承擔(dān)政治思想。要保證視頻監(jiān)控錄入的連續(xù)性。這需要存儲(chǔ)系統(tǒng)能夠提供穩(wěn)定性、安全性，同時(shí)提供相對(duì)低廉的成本。那么針對(duì)上述的需求，中科藍(lán)鯨視頻監(jiān)控行業(yè)大數(shù)據(jù)解決方案設(shè)計(jì)如下。地層通過(guò)服務(wù)器的架構(gòu)（英文）整合通過(guò)設(shè)備虛擬化技術(shù)，提供（英文）的訪問(wèn)。上面我們通過(guò)文件系統(tǒng)，對(duì)存儲(chǔ)空間進(jìn)行一個(gè)虛擬化，這樣就便于前端所有的應(yīng)用，能夠訪問(wèn)到整個(gè)系統(tǒng)的（英文）的。同時(shí)在這個(gè)原數(shù)據(jù)服務(wù)器，采取了（英文）高可靠的模式，這么做的模式可以提高系統(tǒng)的環(huán)境。整個(gè)方案的優(yōu)勢(shì)，在于一個(gè)是可以滿足高系統(tǒng)錄像的性能需求，同時(shí)滿足高性能回放的需求。我們?cè)O(shè)備這一層做了一些改動(dòng)，包括有一些國(guó)家專利的支持。我們對(duì)LOS做了整形的基礎(chǔ)，通過(guò)對(duì)設(shè)備這一層內(nèi)存，調(diào)度進(jìn)行一些修改。 同時(shí)還具備智能分析平臺(tái)聯(lián)動(dòng)的功能，這個(gè)是中科藍(lán)鯨為視頻監(jiān)控行業(yè)提供的大數(shù)據(jù)解決方案。 最后給大家介紹一下其他非結(jié)構(gòu)化的大數(shù)據(jù)解決方案。隨著中科藍(lán)鯨這個(gè)產(chǎn)品在廣電視頻監(jiān)控獲得不錯(cuò)的成績(jī)，中科藍(lán)鯨推出了（英文），以異構(gòu)視頻為主的領(lǐng)域向更大數(shù)據(jù)。非傳統(tǒng)音視頻行業(yè)，雨情監(jiān)控，軍工等領(lǐng)域。具有海量分散存儲(chǔ)，處理分析算法復(fù)雜等等的特點(diǎn)。這個(gè)主要是比較一下傳統(tǒng)存儲(chǔ)的挑戰(zhàn)，還有中科藍(lán)鯨的一個(gè)應(yīng)對(duì)方案。ITC的數(shù)據(jù)表明，非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)結(jié)構(gòu)化的數(shù)據(jù)，這個(gè)從圖里大家得到一個(gè)直觀的數(shù)據(jù)。海量非結(jié)構(gòu)化數(shù)據(jù)成為困擾越來(lái)越多企業(yè)的難題。傳統(tǒng)的數(shù)據(jù)處理不能滿足它的需求。（英文）內(nèi)部的挖掘方式，基本上觸及到了性能偏好，性能帶寬關(guān)鍵指標(biāo)無(wú)法隨著容量的增加而增大了。所以我們得出個(gè)結(jié)論，（英文）已經(jīng)不適合非結(jié)構(gòu)化視頻存儲(chǔ)的需求。中科藍(lán)鯨（英文）為有效應(yīng)對(duì)大數(shù)據(jù)提供了解決方案。 這個(gè)方案有下面幾個(gè)特性。首先是單套系統(tǒng)可以支持多種的訪問(wèn)模式�？梢杂糜诙嘀氐木W(wǎng)絡(luò)，可以提供光纖網(wǎng)絡(luò)，還可以提供兩種網(wǎng)絡(luò)并行的網(wǎng)絡(luò)，（英文），在包括STP等一些協(xié)議的支持。私有協(xié)議的支持，中科藍(lán)鯨自有的PWX系統(tǒng)的支持。這個(gè)跟大家說(shuō)過(guò)全局統(tǒng)一命名空間。對(duì)虛擬化的整合，包括從用戶看到是一個(gè)統(tǒng)一的命名空間，不像傳統(tǒng)的（英文），需要訪問(wèn)不同存儲(chǔ)服務(wù)器節(jié)點(diǎn)數(shù)據(jù)的時(shí)候，需要到不同目錄上，這個(gè)直接可以把這個(gè)多個(gè)存儲(chǔ)服務(wù)器的空間，做一個(gè)統(tǒng)一的管理，做這個(gè)統(tǒng)一管理的好處，一個(gè)前面說(shuō)的共享，另外在客戶端這一層實(shí)現(xiàn)負(fù)載均衡和故障切換。 中科藍(lán)鯨推出的（英文）的方案，就是（英文）集群訪端的方案。當(dāng)（英文）不能滿足性能需要的時(shí)候，我們可以對(duì)它進(jìn)行橫向擴(kuò)展，以（英文）集群方式提供服務(wù)，隨著性能的增加，提供一個(gè)線形的提升。（英文）可以自動(dòng)將負(fù)載遷移到新加入的網(wǎng)管節(jié)點(diǎn)，這個(gè)內(nèi)容不需要人工干預(yù)和更改原來(lái)的系統(tǒng)配置。可以基于運(yùn)營(yíng)和IP地址訪問(wèn)負(fù)載均衡。 再給大家介紹一下業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性。這是要求對(duì)我們非常過(guò)的一點(diǎn)。這個(gè)是諸多方案中的一種，數(shù)據(jù)可以在不同物理設(shè)備間做靜態(tài)的訪問(wèn)模式，根據(jù)業(yè)務(wù)需求，或者根據(jù)客戶不同要求，成本需求，對(duì)原始界和數(shù)據(jù)界進(jìn)行提升，我們對(duì)比較重要的數(shù)據(jù)進(jìn)行靜像保護(hù)。后端存儲(chǔ)的系統(tǒng)可以以最高等級(jí)提供連續(xù)服務(wù)的方式，同時(shí)基于文件的機(jī)制，通過(guò)一個(gè)請(qǐng)求，同步寫在兩個(gè)盤陣上的方式，確保數(shù)據(jù)的高度一致性。容量的擴(kuò)展可以通過(guò)縱向進(jìn)行容量的擴(kuò)展。當(dāng)這個(gè)性能單排（英文）節(jié)點(diǎn)性能不能滿足整個(gè)業(yè)務(wù)系統(tǒng)，我們可以通過(guò)存儲(chǔ)橫向擴(kuò)展的群柜，（英文）機(jī)群可以通過(guò)橫向擴(kuò)展，這樣實(shí)現(xiàn)整個(gè)系統(tǒng)縱向橫向的擴(kuò)展，更大滿足用戶對(duì)性能容量擴(kuò)展的需求。 接下來(lái)介紹一下基于策略的數(shù)據(jù)歸檔與生命周期的管理。中科藍(lán)鯨主要提供在線存儲(chǔ)、靜九先存儲(chǔ)、離線存儲(chǔ)三種方式的存儲(chǔ)�？梢宰寯�(shù)據(jù)在不同級(jí)別中，可以減少數(shù)據(jù)分級(jí)的管理。 中科藍(lán)鯨可以提供多樣化的數(shù)據(jù)保護(hù)策略，主要是分為歸檔，歸檔指文件被遷移到二級(jí)存儲(chǔ)，一級(jí)存儲(chǔ)中顯示被遷移的鏈根，數(shù)據(jù)在一級(jí)存儲(chǔ)中仍然存在，二級(jí)存儲(chǔ)中備份一份。以設(shè)備立舊為目的，快速將這個(gè)數(shù)據(jù)從一級(jí)存儲(chǔ)轉(zhuǎn)移到二級(jí)存儲(chǔ)。刪除指數(shù)據(jù)生命周期結(jié)束的時(shí)候，進(jìn)行刪除，可以用于刪除不需要的文件類型。 還有其他非結(jié)構(gòu)化大數(shù)據(jù)的解決方案，最后進(jìn)行一個(gè)總結(jié)。非結(jié)構(gòu)大數(shù)據(jù)解決方案主要是以高效的BWSS，網(wǎng)絡(luò)分布式分散系統(tǒng)作為架構(gòu)依托，通過(guò)IP網(wǎng)絡(luò)，光纖網(wǎng)絡(luò)，共存的模式對(duì)外提供訪問(wèn)，這種訪問(wèn)可以以客戶端存儲(chǔ)設(shè)備支鏈方式提供，也可以推過(guò)（英文）集群方式對(duì)外提供訪問(wèn)。同時(shí)可以通過(guò)數(shù)據(jù)歸檔和數(shù)據(jù)化遷移的方式，對(duì)整個(gè)數(shù)據(jù)庫(kù)里面的數(shù)據(jù)進(jìn)行分級(jí)訪問(wèn)，對(duì)數(shù)據(jù)生命周期，提供不同策略手段的管理方式。最后這個(gè)方案的優(yōu)勢(shì)總結(jié)一下，在于（英文）集群提供高帶寬的訪問(wèn)，可以與（英文）支鏈方式進(jìn)行訪問(wèn)，可以與異構(gòu)平臺(tái)訪問(wèn)，同時(shí)提供數(shù)據(jù)的分析管理。 最后中科藍(lán)鯨愿意與各位一起努力，為深受大數(shù)據(jù)管理困擾的企業(yè)進(jìn)行服務(wù)，提供他們享受大數(shù)據(jù)的正能量，正價(jià)值，謝謝大家！ |