在第六屆中國(guó)云計(jì)算大會(huì)上，浪潮集團(tuán)云計(jì)算技術(shù)總監(jiān)張東表示分享了當(dāng)前大數(shù)據(jù)處理面臨的挑戰(zhàn)及解決之道。他強(qiáng)調(diào)，云計(jì)算大數(shù)據(jù)的規(guī)劃需要一步一個(gè)腳印，逐步從建云開(kāi)始到聚集數(shù)據(jù)，浪潮提供的大數(shù)據(jù)解決方案的關(guān)鍵詞是“一體化”。

張東認(rèn)為，認(rèn)為從云計(jì)算到大數(shù)據(jù)實(shí)際上是一條把資源聚集到數(shù)據(jù)聚集到數(shù)據(jù)利用的一個(gè)完整路徑。特別是在現(xiàn)在，云計(jì)算已經(jīng)談了幾年了，很多的系統(tǒng)可能也建起來(lái)了，如何能夠真正實(shí)現(xiàn)在一個(gè)云里面實(shí)現(xiàn)數(shù)據(jù)間的融合，打破數(shù)據(jù)間的壁壘，可能就是現(xiàn)在這個(gè)階段要做的最重要的工作。

浪潮認(rèn)為應(yīng)當(dāng)從行業(yè)大數(shù)據(jù)入手，張東介紹了行業(yè)大數(shù)據(jù)的三個(gè)特點(diǎn)：數(shù)據(jù)價(jià)值密度更高，更具可挖掘性;數(shù)據(jù)具備獨(dú)立性，共享存在各種障礙;行業(yè)間數(shù)據(jù)綜合分析處理是未來(lái)的發(fā)展重點(diǎn);更加關(guān)注數(shù)據(jù)轉(zhuǎn)化為服務(wù)過(guò)程中的獨(dú)特需求。

張東還分享了數(shù)據(jù)處理周期中面臨的四大挑戰(zhàn)，以及浪潮的解決之道。

浪潮集團(tuán)云計(jì)算技術(shù)總監(jiān)張東

數(shù)據(jù)處理周期中所遭遇的挑戰(zhàn)

首先，浪潮還是把大數(shù)據(jù)從一個(gè)數(shù)據(jù)的收集聚集起來(lái)開(kāi)始，一直到最后，浪潮把它進(jìn)行分析，進(jìn)行決策，把它展現(xiàn)出來(lái)這樣一個(gè)過(guò)程，包括采集、存儲(chǔ)、分析、可視化，以及最終為決策來(lái)服務(wù)。在每一個(gè)階段，實(shí)際上現(xiàn)在還有很多的問(wèn)題，浪潮如果要想將大數(shù)據(jù)推廣到更多的領(lǐng)域，能夠讓更多的行業(yè)用戶(hù)，或者說(shuō)傳統(tǒng)的一些信息化用戶(hù)用起來(lái)，那么浪潮必須要來(lái)解決這個(gè)問(wèn)題。

挑戰(zhàn)1：數(shù)據(jù)收集/清洗/過(guò)濾

第一個(gè)，就是在采集和匯總領(lǐng)域的問(wèn)題。因?yàn)槔顺痹谶@一兩年里面頂著大數(shù)據(jù)的名頭去找了很多用戶(hù)，很多用戶(hù)聽(tīng)說(shuō)大數(shù)據(jù)很好，搞完預(yù)算以后，要搞大數(shù)據(jù)，他們也很熱心。但是，你去看一看他的系統(tǒng)，首先第一個(gè)問(wèn)題，數(shù)據(jù)在哪?很多人想做東西，實(shí)際上并沒(méi)有他要做這個(gè)東西的數(shù)據(jù)，第一個(gè)問(wèn)題就是數(shù)據(jù)的歸集，可能很多數(shù)據(jù)產(chǎn)生了，但是對(duì)他來(lái)講，他沒(méi)有一個(gè)有效的辦法把它歸集到系統(tǒng)里面去。當(dāng)然，這個(gè)歸集可能是技術(shù)手段原因，也可能是一些管理上的原因。

第二個(gè)，就算他歸集來(lái)了一些數(shù)據(jù)，這些數(shù)據(jù)的來(lái)源也非常復(fù)雜，可能是自己產(chǎn)生的，比如說(shuō)他自己去采集，用機(jī)器采集也好、用人去采集也好，也有的是從別人那拷過(guò)來(lái)的，然后你也沒(méi)有辦法去保證這些數(shù)據(jù)都是好的，或者說(shuō)都很適合于來(lái)做他后期的業(yè)務(wù)。也就是說(shuō)在這里面數(shù)據(jù)質(zhì)量是個(gè)很大的問(wèn)題，數(shù)據(jù)格式不統(tǒng)一也是個(gè)很大的問(wèn)題。

最后在一些政策或者管理制度上的限制，造成了很多數(shù)據(jù)沒(méi)辦法統(tǒng)一起來(lái)，浪潮后面可能會(huì)講到一個(gè)例子，是國(guó)內(nèi)一個(gè)很典型的部門(mén)，就是公安，大家都覺(jué)得它應(yīng)該是一個(gè)部門(mén)，但后來(lái)發(fā)現(xiàn)里面是N多部門(mén)，里面所有的數(shù)據(jù)在原來(lái)都是互補(bǔ)連通的，這個(gè)現(xiàn)象不僅僅在這樣一個(gè)行業(yè)，浪潮在很多行業(yè)都看到了這樣的問(wèn)題，上下級(jí)之間可能不通的，平級(jí)部門(mén)之間可能也是不通的。

第一個(gè)要解決的問(wèn)題就是怎么把這些東西歸集起來(lái)，解決歸集里面一些技術(shù)的手段，和浪潮怎么去做標(biāo)準(zhǔn)，怎么把它規(guī)范化的問(wèn)題。

挑戰(zhàn)2：數(shù)據(jù)存儲(chǔ)和管理

第二個(gè)問(wèn)題，這項(xiàng)數(shù)據(jù)歸集起來(lái)了，就會(huì)遇到一個(gè)問(wèn)題，就是存儲(chǔ)和管理的問(wèn)題。其實(shí)也有很多人說(shuō)我有很好的采集手段，我有很多攝像頭和傳感器，但是這些東西傳回來(lái)很困難，后臺(tái)沒(méi)那么大的存儲(chǔ)能力，過(guò)兩天就得重新把它滾一次。在這里面，隨著數(shù)據(jù)規(guī)模的日益龐大，同時(shí)，數(shù)據(jù)類(lèi)型也越來(lái)越復(fù)雜，可能有圖片、視頻，有能放到數(shù)據(jù)庫(kù)里面的，有放不到數(shù)據(jù)庫(kù)里面的，現(xiàn)在很多的那里保存了很多放到數(shù)據(jù)庫(kù)里面的東西，放不到數(shù)據(jù)庫(kù)的慢慢就被替換掉了，因?yàn)閷?shí)在太大，放不下。

還有就是在統(tǒng)一存儲(chǔ)過(guò)程中的共享和隱私的問(wèn)題，這個(gè)浪潮在不止一個(gè)用戶(hù)那邊都會(huì)跟浪潮提出一個(gè)要求。浪潮現(xiàn)在建了一個(gè)統(tǒng)一的大池子，以前的數(shù)據(jù)都放在我這兒，我現(xiàn)在要把數(shù)據(jù)放到他那去了，你怎么保證我放在他那的數(shù)據(jù)是安全的?你一定要給我上這個(gè)手段、那個(gè)手段，當(dāng)然很多用戶(hù)聽(tīng)到的都是傳統(tǒng)的手段，比如說(shuō)強(qiáng)制訪(fǎng)問(wèn)控制、要加密等等，但是在這里面，傳統(tǒng)安全的一些手段，應(yīng)該說(shuō)這是在云計(jì)算模式產(chǎn)生之后大家一直在探討的問(wèn)題，而且也是一直沒(méi)有非常好的答案的問(wèn)題，也就是說(shuō)我聚集起來(lái)以后，怎么防止用戶(hù)之間互相滲透，第二怎么防止后臺(tái)的管理員，這個(gè)我以前根本沒(méi)有見(jiàn)過(guò)的人，我要去信任他。

挑戰(zhàn)3：數(shù)據(jù)分析過(guò)程

第三個(gè)問(wèn)題是在分析過(guò)程中產(chǎn)生的問(wèn)題，從前面的接觸來(lái)看，分析過(guò)程中問(wèn)題簡(jiǎn)單來(lái)講就是兩條。第一，懂業(yè)務(wù)的人不會(huì)寫(xiě)程序，會(huì)寫(xiě)程序的人不懂業(yè)務(wù)，如何將這些懂業(yè)務(wù)人的知識(shí)轉(zhuǎn)化成計(jì)算機(jī)的知識(shí)，這實(shí)際上是一個(gè)很麻煩的事情。剛才前面很多專(zhuān)家也講到了，現(xiàn)在在一些大企業(yè)里面做的一些嘗試，做人臉模式識(shí)別，包括語(yǔ)音、視頻、音頻，如何訓(xùn)練機(jī)器像人的大腦一樣工作。但是在很多的專(zhuān)業(yè)行業(yè)里，其實(shí)還有很多更專(zhuān)業(yè)的知識(shí)。比如說(shuō)行政領(lǐng)域可能都是靠人，比如說(shuō)現(xiàn)在浪潮的醫(yī)療，當(dāng)然大家講專(zhuān)家醫(yī)療已經(jīng)逐步往前走了，但是在醫(yī)療系統(tǒng)里面也是一樣的。前一陣子浪潮跟同事在一起討論的時(shí)候，大家也在說(shuō)這個(gè)問(wèn)題，是不是可以通過(guò)計(jì)算機(jī)的網(wǎng)絡(luò)，大家拿著自己的癥狀、化驗(yàn)單能夠讓計(jì)算機(jī)幫人看病，解決浪潮現(xiàn)在很多時(shí)候面臨的醫(yī)療問(wèn)題，當(dāng)然這是另外一個(gè)話(huà)題了，但是在這里面，如何能夠?qū)⑷说慕?jīng)驗(yàn)轉(zhuǎn)化成計(jì)算情感，這是很多人都會(huì)面臨的，好不容易找到新應(yīng)用的人了，其實(shí)寫(xiě)出來(lái)的應(yīng)用做OA還可以，可能再做一個(gè)真的要結(jié)合他的業(yè)務(wù)就會(huì)很復(fù)雜，而且現(xiàn)在有很多算法層面或者更深層面的東西是沒(méi)有突破、沒(méi)有解決，需要更好的再往前進(jìn)一步，真正實(shí)現(xiàn)通過(guò)浪潮所有的攝像頭監(jiān)控一個(gè)人，這個(gè)事情很難做到。

第二個(gè)，就是這個(gè)應(yīng)用太復(fù)雜了，以前大家都用數(shù)據(jù)技術(shù)，后來(lái)都用數(shù)據(jù)倉(cāng)庫(kù)，再忽然有一天，大家說(shuō)Hadoop是個(gè)好東西，大家全上Hadoop。是不是所有的應(yīng)用都適合Hadoop，其實(shí)不是的，從原來(lái)的數(shù)據(jù)庫(kù)切到Hadoop覺(jué)得不行又切回去了。如何找到多樣性適合應(yīng)用的一些技術(shù)來(lái)解決它的根本問(wèn)題，也是現(xiàn)在面臨的一個(gè)挑戰(zhàn)。

挑戰(zhàn)4：數(shù)據(jù)可視化

最后就是可視化的問(wèn)題，現(xiàn)在很多人習(xí)慣用平板、手機(jī)將這些東西展現(xiàn)出來(lái)，也是一個(gè)很大的問(wèn)題。前面浪潮講到一些挑戰(zhàn)，后面說(shuō)一下浪潮在這方面做的一些工作。

首先，浪潮剛才講了，大數(shù)據(jù)也是浪潮整個(gè)云計(jì)算戰(zhàn)略的逐步往前邁進(jìn)的其中一步，浪潮從行業(yè)云開(kāi)始，幫助用戶(hù)做運(yùn)算、聚集資源、分析數(shù)據(jù)，這由于浪潮現(xiàn)在這個(gè)云計(jì)算的解決方案。浪潮還是專(zhuān)注在浪潮的數(shù)據(jù)中心方面，從底層機(jī)房建設(shè)到服務(wù)器、到存儲(chǔ)，到浪潮提供基礎(chǔ)的系統(tǒng)軟件，一直到上面來(lái)提供大數(shù)據(jù)的咨詢(xún)服務(wù)、規(guī)劃的服務(wù)等等，來(lái)幫助用戶(hù)建立一套云計(jì)算和大數(shù)據(jù)體系。

浪潮的解決之道

在過(guò)去的一年里面，浪潮在云計(jì)算方面也推出了很多新產(chǎn)品，包括模塊化數(shù)據(jù)中心，面向互聯(lián)網(wǎng)高密度的數(shù)據(jù)中心，現(xiàn)在在互聯(lián)網(wǎng)市場(chǎng)占有率已經(jīng)很高了，包括面向行業(yè)的大數(shù)據(jù)領(lǐng)域等等這樣的一些產(chǎn)品。

張東表示，為用戶(hù)規(guī)劃云計(jì)算需要一步一步走，不能從零一下子蹦到三，而是逐步從建云開(kāi)始到聚集數(shù)據(jù)，浪潮也為用戶(hù)提供整個(gè)一套建設(shè)方案的咨詢(xún)。

具體到大數(shù)據(jù)方面，浪潮提供的方案一個(gè)關(guān)鍵詞，就是一體化?浪潮認(rèn)為一體化分三個(gè)部分，第一是浪潮前面講到的所有處理過(guò)程的，從采集、存儲(chǔ)、分析、可視化，都可以用這樣一套系統(tǒng)解決。第二，發(fā)揮浪潮在硬件方面的優(yōu)勢(shì)，通過(guò)軟硬結(jié)合來(lái)提升整體性能，包括硬件方面的加速算是，以及現(xiàn)在專(zhuān)門(mén)面向大內(nèi)存計(jì)算的能力，提升整個(gè)大數(shù)據(jù)處理的性能。最后就是解決方案的一體化，面向不同的行業(yè)，像今年浪潮發(fā)布了面向金融行業(yè)的一體機(jī)，未來(lái)還會(huì)發(fā)布面向公安行業(yè)的一體機(jī)，來(lái)做整體的解決方案。

最后為大家分享幾個(gè)解決方案的例子，這個(gè)實(shí)際上也是浪潮的案例，浪潮現(xiàn)在還在建設(shè)過(guò)程當(dāng)中，這是一個(gè)省級(jí)公安從云到大數(shù)據(jù)的整體案例。前面列到的這些問(wèn)題在剛才已經(jīng)說(shuō)到了，比如說(shuō)浪潮也覺(jué)得一個(gè)政府部門(mén)可能領(lǐng)導(dǎo)一句話(huà)，大家什么事都好辦，實(shí)際上什么事都不好辦。這里面的很多東西，比如說(shuō)數(shù)據(jù)共享，在這之前可能刑警、經(jīng)濟(jì)、戶(hù)籍、海關(guān)、出入境全都是分開(kāi)的，數(shù)據(jù)之間的共享度在這之前非常差，業(yè)務(wù)系統(tǒng)重復(fù)建設(shè)很?chē)?yán)重，所有的系統(tǒng)都是單機(jī)運(yùn)行的，數(shù)據(jù)處理能力也較差。

這個(gè)就是剛才浪潮說(shuō)的，每一個(gè)系統(tǒng)都對(duì)應(yīng)了一套硬件，對(duì)應(yīng)了一套數(shù)據(jù)庫(kù)，對(duì)應(yīng)了一套獨(dú)立數(shù)據(jù)，當(dāng)你要做應(yīng)用的時(shí)候，你給這個(gè)做應(yīng)用，可能在那個(gè)上面就沒(méi)法跑。通過(guò)浪潮給他從底層進(jìn)行規(guī)劃，包括底層的IaaS層，到中間的基于浪潮開(kāi)放的大數(shù)據(jù)處理平臺(tái)，浪潮可理解為一個(gè)PaaS，但是浪潮還是一個(gè)初步的數(shù)據(jù)共享連通的平臺(tái)，將它所有的IT系統(tǒng)集中在一起，將它所有的數(shù)據(jù)集中在一起，實(shí)際上它原有的應(yīng)用，這個(gè)業(yè)務(wù)系統(tǒng)可以不動(dòng)，它只要說(shuō)我跑在這個(gè)上面，訪(fǎng)問(wèn)那個(gè)地方的特殊數(shù)據(jù)，就形成了一個(gè)新的平臺(tái)，將內(nèi)部所有數(shù)據(jù)共享起來(lái)，同時(shí)將外面的數(shù)據(jù)拿進(jìn)來(lái)，可以進(jìn)行多點(diǎn)碰撞，實(shí)現(xiàn)更多的它以前解決不了的問(wèn)題，或者說(shuō)沒(méi)有辦法快速解決的問(wèn)題，這樣就形成了一個(gè)整體的云計(jì)算和大數(shù)據(jù)的平臺(tái)。

這個(gè)是浪潮具體的一些方案，這是物理上的一個(gè)結(jié)構(gòu)，通過(guò)統(tǒng)一監(jiān)控管理，將全省的平臺(tái)聯(lián)合在一起，這是在大數(shù)據(jù)方面通過(guò)多種處理數(shù)據(jù)的手段，比如說(shuō)它里面有很傳統(tǒng)的數(shù)據(jù)庫(kù)的東西，比如說(shuō)很多人的戶(hù)籍信息可能都在數(shù)據(jù)庫(kù)里面，但是它更有大量的音視頻數(shù)據(jù)，采用了多種平臺(tái)，包括數(shù)據(jù)庫(kù)、類(lèi)似Hadoop這樣的新式平臺(tái)，來(lái)構(gòu)建一個(gè)統(tǒng)一的平臺(tái)。

在上面是浪潮浪潮的一個(gè)數(shù)據(jù)共享平臺(tái)，也叫IOP，將底層所有的云數(shù)據(jù)進(jìn)行統(tǒng)一抽取，統(tǒng)一進(jìn)行處理，在上面把它展現(xiàn)出來(lái)，這樣就形成了浪潮面向公安的一個(gè)大數(shù)據(jù)解決方案。