對大數(shù)據(jù)來講最主要的是在模型中做計算的約束是非常大的。我們看BSP模型，為什么在過去用到高性能計算上，今天在大數(shù)據(jù)不能用。之后再做并行計算，之后再做篡數(shù)，過去做的所有的高性能計算都是圍繞這個模型來的。

如果我們有了硬件、有了軟件，22年前它就總結(jié)了高性能計算，它畫了一個圈，我們所有的努力都在這里面。

BSP模型有數(shù)據(jù)嗎？因為高性能計算數(shù)據(jù)并不是重要的，主要是以計算為主的。大數(shù)據(jù)更不在里面了。今天做大數(shù)據(jù)計算的時候，是不能與硬件相關(guān)的我不能說找到英特爾說要造一個大數(shù)據(jù)。

所以我們現(xiàn)在用的。我們的模型是今天高性能計算是不能保證的。
   

今天為什么要做并行計算，并行計算給我們帶來了什么樣的障礙？scale-out是什么概念？張曉東認(rèn)為給大家舉一個例子，2008年的時候Google用processed算法計算一個PB的計算量，用了1個小時2分鐘。2011年10PB的數(shù)據(jù)用了6小時27分鐘。我們比較要有非常高的并行度。我們在高并行度下面遇到的第一個困難是，沒有特殊的通信硬件來給我們支持。這不像高性能計算。第二Hadoop的模型非常簡單。第三，沒有軟件的工具來幫助我們做。另外，當(dāng)你放下了數(shù)據(jù)以后是不能傳輸?shù)?，基本上是不能動的。今天這個會議是為了Hadoop。我們對引擎本身是沒有抱怨的，問題是如何利用引擎處理大數(shù)據(jù)。如果我們只永遠(yuǎn)是的引擎只能做簡單的分析。這個引擎有非常好的優(yōu)點，第一它的dependency是非常小的。另外一個工作是非常簡單的。我們必須要有高可用性的大數(shù)據(jù)。
   
如果一個數(shù)據(jù)在做負(fù)載的時候，我們要注意，如果用不好也是費用很高的?？吹搅水?dāng)application，你想做一個的話，現(xiàn)在的是不支持的。如果是在不同的系統(tǒng)上，他們兩個想做一個communication也是不支持的。

第二個問題，如果一個使用者想換個思路。如果你有一個MP可以直接翻譯過去，通過機(jī)器提高了各種各樣的計算。人在實際中用手來寫是不一樣的，75%是又機(jī)器來生成的。他在做項目的時候可以節(jié)省4倍的時間。

最后一個問題，在現(xiàn)有的Hadoop沒有給你任何的信息，用戶是不知道的，你怎么放進(jìn)去的時候取這個數(shù)據(jù)的時候要非常地低。你做這樣的設(shè)計是不是也改變了Hadoop的引擎。最后我們發(fā)現(xiàn)考了三個方面都是很基本的話，那么也是它廣泛應(yīng)用的原因。他們現(xiàn)在在整個的關(guān)鍵信息在什么地方？從Facebook的角度來講，這個是一個Hadoop，用它的時候第一要存到高的數(shù)據(jù)中，如果一個用戶首先用的是YSmart做示范。一個Hadoop是一個大數(shù)據(jù)中心的引擎。本身它就可以做分析，我們一個引擎只能完成一個轉(zhuǎn)的操作問題是我們?nèi)绾螌⒁孀钤嫉膭恿癁榻裉斓闹?。因為我們相信Hadoop是一個引擎并且起了很重要的作用。
 

renxinbo