IDF2013:大數(shù)據(jù)戲碼不斷加重
比特網(wǎng) 發(fā)表于：13年04月21日 22:11 [轉載] DOIT.com.cn
“現(xiàn)在已經(jīng)有越來越多的企業(yè)會采用Hadoop來管理他們的數(shù)據(jù)。因此，我們將持續(xù)加強對Hadoop的投資，到目前為止我們希望進一步的強化開源社區(qū)，希望能夠有效的利用英特爾的處理器技術。”在今天的IDF2013上，英特爾公司高級副總裁、數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部總經(jīng)理柏安娜在主題演講中如是說道。對于“持續(xù)”二字，不難感覺到大數(shù)據(jù)的戲碼正在逐漸加重的味道。
柏安娜講到，預測到2016年，會有190億個不同的設備連接互聯(lián)網(wǎng)。跟2011年比起來，增長很大。而且這190億個設備中，大部分都是所謂的物聯(lián)網(wǎng)，也就是機器到機器的連接。比如說監(jiān)視器、汽車或者是工廠自動化的設備，這些設備都能夠連接到互聯(lián)網(wǎng)。在這些數(shù)量龐大的設備背后，都需要強大的數(shù)據(jù)中心的支持，自然對數(shù)據(jù)中心的需求會越來越大。
從物聯(lián)網(wǎng)到數(shù)據(jù)中心是一個數(shù)據(jù)分析過程，這也就是所謂的大數(shù)據(jù)。但是現(xiàn)在面對的挑戰(zhàn)已遠遠大于過去，遠非一個公司內(nèi)的IT部門就能負責的工作。要達到全年不打烊的快速響應時間，還要處理更多復雜的結構化、非結構化數(shù)據(jù)類型，都是大數(shù)據(jù)時代的挑戰(zhàn)。
英特爾的客戶——中國移動就面臨了巨大的挑戰(zhàn)。因為每一天他們都必須要收集很多呼叫記錄。一年的客戶就增加了3200萬，呼叫的數(shù)量也大幅度增長，過去的計費系統(tǒng)已不能使用，因為沒有辦法為客戶提供實時準確的計費資料，所以中國移動要處理的工作可以說是非常的復雜。
英特爾針對中國移動的困惑就采用了Hadoop機架，同時結合應用固態(tài)硬盤。因為固態(tài)硬盤的特點是讀寫速度快，比起傳統(tǒng)硬盤，每秒I/O次數(shù)更高。在Hadoop應用中，如果內(nèi)存配置不足，會有大量的中間結果寫入到硬盤，這樣相對較小而且密集的硬盤操作更適合放到SSD中，通過讓SSD保存中間數(shù)據(jù)和臨時文件的方式來加速Hadoop應用。在中移動的基礎架構獲得如此優(yōu)化之后，不用40秒就可以完成大數(shù)據(jù)的分析工作，性能足足提升了30倍以上。
在主題演講中，柏安娜也也介紹了未來幾個月將會推出的新品：英特爾即將生產(chǎn)全新的英特爾凌動處理器產(chǎn)品家族和英特爾至強處理器E3、E5和E7產(chǎn)品家族，這些更新的產(chǎn)品將具備更高的性能功耗比以及更多的功能。
至強E7家族產(chǎn)品在內(nèi)存方面增加了3倍，計算分析方面也更加卓越，而且是針對數(shù)據(jù)中心的內(nèi)存分析;核心數(shù)據(jù)中心至強E5將采用英特爾尖端的22 納米技術，提高能源效率;至強E3家族，會采用下一代架構Haswell，提高效能的同時降低功耗。新的至強E3將把耗電降到13瓦，降低25%。
最后再剖張展板區(qū)英特爾的大數(shù)據(jù)應用：
高性能計算中的大數(shù)據(jù)處理
(采用HDFS分布式文件系統(tǒng)作為數(shù)據(jù)存儲，比起傳統(tǒng)的RAID5解決方案，HDFS有更好的擴展性，最終實現(xiàn)的優(yōu)化加速比為6.25x。采用MapReduce做數(shù)據(jù)處理，)
