IDF2013:大數(shù)據(jù)“芯”體驗(yàn)搶先看
IT專(zhuān)家網(wǎng) 發(fā)表于:13年04月21日 22:14 [轉(zhuǎn)載] DOIT.com.cn
展板輪道共話(huà)大數(shù)據(jù)
主題: 展板論道:克服實(shí)時(shí)分析企業(yè)大數(shù)據(jù)的阻礙
時(shí)間: 2 小時(shí) 45 分鐘(4月10日 14:00 展板論道站13)
技術(shù)級(jí)別: 中級(jí)
摘要: 相比一般 IPDC 使用場(chǎng)景,實(shí)時(shí)分析企業(yè)大數(shù)據(jù)需要處理比靈活數(shù)據(jù)模式更為復(fù)雜的集合。 傳統(tǒng)的 RDBMS 和主流的 NOSQL 解決方案(如 HBase/Hadoop)均無(wú)法滿(mǎn)足響應(yīng)性和高并發(fā)性方面的重要要求。 要解決這一問(wèn)題,需要采用分布式內(nèi)存計(jì)算,以實(shí)現(xiàn)橫向擴(kuò)展能力和更快的處理速度。 在這一展板論道中,我們將列舉現(xiàn)有的開(kāi)源實(shí)時(shí)分析項(xiàng)目,介紹我們針對(duì)分布式內(nèi)存計(jì)算的建議架構(gòu),并分享我們?nèi)〉靡恍⿲?shí)驗(yàn)性成果和與中國(guó)獨(dú)立軟件開(kāi)發(fā)商合作伙伴一起開(kāi)展的技術(shù)研究。
主題: 展板論道:在英特爾® 架構(gòu)上分析和優(yōu)化 Hadoop* 性能
時(shí)間: 2 小時(shí) 45 分鐘(4月10日 14:00 展板論道站12)
技術(shù)級(jí)別: 中級(jí)
摘要: 本展板論道涉及的主題包括:
• Hadoop* 性能瓶頸分析
• 面向 Hadoop 的英特爾® 硬件解決方案,包括固態(tài)硬盤(pán) (SSD)、10G 網(wǎng)絡(luò)和 CPU 加速指令
• 面向 Hadoop 的英特爾® 軟件解決方案,包括英特爾® 集成性能基元庫(kù)(英特爾® IPP)和 VTune™ Amplifier
• 擦除 HDFS 中的編碼,特征化和優(yōu)化
• 其它 Hadoop 調(diào)試方法
主題: 展板論道:應(yīng)對(duì)企業(yè)數(shù)據(jù)爆炸式增長(zhǎng):SQL 和 NoSQL 的統(tǒng)一整合
時(shí)間: 2 小時(shí) 45 分鐘(4月10日 14:00 展板論道站15)
技術(shù)級(jí)別: 中級(jí)
摘要: 在本展板論道中,我們將介紹一個(gè)針對(duì)大數(shù)據(jù)企業(yè)解決方案的統(tǒng)一架構(gòu)和真實(shí)案例:SQL 和 NOSQL 一起應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)。
本展板論道涉及的主題包括:
• 企業(yè)大數(shù)據(jù)的挑戰(zhàn)和機(jī)遇
• 涵蓋關(guān)系數(shù)據(jù)、流數(shù)據(jù)和批量數(shù)據(jù)的處理模型
• 大數(shù)據(jù)參考架構(gòu)
• 大數(shù)據(jù)遷移加速因素
• 案例研究
主題: 展板論道:在高性能計(jì)算 (HPC)中處理大數(shù)據(jù)
時(shí)間: 2 小時(shí) 45 分鐘(4月10日 14:00 展板論道站16)
技術(shù)級(jí)別: 中級(jí)
摘要: 在一些高性能計(jì)算 (HPC) 領(lǐng)域,會(huì)生成龐大的數(shù)據(jù)量,并以結(jié)構(gòu)化格式進(jìn)行存儲(chǔ)。當(dāng)前的集中后處理工具的處理時(shí)間很長(zhǎng)。
基于互聯(lián)網(wǎng)門(mén)戶(hù)數(shù)據(jù)中心 (IPDC) 的 Apache* Hadoop* 解決方案,我們建議采用以下解決方案來(lái)加速數(shù)據(jù)后處理:
• 將高性能計(jì)算結(jié)果存儲(chǔ)到 Hadoop 分布式文件系統(tǒng) (HDFS),以利用分布式磁盤(pán) I/O
• 根據(jù)運(yùn)營(yíng)模式修改 HDFS 的文件塊布局,以實(shí)現(xiàn)負(fù)載平衡
• 使用混合消息傳遞接口 (MPI) 和多線(xiàn)程替代 MapReduce 來(lái)執(zhí)行操作
• 基于文件塊布局信息分配任務(wù)
• 重疊數(shù)據(jù) I/O 和計(jì)算
• 為了緩解網(wǎng)絡(luò)壓力,在通過(guò)網(wǎng)絡(luò)傳遞前,使用英特爾® 集成性能基元庫(kù)(英特爾® IPP)壓縮所有數(shù)據(jù)
歡迎加入本展板論道,了解有關(guān)此優(yōu)化戰(zhàn)略的更多信息。屆時(shí)我們將介紹一個(gè)對(duì)氣候系統(tǒng)模型 (CSM) 項(xiàng)目進(jìn)行優(yōu)化的案例研究。在這一案例中,后處理時(shí)間得到了大幅縮短。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶(hù)寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.