2013年10月31日，桂林。HPC China 2013大會(huì)進(jìn)入到第三天。在第三天的會(huì)議中，來自中國科學(xué)院高能物理研究所的研究員孫功星帶來了主題為《從大數(shù)據(jù)到新發(fā)現(xiàn)--高能物理大數(shù)據(jù)存儲(chǔ)、處理及挖掘》的主題報(bào)告。孫功星研究員認(rèn)為在發(fā)現(xiàn)希格斯粒子這個(gè)過程中計(jì)算機(jī)的作用非常重要，計(jì)算機(jī)在未來的高能物理學(xué)中將繼續(xù)發(fā)揮重要作用。另外，通過把Hadoop架構(gòu)引入到高性能物理計(jì)算領(lǐng)域，將有助于大幅提升處理與分析的性能。

圖一：中國科學(xué)院高能物理研究所的研究員孫功星發(fā)表演講

圖二：高能物理需要大量的計(jì)算資源，并且會(huì)產(chǎn)生大量的數(shù)據(jù)。

孫功星表示，在高能物理領(lǐng)域的大數(shù)據(jù)處理過程主要包括三個(gè)方面：首先是Data Recording，Raw Event從探測(cè)器獲取，以二進(jìn)制格式記錄的探測(cè)器信號(hào)，再由計(jì)算機(jī)產(chǎn)生模擬實(shí)驗(yàn)的蒙特卡羅模擬數(shù)據(jù)，將物理信號(hào)數(shù)字化；然后是Data Processing，讀出Raw/MC Raw，處理產(chǎn)生相關(guān)物理信息，如動(dòng)量、對(duì)撞頂點(diǎn)等；最后就是Data Mining，由上千個(gè)屬性組成的DST Event文件，提供物理學(xué)家進(jìn)行分析，并最后產(chǎn)生物理結(jié)果。

圖三：高能物理的數(shù)據(jù)處理過程。

圖四：物理分析。

孫功星研究員表示，物理學(xué)家通過大數(shù)據(jù)處理三個(gè)過程，在里面找到有興趣的數(shù)據(jù)�，F(xiàn)在我們開始嘗試采用Hadoop本地系統(tǒng)，采用Hadoop方案之后，對(duì)于網(wǎng)絡(luò)、磁盤陣列的需求減少很多。當(dāng)然在高能物理領(lǐng)域的Hadoop應(yīng)用跟互聯(lián)網(wǎng)有所不同，因此我們也有針對(duì)性，特別是在IO方面做了一些工作，以適用Hadoop架構(gòu)。通過Lustre和Hadoop架構(gòu)的對(duì)比，我們進(jìn)行分析測(cè)試后發(fā)現(xiàn)，在處理性能和文件重建等方面都有著大幅的性能提升。過去傳統(tǒng)的方式就是拿數(shù)據(jù)過來分析，扔掉不重要的數(shù)據(jù)，然后再拿數(shù)據(jù)進(jìn)行分析，再扔掉不重要的數(shù)據(jù)，過程比較繁瑣。通過Hadoop架構(gòu)，我們將TAG數(shù)據(jù)放入到Hbase中，TAG數(shù)據(jù)則是非常小的，利用Hadoop的確是能大幅提升性能。

圖五：在MapReduce下面運(yùn)行C++

圖六：測(cè)試對(duì)比結(jié)果。

圖七：將TAG數(shù)據(jù)放入Hbase。

圖八：測(cè)試性能結(jié)果。 

最后，孫功星研究員認(rèn)為高能物理領(lǐng)域是大數(shù)據(jù)、數(shù)據(jù)挖掘的技術(shù)，具有完善的數(shù)據(jù)挖掘軟件。未來LHC升級(jí)將會(huì)產(chǎn)生幾倍于現(xiàn)在的數(shù)據(jù)，給高能物理計(jì)算帶來更多挑戰(zhàn)，因此現(xiàn)在的趨勢(shì)就是探索新型的計(jì)算機(jī)體系結(jié)構(gòu)、高性能計(jì)算機(jī)結(jié)合的方案。