圖一：中國科學(xué)院高能物理研究所的研究員孫功星發(fā)表演講

圖二：高能物理需要大量的計算資源，并且會產(chǎn)生大量的數(shù)據(jù)。

孫功星表示，在高能物理領(lǐng)域的大數(shù)據(jù)處理過程主要包括三個方面：首先是Data Recording，Raw Event從探測器獲取，以二進(jìn)制格式記錄的探測器信號，再由計算機(jī)產(chǎn)生模擬實驗的蒙特卡羅模擬數(shù)據(jù)，將物理信號數(shù)字化；然后是Data Processing，讀出Raw/MC Raw，處理產(chǎn)生相關(guān)物理信息，如動量、對撞頂點等；最后就是Data Mining，由上千個屬性組成的DST Event文件，提供物理學(xué)家進(jìn)行分析，并最后產(chǎn)生物理結(jié)果。

圖三：高能物理的數(shù)據(jù)處理過程。

圖四：物理分析。

孫功星研究員表示，物理學(xué)家通過大數(shù)據(jù)處理三個過程，在里面找到有興趣的數(shù)據(jù)。現(xiàn)在我們開始嘗試采用Hadoop本地系統(tǒng)，采用Hadoop方案之后，對于網(wǎng)絡(luò)、磁盤陣列的需求減少很多。當(dāng)然在高能物理領(lǐng)域的Hadoop應(yīng)用跟互聯(lián)網(wǎng)有所不同，因此我們也有針對性，特別是在IO方面做了一些工作，以適用Hadoop架構(gòu)。通過Lustre和Hadoop架構(gòu)的對比，我們進(jìn)行分析測試后發(fā)現(xiàn)，在處理性能和文件重建等方面都有著大幅的性能提升。過去傳統(tǒng)的方式就是拿數(shù)據(jù)過來分析，扔掉不重要的數(shù)據(jù)，然后再拿數(shù)據(jù)進(jìn)行分析，再扔掉不重要的數(shù)據(jù)，過程比較繁瑣。通過Hadoop架構(gòu)，我們將TAG數(shù)據(jù)放入到Hbase中，TAG數(shù)據(jù)則是非常小的，利用Hadoop的確是能大幅提升性能。

圖五：在MapReduce下面運行C++

圖六：測試對比結(jié)果。

圖七：將TAG數(shù)據(jù)放入Hbase。

圖八：測試性能結(jié)果。 

最后，孫功星研究員認(rèn)為高能物理領(lǐng)域是大數(shù)據(jù)、數(shù)據(jù)挖掘的技術(shù)，具有完善的數(shù)據(jù)挖掘軟件。未來LHC升級將會產(chǎn)生幾倍于現(xiàn)在的數(shù)據(jù)，給高能物理計算帶來更多挑戰(zhàn)，因此現(xiàn)在的趨勢就是探索新型的計算機(jī)體系結(jié)構(gòu)、高性能計算機(jī)結(jié)合的方案。

shaolong