全國高性能計算學(xué)術(shù)年會

近年來，生物工程、高能物理、天氣預(yù)報、地址研究等數(shù)據(jù)秘籍應(yīng)用逐漸發(fā)展成為高性能計算領(lǐng)域典型應(yīng)用，這類應(yīng)用通常需要大量的計算和存儲資源，數(shù)據(jù)也分布存儲ZAU不同的集群中，需要多個夸局域網(wǎng)或管理域的協(xié)同工作。

并行處理中，如何在多集群間快速傳輸大文件，成為研究的熱點(diǎn)。并行處理中的文件傳輸，是一種多源到多目的得傳輸問題，當(dāng)前的研究重點(diǎn)都是如何提高傳輸?shù)牟⑿卸?，縮短傳輸時間。

吉林大學(xué)的魏曉輝針對上述問題，提出了一個支持多集群數(shù)據(jù)并行的按需文件傳輸算法OFT，首先OFT利用集群內(nèi)部快速共享的特點(diǎn)，實(shí)現(xiàn)目的端的并行接受與組裝。本文將目的節(jié)點(diǎn)成為同一集群的傳輸請求合并成一個請求，將該請求分配給集群中的多個節(jié)點(diǎn)，分散傳輸負(fù)載。

使用多跳路徑分割優(yōu)化傳輸路徑時，對于單個源目的對，選出一條最優(yōu)路徑，最優(yōu)路徑的跳數(shù)加上一個可調(diào)節(jié)范圍值作為所有路徑跳數(shù)的上線，在實(shí)現(xiàn)源目的對連通的基礎(chǔ)上獲得路徑分割帶來的性能改善。

在報告中，魏曉輝說到，對于多源傳輸方法進(jìn)行適度的擴(kuò)展，主要分為幾步分，第一步，合并請求集合R，將在同一集群請求同一文件的請求合并為該集群請求某文件A，避免集群內(nèi)部與外部網(wǎng)絡(luò)的多次傳輸。

第二步，對合并后的A擴(kuò)展目的端，此時集群中存在的外部鏈接的節(jié)點(diǎn)都可作為目的節(jié)點(diǎn)，第三步，為A查找路徑。對于每個源目的對，使用多跳路徑分割和多重路徑的方法查找出多跳路徑，選取傳輸性能較好的路徑組合。

第四步，當(dāng)A間競爭物理鏈路，存在帶寬沖突時，根據(jù)每個A傳輸文件的大小，按比例為其分配帶寬，是的多個請求的傳輸時間盡量相同，降低耗時最常請求的傳輸時間，從而獲得整體傳輸時間最小。

zhangcun