近年來，隨著 AI、大數(shù)據(jù)的逐漸推廣和完善，特別是 AI 大模型（LLM、多模態(tài)、文生視頻等）的廣泛推廣，超大數(shù)據(jù)量的存儲(chǔ)以及訪問已經(jīng)成為了企業(yè)面臨的一個(gè)重大的技術(shù)以及成本挑戰(zhàn)。

對(duì)象存儲(chǔ)具有擴(kuò)展性好、安全性高、成本可控等特點(diǎn)，成為了目前最熱門的海量數(shù)據(jù)存儲(chǔ)技術(shù)選型。但是對(duì)象存儲(chǔ)在數(shù)據(jù)訪問性能方面也面臨一系列挑戰(zhàn)，特別在 AI 模型訓(xùn)練場(chǎng)景下，數(shù)據(jù)訪問性能的增強(qiáng)，成為了提升 GPU 利用率的關(guān)鍵因素，市場(chǎng)亟需一個(gè)能夠和對(duì)象存儲(chǔ)有效結(jié)合，兼具對(duì)象存儲(chǔ)優(yōu)勢(shì)且性能卓越的一體化解決方案。

XEOS 與  Alluxio 數(shù)據(jù)平臺(tái)的這一合作將為用戶提供更高性能、更低成本、更靈活的數(shù)據(jù)管理和加速方案，有望推動(dòng) AI 技術(shù)在各個(gè)領(lǐng)域的應(yīng)用和發(fā)展。

Alluxio Enterprise AI 與 XEOS 的強(qiáng)強(qiáng)聯(lián)合

1.1 針對(duì) AI 場(chǎng)景的數(shù)據(jù)平臺(tái) Alluxio Enterprise AI

Alluxio Enterprise AI 是針對(duì) AI 相關(guān)場(chǎng)景的數(shù)據(jù)平臺(tái)，可在本地、云、混合或多云環(huán)境中，支持無縫訪問、管理和運(yùn)行您的數(shù)據(jù)和人工智能工作負(fù)載。

智能緩存能力：Alluxio 推出的 Alluxio Enterprise AI 平臺(tái)可以提供高性能分布式緩存系統(tǒng)，因此 AI 引擎等計(jì)算應(yīng)用可以通過訪問高性能 Alluxio 緩存提高數(shù)據(jù) I/O， 而非相對(duì)緩慢對(duì)象存儲(chǔ)來讀寫數(shù)據(jù)。其智能緩存策略針對(duì) AI 等工作負(fù)載的 I/O 模式量身定制，可為整個(gè) AI 等計(jì)算工作流提供高吞吐量和低延遲。Alluxio 可將 GPU 利用率提高至90%以上，使得數(shù)據(jù)與 GPU 周期同步，并加速模型訓(xùn)練和模型服務(wù)。

1.2  為海量非結(jié)構(gòu)化數(shù)據(jù)而生的 XEOS 對(duì)象存儲(chǔ)

XEOS 是 XSKY 推出的企業(yè)級(jí)對(duì)象存儲(chǔ)產(chǎn)品。它支持無縫擴(kuò)展、跨異構(gòu)存儲(chǔ)系統(tǒng)的統(tǒng)一管理、高性能訪問、智能數(shù)據(jù)管理等功能，幫助企業(yè)輕松構(gòu)建安全可靠、高性能、低成本的對(duì)象存儲(chǔ)平臺(tái)，滿足日益增長的海量數(shù)據(jù)管理需求。

XEOS 作為全面的對(duì)象存儲(chǔ)解決方案，是數(shù)據(jù)湖的理想底座，特別適用于 AI 場(chǎng)景的數(shù)據(jù)存儲(chǔ)和管理。作為數(shù)據(jù)湖的底層存儲(chǔ)，XEOS 具備以下優(yōu)勢(shì)：

XEOS 與  Alluxio 深度結(jié)合  充分利用二者優(yōu)勢(shì)的聯(lián)合方案

XEOS 與  Alluxio 的融合充分利用了 XEOS 和 Alluxio 的能力，實(shí)現(xiàn)了更高性能、更低成本、更靈活的數(shù)據(jù)管理和加速方案。在完成兩款產(chǎn)品的基礎(chǔ)融合后，雙方不僅僅完成了基本功能的驗(yàn)證，還基于 AI 場(chǎng)景探索 Alluxio 與 XEOS 進(jìn)行深度結(jié)合開發(fā)。

2.1 高并發(fā)、高性能元數(shù)據(jù)操作

Alluxio 和 XEOS 進(jìn)行了元數(shù)據(jù)接口的深度集成和調(diào)試，實(shí)現(xiàn)了百億到千億級(jí)對(duì)象基礎(chǔ)上的高性能數(shù)據(jù)請(qǐng)求，支持?jǐn)?shù)百萬級(jí)高性能低時(shí)延 IOPS。

XEOS 提供了分布式元數(shù)據(jù)服務(wù)能力，Alluxio 提供了無狀態(tài)可擴(kuò)展的元數(shù)據(jù)存儲(chǔ)和服務(wù)能力，都保證了良好的擴(kuò)展性，同時(shí) Alluxio 和 XEOS 在元數(shù)據(jù)相關(guān)接口集成上有效降低了非必要的接口調(diào)用以及非必要的數(shù)據(jù)傳輸，大大提升了元數(shù)據(jù)接口之間的交互性能。

通過 Alluxio 的無狀態(tài)擴(kuò)展性，每個(gè) Alluxio 節(jié)點(diǎn)獨(dú)立支撐相當(dāng)數(shù)量的元數(shù)據(jù)的請(qǐng)求以及緩存，利用 XEOS 自身的高性能元數(shù)據(jù)訪問接口能力，在不損耗元數(shù)據(jù)請(qǐng)求性能的基礎(chǔ)上擴(kuò)展元數(shù)據(jù)服務(wù)支撐能力，特別是在海量小文件的高并發(fā)數(shù)據(jù)請(qǐng)求下，既可以降低高并發(fā)元數(shù)據(jù)請(qǐng)求對(duì) XEOS 的壓力，又能大大提升元數(shù)據(jù)請(qǐng)求的服務(wù)性能。

2.2 緩存精準(zhǔn)實(shí)時(shí)更新

Alluxio 和 XEOS 之間可以充分利用 XEOS 提供的數(shù)據(jù)集消息通知能力。當(dāng) XEOS 感知到數(shù)據(jù)發(fā)生變更時(shí)，會(huì)實(shí)時(shí)推送通知給 Alluxio。Alluxio 可以利用消息通知機(jī)制，精準(zhǔn)快速地決定哪些數(shù)據(jù)需要被預(yù)熱到緩存中。

這種基于消息通知的緩存預(yù)熱機(jī)制，能夠確保 Alluxio 緩存的實(shí)時(shí)性和準(zhǔn)確性。應(yīng)用程序無需人工干預(yù)，Alluxio 就能自動(dòng)感知數(shù)據(jù)變化，快速完成緩存的更新和預(yù)取，大幅提升緩存的時(shí)效性，保障了數(shù)據(jù)訪問性能，大大降低預(yù)熱對(duì)計(jì)算的影響。

這種深度融合不僅提高了緩存的命中率，還最大限度地減少了不必要的數(shù)據(jù)移動(dòng)，大大優(yōu)化了整體的 I/O 性能和資源利用效率。通過 Alluxio 與 XEOS 的協(xié)同，AI 應(yīng)用可以獲得卓越的數(shù)據(jù)訪問體驗(yàn)。

2.3 更高效的數(shù)據(jù)寫入能力

XEOS 提供的追加寫和隨機(jī)寫能力，與 Alluxio 緩存層的數(shù)據(jù)寫入能力可以實(shí)現(xiàn)高度融合，提供更高效的數(shù)據(jù)寫入能力。

XEOS 作為 Alluxio 的持久化存儲(chǔ)層，不僅提供了海量的存儲(chǔ)容量，還支持豐富的寫入模式，如追加寫、隨機(jī)寫等。Alluxio 可以充分利用 XEOS 的這些寫入功能來優(yōu)化緩存寫入功能和性能。對(duì)于需要頻繁更新的熱點(diǎn)數(shù)據(jù)，Alluxio 可以直接以追加寫或隨機(jī)寫的方式將數(shù)據(jù)寫入 XEOS，避免了傳統(tǒng)對(duì)象存儲(chǔ)僅支持覆蓋寫所帶來的性能瓶頸。這大幅提升了 Alluxio 緩存層的寫入效率。

通過 Alluxio 和 XEOS 的深度融合，可以最大限度地減少數(shù)據(jù)在兩者之間的不必要移動(dòng)。這提供了更高效的數(shù)據(jù)寫入能力，提升了整體的寫入性能，大幅降低了 Alluxio 自身的寫入開銷，優(yōu)化了系統(tǒng)的資源利用效率。

2.4 開放數(shù)據(jù)流動(dòng)，提高數(shù)據(jù)流轉(zhuǎn)效率

XEOS 憑借其出色的數(shù)據(jù)生命周期管理和流動(dòng)能力，為 Alluxio 提供了強(qiáng)大的支撐。在最新的 6.4 版本中，XEOS 通過開放數(shù)據(jù)流動(dòng) API 進(jìn)一步增強(qiáng)了這些核心優(yōu)勢(shì)：

通過 XEOS 全面的數(shù)據(jù)流動(dòng) API，應(yīng)用程序可以輕松實(shí)現(xiàn)跨云廠商、NAS、藍(lán)光/磁帶等不同存儲(chǔ)介質(zhì)的數(shù)據(jù)流動(dòng)。Alluxio 只需下發(fā)數(shù)據(jù)流動(dòng)規(guī)則，XEOS 就可以負(fù)責(zé)執(zhí)行具體的數(shù)據(jù)復(fù)制、分層、歸檔等操作。這種深度集成大大減少了 Alluxio 在讀取數(shù)據(jù)后再次寫入到統(tǒng)一文件系統(tǒng)（UFS）的開銷，降低了整體的數(shù)據(jù)寫入開銷。

同時(shí)，XEOS 還提供了復(fù)制、分層、校驗(yàn)、QoS 等豐富的數(shù)據(jù)管理功能。通過與 Alluxio 的緊密結(jié)合，雙方可以根據(jù)實(shí)際需求，優(yōu)化數(shù)據(jù)的存儲(chǔ)和訪問策略，不僅提升了數(shù)據(jù)訪問性能，也大幅提高了整個(gè)數(shù)據(jù)生命周期的管理效率。

XEOS 6.4 版本在數(shù)據(jù)流動(dòng)和生命周期管理方面的創(chuàng)新能力，為 Alluxio 構(gòu)建高性能、高效、智能的 AI 數(shù)據(jù)管理平臺(tái)提供了堅(jiān)實(shí)的基礎(chǔ)。

針對(duì) AI 的優(yōu)勢(shì)場(chǎng)景：以對(duì)象為底座且需要高性能文件訪問

Alluxio 和 XEOS 的聯(lián)合方案，針對(duì)尤其是在 AI 場(chǎng)景下，以對(duì)象存儲(chǔ)作為底座，并且需要高性能文件協(xié)議訪問的客戶具備非常大的價(jià)值，包括如下四點(diǎn)：

Alluxio 和 XEOS 結(jié)合，可以有效綜合 XEOS 的高性能對(duì)象存儲(chǔ)接口能力以及 Alluxio 貼近計(jì)算側(cè)的高性能共享緩存層的能力，為計(jì)算應(yīng)用提供高性能數(shù)據(jù)訪問能力。

XEOS 提供了海量數(shù)據(jù)存儲(chǔ)能力，Alluxio 提供了無狀態(tài)可擴(kuò)展的共享緩存能力，都可以隨著數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)訪問規(guī)模的增大而擴(kuò)展，既能支撐海量存儲(chǔ)又能提供高性能的大規(guī)模數(shù)據(jù)訪問能力。

XEOS 作為成熟的對(duì)象存儲(chǔ)產(chǎn)品，利用一系列技術(shù)實(shí)現(xiàn)了更加經(jīng)濟(jì)的海量數(shù)據(jù)存儲(chǔ)方案，有效降低了企業(yè)的海量數(shù)據(jù)存儲(chǔ)成本；Alluxio 則可以通過靈活的部署策略，有效利用企業(yè)計(jì)算側(cè)的高性能存儲(chǔ)空間提供貼近計(jì)算側(cè)的共享緩存能力，在不增加額外硬件成本的基礎(chǔ)上實(shí)現(xiàn)高性能數(shù)據(jù)訪問能力的構(gòu)建。

XEOS 構(gòu)建了安全可靠、高性能、低成本的對(duì)象存儲(chǔ)平臺(tái)，Alluxio 基于 XEOS 提供了高效數(shù)據(jù)緩存以及數(shù)據(jù)訪問平臺(tái)，Alluxio 某種意義上是 XEOS 的擴(kuò)展客戶端，實(shí)現(xiàn) 1+1>2 的架構(gòu)。

分享到

崔歡歡

相關(guān)推薦