數(shù)據(jù)管理層有三個(gè)華為產(chǎn)品，DME Omni-Dataverse、DME IQ和eDataInsight。此外，還有很多第三方的工具，比如，數(shù)據(jù)倉(cāng)庫(kù)、向量數(shù)據(jù)庫(kù)、數(shù)據(jù)目錄、數(shù)據(jù)血緣、版本管理和訪問(wèn)控制等工具。

華為的DME Omni-Dataverse（統(tǒng)一數(shù)據(jù)空間）是一個(gè)全局文件系統(tǒng)和數(shù)據(jù)管理框架，通過(guò)單一數(shù)據(jù)命名空間來(lái)消除地理分散的數(shù)據(jù)中心之間的數(shù)據(jù)孤島。它具有千億級(jí)文件數(shù)據(jù)秒級(jí)檢索的能力，使能數(shù)據(jù)高效處理。

華為的DME IQ 是一個(gè)云運(yùn)營(yíng)和維護(hù)平臺(tái)，使用了大數(shù)據(jù)分析和 AIOps技術(shù)，提供自動(dòng)故障報(bào)告和實(shí)時(shí)問(wèn)題跟蹤能力。

華為AI數(shù)據(jù)湖解決方案最上層提供各種AI工具鏈，主要負(fù)責(zé)將數(shù)據(jù)湖中的數(shù)據(jù)，通過(guò)數(shù)據(jù)處理管道和第三方工具（如LangChain），提供給各類(lèi)硬件引擎進(jìn)行處理。在這一層中包含華為的 iData 和 ModelEngine 組件，iData 負(fù)責(zé)數(shù)據(jù)的采集與啟用，ModelEngine支持模型的運(yùn)行。

華為表示，Model Engine 提供了一套端到端的 AI 工具鏈，能夠在專(zhuān)用與共享的 CPU、NPU 和 GPU 資源池之間，實(shí)現(xiàn)作業(yè)的調(diào)度與交付。同時(shí)，華為已支持用于文件傳輸?shù)?GPUDirect 協(xié)議，并正在開(kāi)發(fā)對(duì) GPUDirect Object 協(xié)議的支持。

此外，華為還提到了DCS數(shù)據(jù)中心解決方案，這是一個(gè)融合了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)與管理的虛擬化數(shù)據(jù)中心概念。

其核心的虛擬化平臺(tái)是eSphere，用于提供虛擬化層支持。eSphere 通過(guò) Omni-Dataverse 實(shí)現(xiàn)對(duì)統(tǒng)一全局命名空間的訪問(wèn)，從而能夠直接操作其中的數(shù)據(jù)集。eContainer提供容器化的能力，可以與華為云容器引擎（CCE）集成。

華為數(shù)據(jù)湖技術(shù)棧中的資源管理層，提供了 xPU 調(diào)度、多租戶管理以及 AI 助理功能。其中集成了 AI Copilot 的 DataMaster 組件，通過(guò) AI 賦能，增強(qiáng)了運(yùn)維能力。AI Copilot 支持自然語(yǔ)言問(wèn)答，實(shí)現(xiàn)智能交互，同時(shí)還能提供故障排查與運(yùn)維任務(wù)的自動(dòng)引導(dǎo)，以及系統(tǒng)健康狀態(tài)的主動(dòng)檢查。

本文參考內(nèi)容：

https://blocksandfiles.com/2025/05/02/huawei-data-lake-ai-stack

https://mp.weixin.qq.com/s/BoxRfENs21lb-P3VBouAdw

zhupb