圖1. 浪潮新一代大數(shù)據(jù)?智算一體機(jī)方案架構(gòu)

該一體機(jī)基于硬件特性對軟件進(jìn)行了深度優(yōu)化，可大幅提升大數(shù)據(jù)業(yè)務(wù)場景處理性能，并通過預(yù)集成、預(yù)測試、預(yù)優(yōu)化等措施，顯著降低了系統(tǒng)交付/運維復(fù)雜度，提升了系統(tǒng)穩(wěn)定性，實現(xiàn)了極致性能和一站式交付部署能力。此外，它還能夠針對不同的場景進(jìn)行定制配置，為客戶提供性價比最優(yōu)的解決方案。

浪潮新一代大數(shù)據(jù)?智算一體機(jī)推薦使用第三代英特爾? 至強(qiáng)? 可擴(kuò)展處理器、第二代英特爾? 傲騰? 持久內(nèi)存、英特爾? 傲騰? 固態(tài)盤、英特爾? 以太網(wǎng)等產(chǎn)品，能夠提供高性能、高擴(kuò)展的基礎(chǔ)資源支持。

第三代英特爾? 至強(qiáng)? 可擴(kuò)展處理器：已針對云、企業(yè)、高性能計算、網(wǎng)絡(luò)、安全和物聯(lián)網(wǎng)工作負(fù)載進(jìn)行優(yōu)化，提供 8-40 個強(qiáng)大內(nèi)核以及廣泛的頻率、功能和功率選擇；同時集成了工作負(fù)載加速功能，其中包括英特爾? 深度學(xué)習(xí)加速技術(shù)、英特爾? 高級矢量擴(kuò)展 512 技術(shù)和英特爾? SpeedSelect 技術(shù)。第三代英特爾? 至強(qiáng)? 可擴(kuò)展處理器基于平衡、高效的架構(gòu)，該架構(gòu)可提升內(nèi)核性能、內(nèi)存和 I/O 帶寬，為處理從數(shù)據(jù)中心到邊緣的各種工作負(fù)載提速。

第二代英特爾? 傲騰? 持久內(nèi)存：英特爾? 傲騰? 持久內(nèi)存 200 系列是英特爾新一代既支持安全功能，又可靠、持久的內(nèi)存模組。它提供大容量和原生持久性，有助于從更大的數(shù)據(jù)集中攫取更多價值，同時，由于能夠在更靠近 CPU 的地方快速訪問更多數(shù)據(jù)，因此也提高了敏捷性。與第一代產(chǎn)品相比，第二代英特爾傲騰持久內(nèi)存平均增加了 32％ 的內(nèi)存帶寬[4] 。

英特爾? 以太網(wǎng)適配器 E810-DA2：具備 100/25GbE 性能，支持單個或雙端口連接，在 PCIe 4.0 x16插槽中提供了出色的性能，并支持應(yīng)用程序設(shè)備隊列 (ADQ)、動態(tài)設(shè)備個性化 (DDP)、RDMA iWARP和RoCEv2等各種高級功能，能夠有效滿足各種工作負(fù)載對于帶寬和時延的嚴(yán)苛要求。

[4] 基于英特爾 2020 年 4 月 27 日（基準(zhǔn)）和 2021 年 3 月 23 日（新）的測試。配合工作負(fù)載/配置信息請見www.Intel.com/PerformanceIndex。結(jié)果可能不同。

基準(zhǔn)配置：1 個節(jié)點，Neon City 上 1 個英特爾至強(qiáng)鉑金 8280L 處理器（28 核，2.7 GHz)，采用單個英特爾傲騰 PMem 模組配置（6 個 32 GB DRAM；1 個 {128 GB, 256 GB, 512 GB} 英特爾傲騰 PMem 模組)，ucode 版本：04002F00，運行 Fedora 29 內(nèi)核 5.1.18-200.fc29.x86_64 和英特爾? Memory Latency Checker（英特爾 MLC）3.8 版，采用 App Direct 模式。

浪潮新一代大數(shù)據(jù)?智算一體機(jī)搭載了浪潮云海Insight大數(shù)據(jù)平臺，該平臺具備數(shù)據(jù)智能化分析挖掘、多數(shù)據(jù)源協(xié)同計算、大規(guī)模集群一鍵式部署、異構(gòu)平臺混合部署與資源精細(xì)化管理等領(lǐng)先技術(shù)特性。平臺提供“一鍵式”安裝部署功能，讓大數(shù)據(jù)?智算一體機(jī)達(dá)到“開箱即用”的程度,幫助用戶加快應(yīng)用系統(tǒng)上線時間，同時降低系統(tǒng)管理員日常運維管理復(fù)雜度。

圖2. 浪潮云海 Insight大數(shù)據(jù)平臺技術(shù)架構(gòu)

浪潮與英特爾面向大數(shù)據(jù)與 AI 負(fù)載實現(xiàn)廣泛優(yōu)化

在浪潮云海Insight大數(shù)據(jù)平臺，以及英特爾新一代軟硬件產(chǎn)品與技術(shù)的基礎(chǔ)上，浪潮與英特爾圍繞智能存儲管理、端到端智算統(tǒng)一管道的構(gòu)建、大規(guī)模數(shù)據(jù)處理性能優(yōu)化等方面，進(jìn)行了深度的合作。

通過英特爾? SSM 釋放智能存儲管理潛力

浪潮新一代大數(shù)據(jù)?智算一體機(jī)搭載了英特爾? 智能存儲管理組件（Smart Storage Management，SSM），為用戶提供存儲優(yōu)化和數(shù)據(jù)管理方案。SSM是英特爾在 Apache Hadoop生態(tài)系統(tǒng)中發(fā)起和維護(hù)的存儲管理的系統(tǒng)級方案。SSM處于上層應(yīng)用（數(shù)據(jù)引擎，流式計算等）與存儲系統(tǒng)（HDFS，AWS S3等）的中間層，上層應(yīng)用通過SSM與存儲系統(tǒng)實現(xiàn)數(shù)據(jù)接入。它提供了對異構(gòu)存儲硬件的支持，例如HDFS可以通過SSM充分利用英特爾? 傲騰? 固態(tài)盤和英特爾? 傲騰? 持久內(nèi)存，實現(xiàn)動態(tài)優(yōu)化數(shù)據(jù)存儲。此外，SSM還提供了對遠(yuǎn)端存儲與HDFS本地備份統(tǒng)一管理。

圖3. SSM在大數(shù)據(jù)生態(tài)中的定位

在數(shù)據(jù)管理方面，SSM 與浪潮云海 Insight 大數(shù)據(jù)平臺的無縫結(jié)合對平臺存儲而言如虎添翼，面向分布式存儲的智能管理不僅能夠免去外界觸發(fā)完成數(shù)據(jù)管理，進(jìn)一步細(xì)化管理粒度，而且實現(xiàn)了一次規(guī)則定制即可完成全數(shù)據(jù)生命周期管理的高效解決方案。同時，浪潮云海 Insight 大數(shù)據(jù)平臺也為 SSM 提供了更大的舞臺，支持根據(jù)客戶需求優(yōu)化 SSM 服務(wù)管理運維能力，提升 SSM 的易用性與安全性，從而更好地釋放智能存儲管理的潛力。

集成 BigDL 構(gòu)建端到端智算統(tǒng)一管道

浪潮新一代大數(shù)據(jù)?智算一體機(jī)為用戶提供了端到端智算統(tǒng)一管道，能夠在優(yōu)化的基礎(chǔ)設(shè)施層基礎(chǔ)之上，融合計算引擎、存儲服務(wù)、數(shù)據(jù)服務(wù)、數(shù)據(jù)工作臺、管理平臺，構(gòu)建端到端的大數(shù)據(jù)分析和深度學(xué)習(xí)應(yīng)用流水線，進(jìn)而打造成統(tǒng)一的大數(shù)據(jù)分析和人工智能平臺，通過使用 Apache Spark中的各種框架模型簡化和加速 AI 解決方案的開發(fā)。

為了簡化端到端的大數(shù)據(jù)分析和人工智能融合開發(fā)和部署，浪潮新一代大數(shù)據(jù)?智算一體機(jī)在 Insight 中集成了智慧計算組件BigDL (Analytics Zoo)，旨在將大數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型推理與現(xiàn)有的大數(shù)據(jù)處理工作流整合在一起，構(gòu)建端到端的大數(shù)據(jù)分析和深度學(xué)習(xí)應(yīng)用流水線，進(jìn)而打造成統(tǒng)一的大數(shù)據(jù)分析和人工智慧平臺，通過使用Apache Spark中的各種框架模型簡化和加速人工智能應(yīng)用系統(tǒng)的開發(fā)。

圖4. 端到端的大數(shù)據(jù)分析和人工智能融合開發(fā)架構(gòu)

集成英特爾? OAP 實現(xiàn)大規(guī)模數(shù)據(jù)處理性能優(yōu)化

為了改善 Spark 高速緩存、shuffle、執(zhí)行和機(jī)器學(xué)習(xí)性能，浪潮新一代大數(shù)據(jù)?智算一體機(jī)在 Insight 中集成了英特爾? 優(yōu)化分析包（Optimized Analytics Package，OAP）。OAP 是英特爾和社區(qū)開發(fā)的開源項目，包括以下組件：OAP 數(shù)據(jù)源高速緩存、native SQL 引擎、Arrow 數(shù)據(jù)源、OAP MLlib、RDD 高速緩存、RPMem Shuffle擴(kuò)展和遠(yuǎn)程 Shuffle，旨在借助領(lǐng)先的英特爾? 處理器、內(nèi)存和存儲以及網(wǎng)絡(luò)技術(shù)，通過數(shù)據(jù)源緩存、SQL 索引、Native SQL 引擎、MLlib 優(yōu)化等創(chuàng)新軟件功能提高 Spark 性能，以解決 Spark 核心和相關(guān)組件面臨的計算與 I/O挑戰(zhàn)。

圖5. 英特爾? 優(yōu)化分析包架構(gòu)

浪潮云海 Insight大數(shù)據(jù)平臺集成了基于英特爾? 傲騰? 持久內(nèi)存深度優(yōu)化的 Spark。與 DRAM 內(nèi)存相比，英特爾? 傲騰? 持久內(nèi)存在每容量成本方面有突出的優(yōu)勢，這幫助浪潮顯著提升了 Insight大數(shù)據(jù)平臺的經(jīng)濟(jì)性。同時，經(jīng)過優(yōu)化后的 Spark 對比開源版本有效提升了性能。測試數(shù)據(jù)顯示，在大數(shù)據(jù)場景的 Spark 離線計算中，IO密集型、內(nèi)存密集型任務(wù)性能相較傳統(tǒng)方案提升 2-5 倍[5]。

同時，Insight大數(shù)據(jù)平臺對MPP、HBase、Redis、ElasticSearch、Nifi、OpenTSDB等組件進(jìn)行了深度優(yōu)化，使其性能在英特爾? 傲騰? 持久內(nèi)存、英特爾? 固態(tài)盤上得到大幅提升，同時可幫助用戶提升業(yè)務(wù)系統(tǒng)性能和用戶體驗。例如，在 HBase大數(shù)據(jù)量高并發(fā)查詢場景下，英特爾? 傲騰? 持久內(nèi)存全緩存相比內(nèi)存部分緩存，能夠?qū)⒉樵兺掏铝刻嵘?100% 以上[6]。

浪潮新一代大數(shù)據(jù)?智算一體機(jī)能夠在浪潮一體化機(jī)柜平臺 (Smart Rack Data Center, SRDC) 得到最優(yōu)配置與交付。SRDC 面向智慧數(shù)據(jù)中心而設(shè)計，為用戶提供了集成服務(wù)器、交換機(jī)、PDU等IT設(shè)備，以及配電單元、UPS、電池包、動環(huán)監(jiān)控和基礎(chǔ)資源監(jiān)控（ISPIM）等配套硬件設(shè)備和軟件的一體化機(jī)柜平臺。SRDC以整機(jī)柜為最小產(chǎn)品顆粒度，在工廠集成業(yè)務(wù)所需機(jī)柜內(nèi)設(shè)備，根據(jù)用戶需求集成預(yù)裝應(yīng)用軟件，可實現(xiàn)IT設(shè)備快速部署及業(yè)務(wù)快速上線。

收益：幫助用戶構(gòu)建大數(shù)據(jù)與 AI 統(tǒng)一平臺

通過部署浪潮新一代大數(shù)據(jù)?智算一體機(jī)，用戶能夠構(gòu)建大數(shù)據(jù)與 AI 統(tǒng)一平臺，有效解決大數(shù)據(jù)與 AI 平臺的資源與數(shù)據(jù)無法統(tǒng)一管理的問題，提升計算、存儲、網(wǎng)絡(luò)等資源利用率，同時節(jié)約在軟硬件配置、性能優(yōu)化等方面的時間與成本。其能夠為用戶提供的收益包括：

————————

[5] 數(shù)據(jù)由浪潮于 2021 年 6 月 25 日測試得出。測試配置：Manager、Master 和 Worker 大數(shù)據(jù)集群—2* 英特爾? 至強(qiáng)? 金牌 6240 處理器 @ 2.60GHz，18 核；12*32G DDR4 2666 MHz RDIMM；12*8T 機(jī)械硬盤；8*256 GB 英特爾? 傲騰? 持久內(nèi)存；2*雙口萬兆網(wǎng)卡、2*雙口千兆網(wǎng)卡。

[6] 數(shù)據(jù)由浪潮于 2021 年 2 月 22 日測試得出。測試配置：Manager、Master 和 Worker 大數(shù)據(jù)集群—2* 英特爾? 至強(qiáng)? 金牌 6240 處理器 @ 2.60GHz，18 核；6*32G DDR4 2666 MHz RDIMM；12*8T 機(jī)械硬盤；4*512 GB 英特爾? 傲騰? 持久內(nèi)存；2*雙口萬兆網(wǎng)卡、2*雙口千兆網(wǎng)卡。

卓越性能加速大數(shù)據(jù)與AI負(fù)載運行

浪潮新一代大數(shù)據(jù)?智算一體機(jī)實現(xiàn)了軟硬件深度整合，可以充分發(fā)揮第三代英特爾? 至強(qiáng)? 可擴(kuò)展處理器和第二代英特爾? 傲騰? 持久內(nèi)存等產(chǎn)品的優(yōu)勢。它同時支持端到端數(shù)智結(jié)合和多 AI 框架，集成BigDL (Analytics Zoo) 及TensorFlow 和 Spark 等深度學(xué)習(xí)與大數(shù)據(jù)集群的融合框架，擁有百萬級IOPS與微秒級的延遲，可全面提高端到端計算效率，提升平臺在大數(shù)據(jù)與 AI 負(fù)載中的性能表現(xiàn)，大幅縮短模型訓(xùn)練、數(shù)據(jù)分析的延遲。

提升 IT 基礎(chǔ)實施交付效率

浪潮新一代大數(shù)據(jù)?智算一體機(jī)通過軟硬件深度適配調(diào)優(yōu)、預(yù)安裝、預(yù)測試、預(yù)集成等措施，實現(xiàn)開箱即用，支持快速交付部署，簡化交付流程。SRDC一體化機(jī)柜平臺支持根據(jù)用戶需求進(jìn)行定制，實現(xiàn)服務(wù)器、PDU、網(wǎng)絡(luò)等設(shè)備工廠化集成，提高了IT基礎(chǔ)設(shè)施的交付效率。

實現(xiàn)軟硬件全生命周期管理

浪潮新一代大數(shù)據(jù)?智算一體機(jī)構(gòu)建了軟硬一體化監(jiān)控平臺，可以實現(xiàn)一站式、可視化運維管理，納管集群軟硬件資源，實現(xiàn)對硬件、軟件全生命周期管理，從而有助于進(jìn)一步提升資源利用率，簡化運維。

保證數(shù)據(jù)的安全和可靠

浪潮新一代大數(shù)據(jù)?智算一體機(jī)具有出色的可靠性與可用性。全冗余硬件架構(gòu)全面消除單點故障，同時成熟可靠的多副本技術(shù)實現(xiàn)了數(shù)據(jù)級別的冗余，保證數(shù)據(jù)的安全與可靠。

行業(yè)實踐

目前，浪潮新一代大數(shù)據(jù)?智算一體機(jī)已經(jīng)在行業(yè)中實現(xiàn)了廣泛應(yīng)用，幫助行業(yè)用戶構(gòu)建了卓越的智算基礎(chǔ)設(shè)施。以交通行業(yè)為例，基于浪潮新一代大數(shù)據(jù)?智算一體機(jī)的智能存儲與AI融合方案能夠?qū)⒅悄艽鎯?、智能緩存、智能計算結(jié)合，為交通行業(yè)用戶提供了的端到端數(shù)智一體解決方案?；贗nsight統(tǒng)一數(shù)據(jù)工作平臺DataWorkBench，實現(xiàn)了智慧交通數(shù)據(jù)接入、數(shù)據(jù)開發(fā)、數(shù)據(jù)查詢、作業(yè)調(diào)度、數(shù)據(jù)可視化。

通過該方案，交通行業(yè)用戶可將大數(shù)據(jù)與深度學(xué)習(xí)高效結(jié)合，在大數(shù)據(jù)集群上無縫運行 AI+大數(shù)據(jù)等業(yè)務(wù)應(yīng)用，構(gòu)建端到端平臺能力，實現(xiàn)數(shù)智一體智慧交通融合分析，為道路車輛行駛分析、區(qū)域流量分析、違章行為分析、區(qū)域測速分析等綜合場景的落地提供了完整的行業(yè)示范。

圖6. 浪潮新一代大數(shù)據(jù)?智算一體機(jī)在交通行業(yè)的應(yīng)用

展望：AI 與大數(shù)據(jù)深度融合助力數(shù)字化轉(zhuǎn)型

基于英特爾? 架構(gòu)的浪潮大數(shù)據(jù)?智算一體機(jī)解決方案融合了浪潮在智算基礎(chǔ)設(shè)施方面自主創(chuàng)新與浪潮云海 Insight 大數(shù)據(jù)平臺，并充分利用了第三代英特爾? 至強(qiáng)? 可擴(kuò)展處理器和第二代英特爾? 傲騰? 持久內(nèi)存等硬件，以及英特爾? SSM、英特爾? BigDL、英特爾? OAP 等軟件技術(shù)，為客戶提供了基于英特爾? 架構(gòu)的全棧式大數(shù)據(jù)與 AI 解決方案，不僅能夠加快大數(shù)據(jù)分析與 AI 的部署、降低開發(fā)門檻，還有利于提升模型規(guī)模與模型訓(xùn)練速度，降低 TCO。

未來，雙方計劃進(jìn)一步在面向未來智算基礎(chǔ)設(shè)施的異構(gòu)參考架構(gòu)方面進(jìn)行廣泛合作，通過英特爾? 至強(qiáng)? 可擴(kuò)展處理器、NNP芯片、FPGA、網(wǎng)絡(luò)、內(nèi)存和存儲等基礎(chǔ)硬件，以及各種數(shù)據(jù)庫、人工智能平臺與開發(fā)工具，構(gòu)建優(yōu)化型的端到端全棧大數(shù)據(jù)與 AI 解決方案，幫助用戶更快速處理大規(guī)模的數(shù)據(jù)，加速大數(shù)據(jù)、AI 的開發(fā)與應(yīng)用。

關(guān)于浪潮

浪潮集團(tuán)是中國領(lǐng)先的云計算、大數(shù)據(jù)服務(wù)商，擁有浪潮信息、浪潮軟件、浪潮國際三家上市公司。主要業(yè)務(wù)涉及云計算、大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)、新一代通信及若干應(yīng)用場景。已為全球一百二十多個國家和地區(qū)提供IT產(chǎn)品和服務(wù)。浪潮是中國最早的IT品牌之一，一直秉承創(chuàng)新的理念，數(shù)次在中國信息產(chǎn)業(yè)發(fā)展的重要歷史階段，通過提供領(lǐng)先技術(shù)，提升競爭實力，成為新一代信息技術(shù)領(lǐng)軍企業(yè)，全面服務(wù)經(jīng)濟(jì)社會的數(shù)字化轉(zhuǎn)型和高質(zhì)量發(fā)展。

關(guān)于英特爾

英特爾（NASDAQ: INTC）作為行業(yè)引領(lǐng)者，創(chuàng)造改變世界的技術(shù)，推動全球進(jìn)步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進(jìn)半導(dǎo)體設(shè)計與制造，幫助我們的客戶應(yīng)對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計算設(shè)備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會變得更美好。如需了解英特爾創(chuàng)新的更多信息，請訪問英特爾中國新聞中心newsroom.intel.cn以及官方網(wǎng)站intel.cn。

實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex。

性能測試結(jié)果基于配置信息中顯示的日期進(jìn)行測試，且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產(chǎn)品或組件是絕對安全的。

具體成本和結(jié)果可能不同。

英特爾技術(shù)可能需要啟用硬件、軟件或激活服務(wù)。

英特爾未做出任何明示和默示的保證，包括但不限于，關(guān)于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過程、交易過程或貿(mào)易慣例中引起的任何保證。

英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。

?英特爾公司版權(quán)所有。英特爾、英特爾標(biāo)識以及其他英特爾商標(biāo)是英特爾公司或其子公司在美國和/或其他國家的商標(biāo)。其他的名稱和品牌可能是其他所有者的資產(chǎn)。

崔歡歡