11月27日,浪潮公司在北京發(fā)布了基于全新技術(shù)架構(gòu)的大數(shù)據(jù)處理平臺——云海大數(shù)據(jù)一體機。該產(chǎn)品是面向大數(shù)據(jù)存儲、處理、展現(xiàn)全環(huán)節(jié)、軟硬一體化的方案型產(chǎn)品。浪潮集團高級副總裁王恩東表示,當(dāng)前數(shù)據(jù)處理領(lǐng)域正處于平臺架構(gòu)的更替期,云海大數(shù)據(jù)一體機的面市,解決了原有架構(gòu)的擴展瓶頸和新技術(shù)條件下的客戶應(yīng)用門檻,進一步推進了大數(shù)據(jù)技術(shù)在我國各行業(yè)的應(yīng)用。
浪潮云海大數(shù)據(jù)一體機的推出,亦引起了發(fā)改委、工業(yè)和信息化部、科技部等國家部委的關(guān)注。相關(guān)官員表示,大數(shù)據(jù)是一個事關(guān)我國經(jīng)濟社會發(fā)展全局的戰(zhàn)略性產(chǎn)業(yè),大數(shù)據(jù)技術(shù)為社會經(jīng)濟活動提供決策依據(jù),提高各個領(lǐng)域的運行效率,提升整個社會經(jīng)濟的集約化程度,對于我國經(jīng)濟發(fā)展轉(zhuǎn)型具有重要的推動作用,浪潮大數(shù)據(jù)一體機的發(fā)布對中國發(fā)展大數(shù)據(jù)產(chǎn)業(yè)奠定了技術(shù)基礎(chǔ)。
浪潮助用戶跨過大數(shù)據(jù)應(yīng)用門檻
我國行業(yè)信息化經(jīng)歷了二十多年建設(shè)后,各個行業(yè)已經(jīng)具備了一些大數(shù)據(jù)基礎(chǔ),金融、電信、工商、交通衛(wèi)生等行業(yè)已經(jīng)積累下大量的數(shù)據(jù)資產(chǎn)。這些數(shù)據(jù)價值密度高,經(jīng)過淺度處理便可產(chǎn)生巨大的價值。與此同時,在政府服務(wù)轉(zhuǎn)型、轉(zhuǎn)變發(fā)展方式的大背景下,各個行業(yè)、機構(gòu)迫切需要將數(shù)據(jù)轉(zhuǎn)化為對外的數(shù)據(jù),轉(zhuǎn)化為業(yè)務(wù)的競爭力,因此大數(shù)據(jù)具有廣泛的應(yīng)用前景,推動大數(shù)據(jù)在行業(yè)中的應(yīng)用是中國產(chǎn)業(yè)發(fā)展的關(guān)鍵。
目前,以百度、淘寶等為代表的互聯(lián)網(wǎng)企業(yè)已經(jīng)開始了對大數(shù)據(jù)的挖掘和應(yīng)用。浪潮集團高級副總裁王恩東表示,大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展不僅只是關(guān)注互聯(lián)網(wǎng)領(lǐng)域,而且更應(yīng)該關(guān)注行業(yè)領(lǐng)域。“行業(yè)用戶的數(shù)據(jù)質(zhì)量高、規(guī)模大,挖掘價值遠高于互聯(lián)網(wǎng),行業(yè)才是中國大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用和發(fā)展的主體。”王恩東表示:“行業(yè)大數(shù)據(jù)的應(yīng)用不同于互聯(lián)網(wǎng),大數(shù)據(jù)應(yīng)用復(fù)雜,跨度更大,跨部門,甚至跨行業(yè)需求更多,并且行業(yè)用戶追求處理的準(zhǔn)確性,及時性也遠高于互聯(lián)網(wǎng)技術(shù),當(dāng)前互聯(lián)網(wǎng)的模糊數(shù)據(jù)應(yīng)用模式難以滿足行業(yè)精確數(shù)據(jù)的要求。”
談到大數(shù)據(jù)應(yīng)用的門檻,王恩東表示,當(dāng)前處于新老架構(gòu)更替期,大數(shù)據(jù)面臨技術(shù)流派眾多、缺乏協(xié)調(diào)的局面,硬件、軟件、整合性產(chǎn)品和方案較少,導(dǎo)致客戶在大數(shù)據(jù)應(yīng)用方面存在諸多困難。而行業(yè)客戶由于自身專業(yè)人才和技術(shù)的匱乏,缺乏大數(shù)據(jù)的應(yīng)用經(jīng)驗,進一步限制了大數(shù)據(jù)的應(yīng)用進程,用戶迫切需要企業(yè)能夠提供適應(yīng)行業(yè)大數(shù)據(jù)應(yīng)用特點的全新的處理技術(shù),提供軟硬件一體化整合性服務(wù)和產(chǎn)品。
王恩東強調(diào),浪潮集團全新發(fā)布的云海大數(shù)據(jù)一體機,正是順應(yīng)時代要求推出的。它通過浪潮集團一體化的產(chǎn)品、服務(wù),幫助用戶快速實現(xiàn)對大數(shù)據(jù)的應(yīng)用與開發(fā)。同時浪潮也希望以此為起點,增強產(chǎn)業(yè)鏈的應(yīng)用,共同挖掘并充分釋放中國大數(shù)據(jù)的潛能,將中國的大數(shù)據(jù)產(chǎn)業(yè)做大做強。
四款型號滿足不同需求
浪潮云海大數(shù)據(jù)一體機采用新型技術(shù)體系架構(gòu),是涵蓋數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)展現(xiàn)等全環(huán)節(jié)的一體化數(shù)據(jù)平臺產(chǎn)品,具有可按需擴展、統(tǒng)一交付、集中管理等特點,用戶可以根據(jù)各自應(yīng)用特點選擇不同系列的產(chǎn)品,同時浪潮提供全程技術(shù)服務(wù)與保障,為用戶解決部署、業(yè)務(wù)移植開發(fā)等技術(shù)難題,幫助用戶跨過應(yīng)用門檻。
目前,浪潮云海大數(shù)據(jù)一體機面向視頻等重載應(yīng)用、商業(yè)智能分析應(yīng)用、海量并發(fā)的輕量級線程類應(yīng)用,可提供三個系列的個性化產(chǎn)品,同時為客戶提供基于飛騰處理器、浪潮K-UNIX系統(tǒng)等國產(chǎn)技術(shù)的全國產(chǎn)方案。
談到一體機研發(fā)過程中的挑戰(zhàn),浪潮集團系統(tǒng)軟件總監(jiān)、云計算產(chǎn)品部總經(jīng)理張東表示,盡管浪潮多年來在服務(wù)器、存儲和軟件等領(lǐng)域積累了豐富的經(jīng)驗,但真正要整合到一起,如何發(fā)揮最大的效用,需要浪潮的技術(shù)研發(fā)人員不斷試驗和優(yōu)化,并最終定型。
浪潮云海大數(shù)據(jù)一體機采用全分布式大數(shù)據(jù)處理架構(gòu),平臺能夠隨著用戶數(shù)據(jù)的增長和業(yè)務(wù)的擴張而不斷增長,并且能夠保持極高的線性度,解決了傳統(tǒng)架構(gòu)的擴展瓶頸,系統(tǒng)在擴展至120000核心時依舊保持0.8左右的擴展效率。由于系統(tǒng)集成了計算單元、存儲單元、通訊單元、管理單元等核心模塊,因而是對數(shù)據(jù)存儲、處理、展現(xiàn)的全環(huán)節(jié)的解決方案,并且系統(tǒng)由浪潮統(tǒng)一開發(fā),能夠統(tǒng)一交付,集中管理,用戶可以用浪潮一體機輕松搭建適合自身需求的大數(shù)據(jù)存儲和處理平臺。
張東介紹,浪潮在云海大數(shù)據(jù)一體機研制過程中進行全局優(yōu)化,使得系統(tǒng)在性能、可用性方面有了重大提升。例如,通過優(yōu)化系統(tǒng)任務(wù)調(diào)度策略,動態(tài)調(diào)整任務(wù)執(zhí)行資源,減少慢任務(wù)數(shù)量,任務(wù)執(zhí)行時間平均縮短16%以上;引入Reed-Solomon算法,優(yōu)化分布式散列數(shù)據(jù)布局,滿足文件高并發(fā)和高帶寬雙重需求同時平衡數(shù)據(jù)冗余度,浪潮采用兩副本加編碼的方式相對三副本最大可實現(xiàn)30%空間節(jié)省;采用多級高速緩存,固化特定算法到FPGA,實現(xiàn)硬件加速。經(jīng)測試,1TB數(shù)據(jù)排序測試整體訪問性能提高50%。
“除了性能和可用性等提升外,浪潮還提供從業(yè)務(wù)分析、應(yīng)用移植、應(yīng)用開發(fā)到運維服務(wù)的全環(huán)節(jié)服務(wù)保障。解決用戶在實施分布式數(shù)據(jù)理架構(gòu)面臨的軟硬件部署、二次開發(fā)等實際問題,幫助客戶實現(xiàn)由傳統(tǒng)數(shù)據(jù)倉庫向新型大數(shù)據(jù)平臺的平滑遷移。”張東表示。
作為大數(shù)據(jù)應(yīng)用的典型代表,濟南市公安局信通處處長張強在云海一體機的發(fā)布會上介紹了大數(shù)據(jù)技術(shù)的應(yīng)用情況。此前,濟南市公安局與浪潮集團建成了全國第一個投入使用的“警務(wù)云計算中心”,良好的成效得到了公安部、山東省兩級領(lǐng)導(dǎo)的充分肯定。目前,濟南市公安局正在利用大數(shù)據(jù)技術(shù)實現(xiàn)人像模型、指紋、十字路口的行車圖片、監(jiān)控視頻等數(shù)據(jù)的融合處理和比對,從而為整個公安系統(tǒng)提供決策支持,一些試點系統(tǒng)已經(jīng)開始實際應(yīng)用,下一步雙方將共同構(gòu)建基于全新架構(gòu)的大數(shù)據(jù)平臺,為各個部門提供全面的數(shù)據(jù)分析和挖掘服務(wù)。
“浪潮云海大數(shù)據(jù)一體機是應(yīng)對信息社會大數(shù)據(jù)時代核心的技術(shù)裝備,它標(biāo)志著國產(chǎn)自由品牌在大數(shù)據(jù)處理方面已經(jīng)達到了國際領(lǐng)先水平,可以想像隨著平安城市建設(shè)不斷深入推進,大數(shù)據(jù)一體機這樣的數(shù)據(jù)處理平臺也將起到關(guān)鍵的作用。”張強強調(diào)。