2020年,新基建風(fēng)口已至,建設(shè)數(shù)字基礎(chǔ)設(shè)施,打造數(shù)字產(chǎn)業(yè)生態(tài)是其關(guān)鍵與核心,而算力底座將成為其重要的運(yùn)行支撐。數(shù)字化浪潮大背景下,鯤鵬計(jì)算產(chǎn)業(yè)生態(tài),充滿巨大的想象與發(fā)展空間。

從企業(yè)數(shù)字化轉(zhuǎn)型角度來看,IT不再是企業(yè)內(nèi)部系統(tǒng)支撐的組織,可能是對(duì)企業(yè)發(fā)展驅(qū)動(dòng)的核心的競(jìng)爭(zhēng)力。其中,基于云計(jì)算的虛擬化技術(shù)必將成為企業(yè)核心的競(jìng)爭(zhēng)力。

 近日,由山西省工業(yè)和信息化廳、山西轉(zhuǎn)型綜改示范區(qū)管委會(huì)、華為技術(shù)有限公司、山西云時(shí)代技術(shù)有限公司和山西鯤鵬生態(tài)創(chuàng)新中心共同舉辦了1024鯤鵬展翅“員來有你”鯤鵬程序員節(jié)系列活動(dòng)-DevRun開發(fā)者沙龍,來自華為的技術(shù)專家從DevCloud、鯤鵬軟件遷移實(shí)戰(zhàn)、鯤鵬計(jì)算云平臺(tái)解決方案等維度介紹了鯤鵬計(jì)算產(chǎn)業(yè)。 

據(jù)山西云時(shí)代鯤鵬生態(tài)創(chuàng)新中心有限公司副總經(jīng)理張驊介紹,此次開展基于鯤鵬創(chuàng)新體系的活動(dòng),是為了向參加鯤鵬生態(tài)的企業(yè)、人員和學(xué)生提供專業(yè)化的服務(wù),包括鯤鵬計(jì)算資源、軟件產(chǎn)品適配構(gòu)建和應(yīng)用代碼遷移等公共服務(wù),共同推進(jìn)基于鯤鵬生態(tài)研發(fā)的企業(yè)應(yīng)有創(chuàng)新及軟件項(xiàng)目孵化活動(dòng)。

目前,山西云時(shí)代鯤鵬生態(tài)創(chuàng)新中心正在建立鯤鵬適配區(qū)域和認(rèn)證實(shí)驗(yàn)室,以及一體化培訓(xùn)創(chuàng)新中心,預(yù)計(jì)在下個(gè)月就可以投入使用。

做自主可控的中國版Devcloud軟件生態(tài) 

軟件定義一切,所有的公司和企業(yè)、組織都必將面臨數(shù)字化轉(zhuǎn)化之路。

當(dāng)然,數(shù)字化時(shí)代最典型的一個(gè)技術(shù)特征就是云計(jì)算。華為云DevCloud產(chǎn)品部山西軟件開發(fā)園高級(jí)架構(gòu)師江璽指出技術(shù)層的兩大發(fā)展階段:第一是資源層云化,當(dāng)前山西正處于這個(gè)階段;第二是交互云化,主要分為技術(shù)棧和業(yè)務(wù)云化。

企業(yè)業(yè)務(wù)上云是為了快速響應(yīng)業(yè)務(wù)需求,在“云化”的過程中,需要解決業(yè)務(wù)上線慢、無彈性等技術(shù)挑戰(zhàn)。

為了解決這些問題,Devops應(yīng)運(yùn)而生,用于促進(jìn)開發(fā)、技術(shù)運(yùn)營和質(zhì)量保障部門之間的溝通、協(xié)作與整合。一方面, 讓企業(yè)能夠?qū)W⒆约旱臉I(yè)務(wù),把信息化做得更加便捷;另一方面,實(shí)現(xiàn)企業(yè)組織、文化和人員的轉(zhuǎn)型。

經(jīng)過多年的實(shí)踐,華為于2015年提出了基于云的DevCloud工程方法論。在DevCloud逐步成熟后,華為開始向業(yè)界賦能,目前DevCloud已有大約有敏捷項(xiàng)目管理、代碼托管、移動(dòng)應(yīng)用測(cè)試等70個(gè)服務(wù),江璽對(duì)部分服務(wù)的技術(shù)特性做了詳細(xì)介紹。

DevCloud目前完全支持鯤鵬生態(tài),已在全國20家城市以及大量高校做了生態(tài)孵化。鯤鵬生態(tài)不單是企業(yè)移植的底端生態(tài),而且完全支持已開放的技術(shù)。現(xiàn)在鯤鵬生態(tài)主要是兩類,一類是合作伙伴的CIP、CII等認(rèn)證,另一類是專家服務(wù)。

當(dāng)前,隨著國內(nèi)軟件系統(tǒng)的復(fù)雜性不斷增長(zhǎng),用戶群體及開發(fā)者規(guī)模日益增大,需構(gòu)建開放多樣、安全的可控的軟件生態(tài),以保證軟件系統(tǒng)的可持續(xù)發(fā)展。華為目前在做的DevCloud生態(tài)孵化,有望助力國內(nèi)軟件生態(tài)進(jìn)一步向前邁進(jìn)。

江璽稱,現(xiàn)在整個(gè)華為DevCloud產(chǎn)品部做的最大動(dòng)作就是企業(yè)可信,華為要做自主可控的中國版軟件生態(tài)。

鯤鵬軟件遷移和鯤鵬展翅認(rèn)證

處理器指令集的差異,使得原來運(yùn)行在x86的程序可能無法直接在鯤鵬平臺(tái)運(yùn)行。鯤鵬開發(fā)套件則可以幫助開發(fā)者掃描分析源碼/軟件包,識(shí)別修改點(diǎn),協(xié)助開發(fā)者完成軟件遷移。

具體如何來做?鯤鵬計(jì)算產(chǎn)業(yè)部遷移調(diào)配工程師馮茂柏主要介紹了三大類的遷移案例:SO庫、Maven工程和Python工程。

在軟件遷移中,馮茂柏稱,在定義到不兼容信息以后,鯤鵬會(huì)通過查找依賴源,在平臺(tái)上進(jìn)行編譯安裝。如果找不到源碼或者是商業(yè)源碼,只能替換成其他源碼;如果沒有找到替換源碼,可以嘗試屏蔽它的模塊。

此外,如果認(rèn)可鯤鵬軟件遷移的能力,還可以申請(qǐng)鯤鵬展翅認(rèn)證。

華為為什么要做鯤鵬展翅認(rèn)證?  鯤鵬展翅伙伴計(jì)劃的戰(zhàn)略布局是“一云兩翼雙引擎”,一云基于華為云,兩個(gè)引擎是計(jì)算和伙伴認(rèn)證。其中,鯤鵬展翅認(rèn)證是為了更好地構(gòu)建共享的鯤鵬生態(tài)。

鯤鵬展翅有四種類型的證書,主要分整機(jī)和芯片兩類,包括Compatible的兼容性認(rèn)證、Mutual Compatible和Validated的技術(shù)認(rèn)證。認(rèn)證時(shí),不同層次的注冊(cè)會(huì)員獲得的權(quán)益不一樣,要求也不同。 

值得注意的是,認(rèn)證過程中的關(guān)鍵環(huán)節(jié)是測(cè)試報(bào)告,需在做遷移后生成并提交到認(rèn)證流程里。以前需要在模板里填寫相關(guān)的測(cè)試用例,但現(xiàn)在開發(fā)了在線測(cè)試工具,只需提供交付件即可。

測(cè)試報(bào)告在線生成平臺(tái):http://ic-openlabs.huawei.com/openlab/#/testreportstate

華為鯤鵬計(jì)算的15個(gè)加速庫

華為鯤鵬計(jì)算加速庫是華為公司圍繞鯤鵬處理器進(jìn)行性能優(yōu)化后的軟件集合的統(tǒng)稱,包括硬加速和軟加速兩部分。目前華為已經(jīng)完成15個(gè)加速庫的開發(fā),典型應(yīng)用包括GKL基因測(cè)試、Web中間件Nginx及分布式存儲(chǔ)、大數(shù)據(jù)、視頻的轉(zhuǎn)碼、OS基礎(chǔ)庫等領(lǐng)域。鯤鵬計(jì)算產(chǎn)品部高性能軟件開發(fā)工程師郭達(dá)對(duì)對(duì)此作了詳細(xì)介紹。

軟件加速庫包括有Glibc、HyperScan、AVX2Neon等基礎(chǔ)庫的加速庫。硬加速方面,鯤鵬做的是KAE加速引擎,主要基于鯤鵬芯片上的SEC、HPRE等硬件加速模塊。

硬加速解決方案的主要應(yīng)用場(chǎng)景有四個(gè):第一是Web應(yīng)用,在報(bào)文發(fā)送過程中會(huì)涉及到加解密的過程,使用硬加速方案,整體性能做到30%+的提升;第二是大數(shù)據(jù)的解決方案,對(duì)比CPU的性能損耗,可以做到損耗小于5%的性能優(yōu)化;第三是分布式存儲(chǔ),如混合讀寫帶寬方面,能夠做到40%的性能優(yōu)化;第四是可以支持SR—LOV的直通場(chǎng)景。 

軟加速方面,郭達(dá)詳細(xì)介紹了AVX2Neon、媒體加速庫、數(shù)學(xué)庫這三個(gè)常用的加速庫。其中正在 開發(fā)數(shù)學(xué)庫的數(shù)學(xué)庫包括以下軟件包:第一是BLAS庫,這是一個(gè)基礎(chǔ)的線性代數(shù)庫;第二是Libm基礎(chǔ)數(shù)據(jù)庫,主要提供三角函數(shù)等數(shù)學(xué)運(yùn)算的接口;第三是FFT,在信號(hào)處理以及圖象處理應(yīng)用比較廣泛,主要是進(jìn)行傅里葉的轉(zhuǎn)換;第四是VML,對(duì)標(biāo)量的數(shù)據(jù)進(jìn)行運(yùn)算。

如何獲取加速庫里軟件包?主要途徑有兩種:第一是硬加速,主要是KAE的軟件包,提供給客戶RPM的源碼包,在華為云上提供相應(yīng)的下載鏈接,在鯤鵬社區(qū)也有相應(yīng)的源碼下載鏈接,可以進(jìn)行下載編譯;第二是軟加速,華為在鯤鵬設(shè)計(jì)上提供了每個(gè)庫的介紹,以及相應(yīng)鏈接,可進(jìn)行相應(yīng)源碼下載。 

鯤鵬計(jì)算云平臺(tái)的優(yōu)勢(shì)

眾所周知,PC時(shí)代對(duì)算力和網(wǎng)絡(luò)要求不高,端側(cè)算力、數(shù)據(jù)中心用的是X86服務(wù)器,采用的是固定網(wǎng)絡(luò),對(duì)算力和網(wǎng)絡(luò)的要求不高。進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代后,加入手機(jī)ARM智能終端測(cè)算,出現(xiàn)網(wǎng)絡(luò)虛擬化和SDA。另外在數(shù)據(jù)中心,開始部署了云服務(wù)。

 如今,5G、人工智能和大數(shù)據(jù)等新技術(shù)層出不窮,開始基于IAAS、PAAS等平臺(tái)部署應(yīng)用。

 鯤鵬計(jì)算解決方案虛擬化軟件工程師華江濤介紹,傳統(tǒng)行業(yè)市場(chǎng)基于KVM技術(shù)構(gòu)筑了IAAS平臺(tái),比如通過華為鯤鵬服務(wù)器的硬件在Host OS、Hypervisor層做虛擬化。這樣做的優(yōu)點(diǎn)是,提高了物理機(jī)的CPU內(nèi)存和IO資源的利用率,提高了可用性,增加了負(fù)載均衡、動(dòng)態(tài)遷移和自動(dòng)隔離等功能。

 互聯(lián)網(wǎng)行業(yè)基于Docker容器技術(shù)構(gòu)筑了IAAS平臺(tái),采用微服務(wù)的形式,不僅滿足了大規(guī)模分布式快速上線的需求,而且加快交付速度,提高了性能和并發(fā)性。

 總體而言,從最早的單體架構(gòu),到后面SOA架構(gòu),隨著應(yīng)用規(guī)模還有數(shù)據(jù)要求的不斷提升,現(xiàn)在的趨勢(shì)是微服務(wù)架構(gòu)。

 基于此,鯤鵬計(jì)算推出了支持開源OpensStack+KVM的云平臺(tái)?;邛H鵬服務(wù)器在計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)三方面做了虛擬化。對(duì)KVM虛擬化平臺(tái)性能優(yōu)化方面,華江濤從硬件參數(shù)調(diào)優(yōu)、操作系統(tǒng)調(diào)優(yōu)和虛擬化調(diào)優(yōu)進(jìn)行了介紹。

 值得一提的是,鯤鵬的多核計(jì)算架構(gòu)適合彈性云平臺(tái),CPU可達(dá)64核+的多核計(jì)算架構(gòu),資源池大、整機(jī)性能高;其虛擬機(jī)基于物理核構(gòu)建,VM隔離性好,性能更穩(wěn)定;鯤鵬的整機(jī)虛擬機(jī)密度更高,可減少需要部署的服務(wù)器,節(jié)省支出。

 總之,從生態(tài)使能、性能、支持混合部署等維度出發(fā),鯤鵬云平臺(tái)對(duì)于業(yè)內(nèi)正在推進(jìn)數(shù)字化轉(zhuǎn)型的公司都是一個(gè)不錯(cuò)的選擇。

 產(chǎn)業(yè)生態(tài)的構(gòu)建從來離不開企業(yè)各方的努力,也離不開開發(fā)者的支持。本次活動(dòng)與開發(fā)者深度探討了鯤鵬計(jì)算產(chǎn)業(yè)的生態(tài)基本情況及其相關(guān)技術(shù)架構(gòu),這將進(jìn)一步為鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)的構(gòu)建打下堅(jiān)實(shí)基礎(chǔ),進(jìn)一步加速推進(jìn)鯤鵬計(jì)算產(chǎn)業(yè)的發(fā)展。

分享到

崔歡歡

相關(guān)推薦