京東與英特爾成立數(shù)據(jù)計(jì)算聯(lián)合實(shí)驗(yàn)室

早在2014年，京東就與英特爾建立了聯(lián)合實(shí)驗(yàn)室，合作的方向主要是開發(fā)京東要研發(fā)的虛擬試衣試戴、3D物品展示等服務(wù)，非常值得注意的雙方從此時(shí)開始研發(fā)定制服務(wù)器。定制服務(wù)器是每個(gè)大型互聯(lián)網(wǎng)公司都在做的業(yè)務(wù)，谷歌就是一家服務(wù)器公司，不過服務(wù)器只給自己用，超大規(guī)模數(shù)據(jù)中心普遍在使用ODM的白牌機(jī)，而非一般的商用標(biāo)準(zhǔn)服務(wù)器。

包括京東在內(nèi)的超大規(guī)模數(shù)據(jù)中心，定制服務(wù)器的初衷都是為了降低基礎(chǔ)設(shè)施的運(yùn)營成本，但在過程中，為了滿足業(yè)務(wù)的需求而做的調(diào)整在不知不覺間鍛煉了自身的技術(shù)水平，也有了跟像英特爾這樣的科技公司進(jìn)行合作的技術(shù)基礎(chǔ)。

如京東集團(tuán)副總裁，大數(shù)據(jù)與智能供應(yīng)鏈?zhǔn)聵I(yè)部總裁裴健所言，英特爾提供了最新的硬件以及相應(yīng)的軟件解決方案，讓京東及時(shí)用這些新技術(shù)研發(fā)出了行業(yè)解決方案，而反過來，英特爾作為一家技術(shù)服務(wù)商，也收獲了行業(yè)實(shí)踐經(jīng)驗(yàn)。

數(shù)據(jù)是互聯(lián)網(wǎng)公司業(yè)務(wù)的核心資產(chǎn)，而京東大數(shù)據(jù)平臺承載著這些核心資產(chǎn)，許多非常重要的業(yè)務(wù)都要依靠于大數(shù)據(jù)平臺的服務(wù)，數(shù)據(jù)平臺上的業(yè)務(wù)規(guī)模非常大，包括供應(yīng)鏈數(shù)據(jù)、交易數(shù)據(jù)、物流、輿情、政策等數(shù)據(jù)都要匯聚于此，據(jù)了解，京東的大數(shù)據(jù)平臺上約有4萬臺服務(wù)器，每天處理超過100萬任務(wù)，數(shù)據(jù)總量超過800PB，而且以每天1PB的規(guī)模增長。

在京東與英特爾大數(shù)據(jù)合作備忘錄簽約儀式上，京東集團(tuán)副總裁，大數(shù)據(jù)平臺負(fù)責(zé)人翁志談起與英特爾合作的過往。

翁志對于與英特爾合作的第一個(gè)項(xiàng)目記憶猶新，那是一個(gè)加速HAProxy（一個(gè)應(yīng)用非常普遍的負(fù)載均衡方案）數(shù)據(jù)加解密的技術(shù)合作，在英特爾的幫助下，最終用上百塊處理器卡使得數(shù)據(jù)傳輸?shù)男蚀蟠筇岣撸咕〇|整個(gè)數(shù)據(jù)流量得到了一個(gè)很好的提升。

Spark是一個(gè)非常流行的大數(shù)據(jù)分析處理框架，京東大數(shù)據(jù)平臺主要的流計(jì)算、離線計(jì)算都是由它來完成的，英特爾在Spark上以及許多相關(guān)的工具上也有很多貢獻(xiàn)，簡而言之，就是因?yàn)橛⑻貭栆卜浅６甋park，所以，合作中出現(xiàn)了很多成果豐碩的項(xiàng)目。

Adaptive Execution可以用來優(yōu)化Spark的工作負(fù)載，英特爾有這方面的專家，在英特爾的幫助下，京東大數(shù)據(jù)平臺的數(shù)據(jù)存取效率得到了大幅提升，能在較短的時(shí)間內(nèi)完成一些數(shù)據(jù)的存儲任務(wù)，從而更好地滿足業(yè)務(wù)需求。

BigDL是一個(gè)基于Spark的分布式深度學(xué)習(xí)框架，可以基于現(xiàn)有的Spark進(jìn)行計(jì)算，在英特爾提供的數(shù)學(xué)函數(shù)庫的幫助下，京東大數(shù)據(jù)平臺提升了硬件的利用能力，而且，Spark技術(shù)在京東大數(shù)據(jù)平臺的整個(gè)技術(shù)平臺的應(yīng)用也越來越多。

英特爾有一系列基于硬件的創(chuàng)新產(chǎn)品方案，除了至強(qiáng)可擴(kuò)展處理器，英特爾的NvMe SSD以及最新的基于3D Xpoint的Optane（傲騰）也在京東大數(shù)據(jù)得到了應(yīng)用，英特爾的傲騰技術(shù)既可以作為比DRAM慢的內(nèi)存來用，也可以用作存儲比NAND介質(zhì)SSD快的SSD來用。

傲騰用作內(nèi)存的時(shí)候，雖然一些性能比DRAM差一截，但它非常適用于內(nèi)存計(jì)算的場景，能突破系統(tǒng)識別內(nèi)存容量的限制，翁志表示非常適用于聚和計(jì)算，在海量計(jì)算方面也有發(fā)揮的價(jià)值。當(dāng)用作SSD的時(shí)候，傲騰在高負(fù)載下的穩(wěn)定表現(xiàn)能提供普通SSD難以企及的價(jià)值，這些優(yōu)點(diǎn)京東大數(shù)據(jù)平臺都看在眼里。

說到底英特爾是一家硬件平臺公司，但為了讓新的工作負(fù)載更好地運(yùn)行在這些平臺上，需要做許多工作，從一定程度上來講，英特爾也是一家軟件公司，而且軟件工程師涉獵的范圍還都比較多，只要是英特爾硬件涉及到的領(lǐng)域，響應(yīng)的就會有做這方面軟件方案的軟件工程師，無論大數(shù)據(jù)、人工智能、IoT、區(qū)塊鏈，所有涉及的領(lǐng)域都有英特爾工程師的身影。

英特爾公司軟件和服務(wù)部門副總裁，數(shù)據(jù)分析部門負(fù)責(zé)人馬子雅在談及與京東的合作時(shí)表達(dá)出這樣一層意思，因?yàn)殡p方對于技術(shù)創(chuàng)新有著共同的追求，才有了種種深度的合作，作為用戶，京東對技術(shù)的態(tài)度是實(shí)際行動也收獲了許多業(yè)內(nèi)的最佳實(shí)踐，走在了業(yè)內(nèi)同行前面，而英特爾，也在服務(wù)于類似于京東這樣的客戶的時(shí)候累計(jì)了豐富的經(jīng)驗(yàn)。

目前，京東正在著力打造下一代可擴(kuò)展的大數(shù)據(jù)平臺，該平臺具備建立高級數(shù)據(jù)分析能力，為此，京東和英特爾除了在軟件領(lǐng)域展開深入合作外，京東大數(shù)據(jù)也在計(jì)算、存儲、網(wǎng)絡(luò)等領(lǐng)域充分利用英特爾下一代硬件產(chǎn)品。

zhupb