BienData平臺(tái)將問(wèn)題變成比賽的過(guò)程已經(jīng)變成了一個(gè)相對(duì)標(biāo)準(zhǔn)化的服務(wù)。作為標(biāo)準(zhǔn)化平臺(tái),它需要具備許多功能,比如參賽功能,后臺(tái)管理功能,要能接受非常多參賽選手提交的模型。這套系統(tǒng)還是非常復(fù)雜的,在亞馬遜云科技的幫助下,這套系統(tǒng)在很短的時(shí)間內(nèi)就上線了。

管心宇介紹稱(chēng),BienData從一開(kāi)始就選擇了亞馬遜云科技,因?yàn)樗l(fā)現(xiàn)亞馬遜云平臺(tái)的功能非常豐富,而且有國(guó)際化屬性,在使用過(guò)程中發(fā)現(xiàn),BienData所需的每一個(gè)功能都能在亞馬遜云上找到對(duì)應(yīng)的服務(wù),有助于加快產(chǎn)品研發(fā)和上線的速度。

為保證比賽的公平性,BienData支持讓參賽選手編寫(xiě)代碼,提交模型和模型預(yù)測(cè)的結(jié)果。

編寫(xiě)代碼環(huán)節(jié),Biendata使用了亞馬遜云平臺(tái)提供的Jupyter Notebook環(huán)境,參賽選手在這里編寫(xiě)代碼對(duì)數(shù)據(jù)集進(jìn)行各種處理,并且可以調(diào)用后端Amazon EKS計(jì)算集群的算力進(jìn)行訓(xùn)練、調(diào)參等操作,云計(jì)算可以非常便捷地為參賽者提供一致的運(yùn)行環(huán)境,以避免各種兼容性問(wèn)題。

結(jié)果提交階段,選手需要將包含模型的容器鏡像上傳到鏡像倉(cāng)庫(kù)Amazon ECR, 后端系統(tǒng)發(fā)現(xiàn)鏡像后交由Amazon EKS運(yùn)行該鏡像,在系統(tǒng)后臺(tái)的測(cè)試集上運(yùn)行提交的模型,將最終的結(jié)果寫(xiě)入Amazon S3對(duì)象存儲(chǔ),既減少了作弊的可能,保證了公平,同時(shí)也便于模型的收集。

管心宇表示,自行開(kāi)發(fā)這樣一套是非常困難的,但使用了亞馬遜云科技的Amazon EC2、Amazon RDS、Amazon S3等基礎(chǔ)服務(wù),以及Amazon ECR、Amazon EKS以及Amazon Lambda等產(chǎn)品功能,很快就完成了這套系統(tǒng)。

除了豐富的功能以外,亞馬遜云平臺(tái)在安全合規(guī)方面也更有優(yōu)勢(shì)。

管心宇介紹說(shuō),在與某國(guó)外大學(xué)舉辦競(jìng)賽的時(shí)候,對(duì)方特別重視安全與合規(guī)方面的問(wèn)題,要求數(shù)據(jù)有非常嚴(yán)格的保護(hù)措施,這使得競(jìng)賽準(zhǔn)備過(guò)程變得非常繁瑣。

但由于BienData使用的是亞馬遜云科技的平臺(tái),所以默認(rèn)已經(jīng)符合了很多數(shù)據(jù)安全的要求,這大大縮短了比賽的準(zhǔn)備時(shí)間。亞馬遜云在安全性方面的準(zhǔn)備大大降低了BienData的運(yùn)營(yíng)負(fù)擔(dān),在安全標(biāo)準(zhǔn)和合規(guī)性方面,能滿(mǎn)足幾乎全球所有監(jiān)管機(jī)構(gòu)的要求。

BienData享受到了云的諸多便利

2019年,BienData加入亞馬遜云科技全球合作伙伴網(wǎng)絡(luò)(APN),為更多用戶(hù)提供云上的人工智能方案,比如,BienData和亞馬遜云科技專(zhuān)業(yè)服務(wù)團(tuán)隊(duì)共同支持了深圳和寧夏的重點(diǎn)高職院校課程和實(shí)訓(xùn)平臺(tái)建設(shè)。

2020年疫情期間,許多企業(yè)都面臨著巨大挑戰(zhàn),BienData卻借助云計(jì)算開(kāi)展在線業(yè)務(wù)的優(yōu)勢(shì),實(shí)現(xiàn)了業(yè)務(wù)的迅猛發(fā)展,還通過(guò)使用云原生服務(wù)進(jìn)一步降低了運(yùn)維成本。

2021年,BienData的業(yè)務(wù)發(fā)展進(jìn)入新階段,在亞馬遜云科技安全合規(guī)能力的幫助下,贏得了許多海外項(xiàng)目,通過(guò)與合作伙伴開(kāi)展人工智能普惠的相關(guān)競(jìng)賽,共同培養(yǎng)國(guó)內(nèi)外AI人才。

過(guò)去幾年里,BienData陸續(xù)承辦了非常有影響力的競(jìng)賽,比如KDD CUP。媒體資料顯示,KDD CUP是由ACM知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘特別興趣小組組織的國(guó)際數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)競(jìng)賽,有“大數(shù)據(jù)領(lǐng)域世界杯”之美譽(yù),是水平高、影響力大、規(guī)模也非常大的國(guó)際頂級(jí)賽事。

作為一個(gè)AI為主的眾包競(jìng)賽平臺(tái),BienData上出現(xiàn)了許多有趣的競(jìng)賽,探索如何用人工智能幫助控制疫情,有的從疾病傳播的角度出發(fā),有的從新藥研發(fā)的角度思考,有的從疾病的學(xué)術(shù)研究中尋找方案。

由于許多比賽都是在亞馬遜云科技平臺(tái)上完成的,所以數(shù)據(jù)都能很快地進(jìn)行分享,使得競(jìng)賽的創(chuàng)建變得非常便捷。

管心宇表示,人工智能可以賦能于各個(gè)行業(yè),包括工業(yè)領(lǐng)域、基礎(chǔ)物理研究、天文學(xué)、小分子預(yù)測(cè)、生物影像、社交網(wǎng)絡(luò)等等,眾包競(jìng)賽的方式可以在完全不同的領(lǐng)域和完全不同的應(yīng)用方向上進(jìn)行探索。

未來(lái),BienData希望和亞馬遜云科技一起合作,用眾包競(jìng)賽連接開(kāi)發(fā)者、數(shù)據(jù)集和應(yīng)用場(chǎng)景,將優(yōu)秀成果普及到各行各業(yè),讓大公司、小公司甚至個(gè)人都可以用到人工智能的技術(shù)的成果,讓優(yōu)秀的模型能夠普惠社會(huì)。

分享到

zhupb

相關(guān)推薦