FederatedML:訓練稀疏數(shù)據(jù)效率提升,內(nèi)存消耗再優(yōu)化

除聯(lián)邦推薦及KubeFATE的重點更新外,新版本針對FederatedML也做了進一步提升,在1.3中,縱向聯(lián)邦廣義線性模型(Hetero-LR、Hetero-LinR、Hetero-PoissonR)開始支持稀疏數(shù)據(jù)訓練,開發(fā)者在訓練稀疏數(shù)據(jù)時,能明顯感到效率提升,內(nèi)存消耗減少。解決分箱中32M限制,也使得特征分箱支持更高維度和更多樣本的數(shù)據(jù)。縱向SecureBoost 梯度直方圖32M限制的解決,讓FATE可以支持更高維度特征進行secureboost的訓練。

總的來說,1.3版本對FATE功能性及實踐應用價值進行了強化,聯(lián)邦推薦算法子模塊FederatedRec的添加,對于用戶而言,最明顯的益處在于可以利用聯(lián)邦推薦來提升自己算法的預測效果和產(chǎn)品的分發(fā)效率,使推薦服務的質(zhì)量更上一個臺階。這對于第一方數(shù)據(jù)不夠豐富,或者在業(yè)務的初始時期數(shù)據(jù)積累較少的用戶方,是非常有幫助的。而KubeFATE也開啟了FATE在生產(chǎn)環(huán)境,尤其是云原生環(huán)境上最優(yōu)化管理使用的功能更新探索之路。后續(xù),微眾銀行也將和VMware進一步合作,推出基于FATE的多方管理新項目。

關于FATE:

FATE(Federated AI Technology Enabler)是微眾銀行自主研發(fā)并開源的全球首個工業(yè)級聯(lián)邦學習框架,有效幫助多個機構(gòu)在滿足用戶隱私保護、數(shù)據(jù)安全和政府法規(guī)的前提下,進行多方數(shù)據(jù)使用和聯(lián)合建模。它提供了一個安全的計算框架以支持聯(lián)邦學習算法,實現(xiàn)了同態(tài)加密和多方計算(MPC)的安全計算協(xié)議,并支持聯(lián)邦學習架構(gòu),其內(nèi)置了多種機器學習算法的聯(lián)邦學習實現(xiàn),在金融、零售、智慧城市等領域擁有一系列應用落地案例。

歡迎對聯(lián)邦學習有興趣的同仁一起貢獻代碼,提交 Issues 或者 Pull Requests。詳情可查閱 FATE官網(wǎng)項目貢獻者指南:https://ai.webankcdn.net/scvm/html/1579237932478.html

如有疑問,歡迎留言交流。也可以添加FATE助手:FATEZS001,進一步交流。

分享到

songjy

相關推薦