谷歌聯(lián)邦學(xué)習(xí)研討會(huì)

會(huì)上,楊強(qiáng)教授發(fā)表了特邀報(bào)告——《安全的聯(lián)邦遷移學(xué)習(xí):在保護(hù)隱私的前提下共享知識(shí)》(Secure Federated Transfer Learning:Knowledge Sharing without Compromising Privacy)。他在報(bào)告中指出,聯(lián)邦學(xué)習(xí)技術(shù)將成為破解智能時(shí)代數(shù)據(jù)保護(hù)和用戶隱私保護(hù)難題的利器,成為推動(dòng)人工智能產(chǎn)業(yè)化成功的重要驅(qū)動(dòng)力。

楊強(qiáng)教授特邀報(bào)告

聯(lián)邦學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)商業(yè)化浪潮

人工智能不斷進(jìn)化的背后,也是機(jī)器學(xué)習(xí)的不斷進(jìn)化。那么,機(jī)器學(xué)習(xí)正在朝哪個(gè)方向發(fā)展?這種趨勢又將如何影響整個(gè)人工智能產(chǎn)業(yè)?

人工智能落地面臨的主要困境是數(shù)據(jù)問題,“小數(shù)據(jù)”和“數(shù)據(jù)孤島”一定程度上阻礙了人工智能的商業(yè)化進(jìn)程。針對(duì)小數(shù)據(jù)難題,楊強(qiáng)教授和團(tuán)隊(duì)提出了“遷移學(xué)習(xí)”的理論體系,并將其應(yīng)用于推薦系統(tǒng)等實(shí)際應(yīng)用中,讓機(jī)器具備了知識(shí)遷移、“舉一反三”的學(xué)習(xí)能力,在第30屆神經(jīng)信息處理系統(tǒng)大會(huì)(NIPS 2016)上,著名人工智能專家吳恩達(dá)總結(jié)機(jī)器學(xué)習(xí)發(fā)展趨勢時(shí)曾表示:“在監(jiān)督學(xué)習(xí)之后,遷移學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)商業(yè)化浪潮?！?/p>

隨著數(shù)據(jù)隱私保護(hù)和數(shù)據(jù)安全形勢日益嚴(yán)峻,GDPR等一系列嚴(yán)格的數(shù)據(jù)隱私保護(hù)法律法規(guī)出臺(tái),出于政策法規(guī)、商業(yè)競爭等因素,機(jī)構(gòu)間數(shù)據(jù)很難互通, “數(shù)據(jù)孤島”成為人工智能落地的更大阻礙之一,遷移學(xué)習(xí)或許能解決小數(shù)據(jù)問題,但如何實(shí)現(xiàn)行業(yè)內(nèi)甚至跨行業(yè)的更大范圍合作,對(duì)人工智能商業(yè)化來說更為重要。這不僅僅是技術(shù)問題,更成為一個(gè)復(fù)雜的社會(huì)問題。

聯(lián)邦學(xué)習(xí)作為分布式的機(jī)器學(xué)習(xí)范式,可以有效解決數(shù)據(jù)孤島問題,讓參與方在不共享數(shù)據(jù)的基礎(chǔ)上聯(lián)合建模,能從技術(shù)上打破數(shù)據(jù)孤島,實(shí)現(xiàn)AI協(xié)作。谷歌在2016年提出了針對(duì)手機(jī)終端的聯(lián)邦學(xué)習(xí),微眾銀行AI團(tuán)隊(duì)則從金融行業(yè)實(shí)踐出發(fā),關(guān)注跨機(jī)構(gòu)跨組織的大數(shù)據(jù)合作場景,首次提出“聯(lián)邦遷移學(xué)習(xí)”的解決方案,將遷移學(xué)習(xí)和聯(lián)邦學(xué)習(xí)結(jié)合起來。據(jù)楊強(qiáng)教授在“聯(lián)邦學(xué)習(xí)研討會(huì)”上介紹,聯(lián)邦遷移學(xué)習(xí)讓聯(lián)邦學(xué)習(xí)更加通用化,可以在不同數(shù)據(jù)結(jié)構(gòu)、不同機(jī)構(gòu)間發(fā)揮作用,沒有領(lǐng)域和算法限制,同時(shí)具有模型質(zhì)量無損、保護(hù)隱私、確保數(shù)據(jù)安全的優(yōu)勢。

開源框架推動(dòng)聯(lián)邦學(xué)習(xí)落地應(yīng)用

近年來對(duì)聯(lián)邦學(xué)習(xí)的研究不斷涌現(xiàn),谷歌TensorFlow Federated(TFF)開源框架和微眾銀行Federated AI Technology Enabler(FATE)開源框架的推出更是加速了聯(lián)邦學(xué)習(xí)從概念走向行業(yè)落地應(yīng)用。

2019年3月,谷歌開源了TFF,可用于去中心化數(shù)據(jù)的機(jī)器學(xué)習(xí)及運(yùn)算實(shí)驗(yàn),為開發(fā)者提供分布式機(jī)器學(xué)習(xí),以便在沒有數(shù)據(jù)離開設(shè)備的情況下,便可在多種設(shè)備上訓(xùn)練共享的機(jī)器學(xué)習(xí)模型。

而FATE是2019年2月微眾銀行AI團(tuán)隊(duì)對(duì)外發(fā)布的自主研發(fā)開源項(xiàng)目,也是全球首個(gè)聯(lián)邦學(xué)習(xí)開源框架,為聯(lián)邦A(yù)I生態(tài)提供了工業(yè)級(jí)別的聯(lián)邦學(xué)習(xí)框架。提供了基于數(shù)據(jù)隱私保護(hù)的分布式安全計(jì)算框架,為機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)算法提供高性能的安全計(jì)算支持,安全計(jì)算包括同態(tài)加密、秘密共享、哈希散列等多種多方安全計(jì)算協(xié)議。同時(shí),FATE提供了一套友好的跨域交互信息管理方案,解決了聯(lián)邦學(xué)習(xí)信息安全審計(jì)難的問題。簡單易用的開源工具平臺(tái)能有效幫助多個(gè)機(jī)構(gòu)在滿足用戶隱私保護(hù)、數(shù)據(jù)安全和政府法規(guī)的前提下,進(jìn)行多方數(shù)據(jù)使用和聯(lián)合建模。目前FATE已經(jīng)在信貸風(fēng)控,客戶權(quán)益定價(jià),監(jiān)管科技等領(lǐng)域推動(dòng)應(yīng)用落地。

走向未來的聯(lián)邦學(xué)習(xí)技術(shù)

未來,聯(lián)邦學(xué)習(xí)將走向何方?谷歌研討會(huì)上總結(jié)了未來聯(lián)邦學(xué)習(xí)的主要研究方向:讓聯(lián)邦學(xué)習(xí)更加高效和有效;拓展聯(lián)邦學(xué)習(xí)邊界,解決更多問題;探索聯(lián)邦學(xué)習(xí)新的應(yīng)用場景;增強(qiáng)聯(lián)邦學(xué)習(xí)的健壯性和抵御攻擊的能力;突破準(zhǔn)確性和實(shí)用性目標(biāo),更加關(guān)注隱私、安全和公平。

谷歌聯(lián)邦學(xué)習(xí)研討會(huì)閉幕總結(jié)

6月17日,國家新一代人工智能治理專業(yè)委員會(huì)發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》,提出了人工智能治理的框架和行動(dòng)指南。新發(fā)布的《治理原則》,強(qiáng)調(diào)了和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔(dān)責(zé)任、開放協(xié)作、敏捷治理等八條原則。這些原則也正與聯(lián)邦學(xué)習(xí)的發(fā)展方向相一致,而相關(guān)政策對(duì)于隱私保護(hù)和開放協(xié)作的要求也為聯(lián)邦學(xué)習(xí)的進(jìn)一步發(fā)展提供了政策驅(qū)動(dòng)力。

無論是從技術(shù)發(fā)展路徑,還是政策法規(guī)大環(huán)境來看,可以預(yù)見的是,聯(lián)邦學(xué)習(xí)將成為下一個(gè)推動(dòng)機(jī)器學(xué)習(xí)取得商業(yè)化成績的主要驅(qū)動(dòng)技術(shù),對(duì)于聯(lián)邦學(xué)習(xí)的研究和落地探索不會(huì)停止。在科技之外,聯(lián)邦學(xué)習(xí)涉及經(jīng)濟(jì)學(xué)、法律等多領(lǐng)域,在公平有效的激勵(lì)機(jī)制下,多方共同參與,建立公平健康可持續(xù)的合作生態(tài),才能真正實(shí)現(xiàn)“君子和而不同”的“聯(lián)邦”初衷,讓科技向善,普惠大眾。

Fred

baiyan