Amazon SageMaker Unified Studio(以下簡(jiǎn)稱(chēng)Unified Studio)是一個(gè)統(tǒng)一了數(shù)據(jù)和AI的開(kāi)發(fā)平臺(tái),用戶能在這里找到所需的數(shù)據(jù)、分析工具以及構(gòu)建機(jī)器學(xué)習(xí)模型與應(yīng)用的一切資源。
它有效解決了過(guò)去企業(yè)內(nèi)部不同角色使用不同工具所帶來(lái)的麻煩與混亂,將數(shù)據(jù)處理(如EMR、Glue、Athena)、SQL分析(Redshift)、模型開(kāi)發(fā)訓(xùn)練(SageMaker AI)、生成式AI構(gòu)建(Amazon Bedrock)以及BI和搜索分析等功能統(tǒng)一在一個(gè)環(huán)境中。
其中,模型開(kāi)發(fā)部分其實(shí)就是原來(lái)的Amazon SageMaker,現(xiàn)在改名叫Amazon Sagemaker AI。而生成式AI應(yīng)用構(gòu)建部分,則是集成的Amazon Bedrock。而剛才提到的數(shù)據(jù)處理、數(shù)據(jù)分析部分也都是把原有的工具集成到了這里。
雖然Unified Studio集成的工具服務(wù)大多是已有的,但真正的改變?cè)谟诮y(tǒng)一的環(huán)境。過(guò)去開(kāi)發(fā)者需頻繁在多個(gè)服務(wù)間切換,項(xiàng)目協(xié)作困難,而現(xiàn)在通過(guò)代碼、數(shù)據(jù)和權(quán)限的集中管理,讓數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師與業(yè)務(wù)專(zhuān)家能在同一工作臺(tái)高效協(xié)作,顯著提升了團(tuán)隊(duì)的效率與一致性。
為了提高易用性,亞馬遜云科技還將智能助手Amazon Q與Unified Studio集成,讓用戶用自然語(yǔ)言完成數(shù)據(jù)查詢(xún)和代碼編寫(xiě)。這種集成不僅提升了用戶體驗(yàn),也進(jìn)一步降低了企業(yè)數(shù)據(jù)使用門(mén)檻。
集合多種數(shù)據(jù)治理工具,為AI創(chuàng)新準(zhǔn)備好數(shù)據(jù)
非常值得注意的是,Unified Studio只是新一代Amazon SageMaker的一部分。除此之外,它還有負(fù)責(zé)數(shù)據(jù)和AI治理的Amazon SageMaker Catalog,以及“湖倉(cāng)一體”數(shù)據(jù)平臺(tái)Amazon SageMaker Lakehouse。
Unified Studio主要聚焦開(kāi)發(fā)環(huán)境的整合,而Amazon SageMaker Catalog則強(qiáng)調(diào)統(tǒng)一的數(shù)據(jù)資產(chǎn)治理。Catalog基于Amazon DataZone,為企業(yè)提供統(tǒng)一的數(shù)據(jù)目錄平臺(tái),實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)集中發(fā)布、權(quán)限管理、血緣追蹤及數(shù)據(jù)質(zhì)量監(jiān)控,有效避免了過(guò)去人工管理權(quán)限的低效與疏漏。實(shí)踐中,企業(yè)通常將Unified Studio與Catalog結(jié)合使用,實(shí)現(xiàn)工具和數(shù)據(jù)的雙重統(tǒng)一協(xié)作。
與Amazon SageMaker Catalog緊密配合的還有Amazon SageMaker Lakehouse平臺(tái),它采用Apache Iceberg標(biāo)準(zhǔn)融合了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì),同時(shí)借助Zero-ETL技術(shù),直接將多個(gè)數(shù)據(jù)源的數(shù)據(jù)用于分析,免去了遷移和重復(fù)加工的步驟。
為了進(jìn)一步打破數(shù)據(jù)孤島,亞馬遜云科技還提供了Amazon Glue Connector,它內(nèi)置了超過(guò)100種數(shù)據(jù)源連接器,結(jié)合聯(lián)邦查詢(xún)功能,用戶只需發(fā)起一個(gè)查詢(xún)請(qǐng)求,就可以同時(shí)訪問(wèn)在多個(gè)數(shù)據(jù)源中的數(shù)據(jù)。
總之,負(fù)責(zé)數(shù)據(jù)和AI治理的Amazon SageMaker Catalog,還有“湖倉(cāng)一體”數(shù)據(jù)平臺(tái)Amazon SageMaker Lakehouse為下一代Amazon SageMaker解決了數(shù)據(jù)問(wèn)題,讓Unified Studio有數(shù)據(jù)可用。
Amazon SageMaker Unified Studio:幫助豐田汽車(chē)加快創(chuàng)新節(jié)奏
與很多亞馬遜云科技的服務(wù)一樣,Unified Studio本身的易用性較高。亞馬遜云科技大中華區(qū)數(shù)據(jù)分析與生成式AI產(chǎn)品總監(jiān)崔瑋用一個(gè)Demo展示了它的用法,它不僅能完成從數(shù)據(jù)準(zhǔn)備、共享、訂閱,到數(shù)據(jù)治理、AI 開(kāi)發(fā)的全過(guò)程,而且每一步都力求降低技術(shù)門(mén)檻,提升協(xié)作效率。
崔瑋提到,雖然目前沒(méi)有一個(gè)具體的量化指標(biāo)可以衡量Unified Studio將效率提升了多少倍,但多個(gè)客戶已經(jīng)反饋出非常明顯的收益,尤其是在多角色協(xié)作、權(quán)限管理和數(shù)據(jù)使用效率方面。
Unified Studio不僅將數(shù)據(jù)發(fā)布、權(quán)限申請(qǐng)和訂閱等流程的完成時(shí)間從過(guò)去的幾天甚至一周縮短到小時(shí)乃至分鐘級(jí),也極大簡(jiǎn)化了權(quán)限管理工作。過(guò)去權(quán)限維護(hù)復(fù)雜且易出錯(cuò),而現(xiàn)在通過(guò)內(nèi)置的統(tǒng)一權(quán)限管理機(jī)制,企業(yè)能實(shí)現(xiàn)針對(duì)不同用戶和角色的統(tǒng)一策略管理,顯著降低了運(yùn)維成本和出錯(cuò)風(fēng)險(xiǎn)。
豐田汽車(chē)引入U(xiǎn)nified Studio后有效解決了內(nèi)部多個(gè)團(tuán)隊(duì)間數(shù)據(jù)共享、管理與搜索的問(wèn)題。例如在質(zhì)量管理方面,豐田利用Unified Studio提前發(fā)現(xiàn)潛在問(wèn)題并快速響應(yīng),極大提升了生產(chǎn)安全性和效率,也為團(tuán)隊(duì)提供了靈活的試錯(cuò)空間,加速了產(chǎn)品創(chuàng)新節(jié)奏。
崔瑋表示,Unified Studio能更好地適配企業(yè)復(fù)雜的組織結(jié)構(gòu)和跨部門(mén)協(xié)作需求。對(duì)于像豐田這樣的制造型企業(yè),其內(nèi)部往往包含多個(gè)業(yè)務(wù)板塊,工作流高度復(fù)雜,在這種環(huán)境下,Unified Studio就顯得尤為重要。