第三代測(cè)序發(fā)展迅速,底層調(diào)度迎來挑戰(zhàn)
近年來,第三代測(cè)序技術(shù)迅速發(fā)展,為基因組研究提供了高分辨率的數(shù)據(jù)。希望組致力于打造一個(gè)三代測(cè)序項(xiàng)目交付平臺(tái),通過可視化界面幫助用戶進(jìn)行生信數(shù)據(jù)分析,降低難度、提高效率。然而,生信數(shù)據(jù)分析流程復(fù)雜,計(jì)算任務(wù)多且波動(dòng)大,需要處理海量非結(jié)構(gòu)化文件數(shù)據(jù)。因此,希望通過異構(gòu)集群納管調(diào)度能力,實(shí)現(xiàn)資源復(fù)用,降低成本,提升集群擴(kuò)容的便利性。
火山引擎Bio-OS,助力生信數(shù)據(jù)分析
在火山引擎 Bio-OS 解決方案的支持下,希望組成功構(gòu)建了基于 web 的生信數(shù)據(jù)分析平臺(tái)。該平臺(tái)不僅能夠充分利用現(xiàn)有的本地計(jì)算資源進(jìn)行生信計(jì)算,同時(shí)也方便其客戶通過 web 頁(yè)面提交自己所需的生信分析流程來獲取分析結(jié)果。該平臺(tái)擁有無縫集成彈性容器、海量實(shí)例快速秒級(jí)啟動(dòng)、靈活應(yīng)對(duì)計(jì)算高峰等特性。此外,這些特性的引入也有效地縮減了售后支持方面的人力成本。
生信數(shù)據(jù)分析平臺(tái)的三大優(yōu)勢(shì):
降本增效,資源利用:希望組引入 Bio-OS 方案,通過將本地的 SGE 集群納入私有集群的管理范圍,將舊有的計(jì)算資源轉(zhuǎn)化為有價(jià)值的資源,進(jìn)一步提升計(jì)算效率,減少資源浪費(fèi),降低維護(hù)成本。
流程簡(jiǎn)化,操作追溯:Bio-OS 通過在工作流中預(yù)置一系列分析步驟,希望組成功降低了生物信息學(xué)數(shù)據(jù)分析的門檻。實(shí)驗(yàn)人員和醫(yī)生等非專業(yè)人士也能夠輕松地啟動(dòng)復(fù)雜的數(shù)據(jù)分析流程,不需要深入了解技術(shù)細(xì)節(jié)。同時(shí),通過 git 管理工作流的不同版本,確保了操作的可追溯性和回顧性。
容器集群,智能管理:在計(jì)算資源管理方面,火山引擎的 Bio-OS 方案引入了彈性容器,使系統(tǒng)能夠快速啟動(dòng)和停止計(jì)算實(shí)例,以適應(yīng)計(jì)算任務(wù)的變化。特別是在處理計(jì)算高峰時(shí),依然能夠保證系統(tǒng)高效運(yùn)行,不會(huì)因?yàn)樨?fù)載增加而陷入延遲。
售后成本降低40%,運(yùn)維成本降低30%
生信數(shù)據(jù)分析平臺(tái),有效降低了生信數(shù)據(jù)分析的門檻,讓普通人員也可輕松開啟數(shù)據(jù)分析之旅。另外,Bio-OS 納管本地 SGE 集群的功能實(shí)現(xiàn)本地算力的充分利用,在提升集群管理效率的同時(shí),降低了40%售后支持人力成本和30%運(yùn)維成本。
目前,希望組在 Bio-OS 平臺(tái)集成的 notebook 工具基礎(chǔ)上,還開發(fā)了諸如花瓣圖、動(dòng)態(tài)火山圖、單細(xì)胞基因表達(dá)降維圖、單細(xì)胞降維分群圖工具等。隨著技術(shù)的不斷演進(jìn),基因測(cè)序和 Bio-OS 的結(jié)合,將擴(kuò)展我們對(duì)基因組含義和應(yīng)用的理解,并創(chuàng)造出更多的發(fā)展機(jī)遇。
END
日前,火山引擎與基因會(huì)等六家生信領(lǐng)域企業(yè),共同發(fā)布了《2023基因行業(yè)藍(lán)皮書》。未來,火山引擎將持續(xù)為科技研發(fā)提供支持,為生物信息領(lǐng)域的創(chuàng)新發(fā)展注入更多的動(dòng)力。
更多詳細(xì)內(nèi)容,請(qǐng)點(diǎn)擊閱讀原文,下載《2023基因行業(yè)藍(lán)皮書》。
閱讀原文鏈接:
https://www.volcengine.com/docs/6624/1109238