圖:火山引擎DataLeap的Data Catalog系統(tǒng)整體架構(gòu)

火山引擎DataLeap的Data Catalog搜索系統(tǒng),采用了開源搜索引擎Elasticsearch,在海量數(shù)據(jù)下,其分布式的實時文件存儲及實時分析搜索引擎,讓每個字段都可以被索引且可用于搜索,可達(dá)到近實時秒級響應(yīng)。同時,Elasticsearch采用的Restful api架構(gòu),天生的兼容多語言開發(fā),且擴展能力強,可以處理PB級結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

除了個性化的搜索需求,火山引擎DataLeap也支持單純的列表模式,對于不要求精細(xì)度的查詢需求,用戶可以在此模式下,通過指定字段來對搜索結(jié)果進(jìn)行簡單排序。

未來,火山引擎DataLeap團(tuán)隊將進(jìn)一步探索性能更完善的進(jìn)階搜索功能,包括查詢語法功能的實現(xiàn),以及血緣搜索和多租戶之間模型的遷移。

除此之外,火山引擎DataLeap還可以提供數(shù)據(jù)集成、開發(fā)、運維、治理、資產(chǎn)等能力,幫助用戶提升數(shù)據(jù)研發(fā)效率、降低管理成本,加速推動企業(yè)的數(shù)字化轉(zhuǎn)型,目前已經(jīng)應(yīng)用于泛互聯(lián)網(wǎng)、制造、新零售、汽車等領(lǐng)域,幫助數(shù)據(jù)團(tuán)隊有效的降低工作成本和數(shù)據(jù)維護(hù)成本、挖掘數(shù)據(jù)價值、為企業(yè)決策提供數(shù)據(jù)支撐。

分享到

xiesc

相關(guān)推薦