圖注:最左側的非結構化數(shù)據(jù)通過嵌入模型(ML Model)轉為向量并存入Zilliz數(shù)據(jù)庫,供右側AI應用調用。

正因如此,向量數(shù)據(jù)庫從幕后技術,走向了AI生態(tài)建設的前臺。像Zilliz這樣的公司,也在加快推進向量數(shù)據(jù)庫在AI應用中的落地實踐,特別是在支持RAG(檢索增強生成)、AI Agent(智能體)等新一代AI架構中,發(fā)揮著越來越重要的作用。

Zilliz是向量數(shù)據(jù)庫行業(yè)的“頭號玩家”

郭人通回顧了Zilliz的發(fā)展歷史。2017年,Zilliz就開始布局開源向量數(shù)據(jù)庫系統(tǒng)。如今,Zilliz旗下的Milvus成了全球最受歡迎的開源向量數(shù)據(jù)庫,在Github上斬獲了3萬4千多顆星,擁有數(shù)百位GitHub項目貢獻者,還有一個全球最大的向量數(shù)據(jù)庫的社區(qū)。

Milvus是一個高性能、可擴展的開源向量數(shù)據(jù)庫,它有三種部署選項,包括可在本地筆記本電腦上部署的Milvus Lite版,可用于生產和測試的Milvus Standalone版,以及可處理數(shù)十億個向量的企業(yè)級方案Milvus Distributed。

2023年下半年,Zilliz開始著手商業(yè)化。主要產品就是Zilliz Cloud,Zilliz Cloud分為兩大類,第一類全托管的SaaS服務,底層是基于Serverless構建的,有很大的彈性擴展空間,無論是個人用戶還是大型企業(yè)用戶都可以選用這一方案。

作為托管服務,Zilliz Cloud SaaS所提供的高可擴展性和高穩(wěn)定性能很好地滿足企業(yè)可能面臨的流量和數(shù)據(jù)激增的挑戰(zhàn),同時,還能讓AI團隊把更多資源集中在算法優(yōu)化等核心創(chuàng)新上。

另外一個版本有點特殊,叫做Zilliz Cloud BYOC。與SaaS版把數(shù)據(jù)存儲和所有管理控制都交給Zilliz不同,Zilliz Cloud BYOC支持用戶將數(shù)據(jù)存儲在用戶自己的環(huán)境,適用于有特殊合規(guī)要求或者處于強監(jiān)管環(huán)境的企業(yè)用戶。

2024年,在Forrester Wave報告圖中,Zilliz是唯二進入領導者象限的廠商之一,并且在向量數(shù)據(jù)庫領導者象限中位于全球最領先位置。在中國市場上,有大約九成的用戶都在用Zilliz的向量數(shù)據(jù)庫。

郭人通表示,Zilliz的核心競爭力來自于快速迭代的能力。得益于Milvus構建強大的開源社區(qū),Zilliz依靠開源獲取全球用戶的信任,能夠獲得不同行業(yè)、不同規(guī)模用戶的反饋,這些反饋也在持續(xù)推動其在開源技術和商業(yè)化服務方面的發(fā)展。

Zilliz的商業(yè)化進程得益于亞馬遜云科技

郭人通表示,Zilliz既提供Milvus的開源版本,也提供云上的商業(yè)版本,會像Databricks或者Snowflake的一樣,更多圍繞云基礎設施去構建商業(yè)版服務。因此,Zilliz特別重視與亞馬遜云科技這樣的云廠商進行合作。

“在其他云上完成一個區(qū)域部署,所花時間是亞馬遜云科技的四到六倍?!?郭人通表示,亞馬遜云科技在全球范圍內提供的產品服務更標準、更全面,大大降低了適配和運維復雜度,這為Zilliz的自動化部署和產品化打下了穩(wěn)定基礎。

事實上,Zilliz的商業(yè)化進程加速離不開亞馬遜云科技的幫助。Zilliz依托亞馬遜云科技在全球8個區(qū)域快速部署,業(yè)務覆蓋北美、歐洲和亞洲地區(qū),未來還將擴展到更多領域。其服務的客戶涵蓋歐美企業(yè)及國內的自動駕駛、手機、電商等行業(yè)。

Milvus向量數(shù)據(jù)庫的技術生態(tài)與亞馬遜云科技進行了很多集成,底層基于多種Amazon EC2實例(包括Amazon Graviton實例)為Milvus Cloud構建了性能型、容量型和存儲擴展型等多種方案。同時,還利用Amazon EKS提供高度可擴展的能力。

中間層,Milvus支持各種常見的Embedding模型和大語言模型,這些Embedding模型和大語言模型可以來自Amazon SageMaker或者Amazon Bedrock。最上層,Milvus可以集成到LangChain等框架當中。

Milvus經(jīng)歷了兩次架構迭代,Milvus 2.0引領了架構深度解耦的技術潮流,基于Amazon S3對象存儲實現(xiàn)了計算與存儲的分離和獨立擴展。Zilliz早在2018至2019年就提出了這一架構思路,如今,越來越多的向量數(shù)據(jù)庫也開始轉向對象存儲。

Zilliz在軟件層面做了大量安全加固工作,同時,也依賴亞馬遜云科技提供的多層次安全防護體系,包括集成了Amazon WAF、Amazon KMS等服務,亞馬遜云科技幫助Zilliz每天自動攔截并識別數(shù)以千計的異常訪問行為。

亞馬遜云科技為Zilliz全球化進程提供了重要支持。通過亞馬遜云科技,Zilliz接觸并服務了大量全球頭部企業(yè)客戶,上架亞馬遜云科技Marketplace幫助Zilliz提升銷售轉化,借助亞馬遜云科技的合作伙伴體系,Zilliz擴大了在開發(fā)者和用戶中的影響力。

Zilliz的兩類典型應用場景

在商業(yè)化近兩年后,Zilliz服務了很多出海企業(yè),最有代表性的就是出海電商企業(yè)。郭人通介紹稱,出海電商企業(yè)普遍關注如何實現(xiàn)跨區(qū)域合規(guī)、如何讓基礎設施跟上業(yè)務擴張的節(jié)奏,以及如何獲得全天候運維支持。

Zilliz依靠與亞馬遜云科技的合作來解決合規(guī)問題,依托亞馬遜云科技的全球基礎設施和Zilliz提供的可統(tǒng)一部署的數(shù)據(jù)基礎設施,幫助企業(yè)實現(xiàn)快速建設和部署。在亞馬遜云科技穩(wěn)定基礎設施的保障下,Zilliz可以提供7×24小時的支持。

在Zilliz的客戶中,有一類非常典型的用戶群體——為最終企業(yè)客戶提供知識庫或智能體能力的中間件服務商。這些服務商面對的客戶需求明確,但資源有限,他們既想快速搭建企業(yè)內部的智能問答、知識檢索系統(tǒng),又不愿耗費大量成本去開發(fā)和運維底層系統(tǒng)。

Zilliz聯(lián)合亞馬遜云科技,為這些客戶提供了一整套平臺級的支持,涵蓋數(shù)據(jù)檢索、多租管理和知識庫底層能力等。解決了他們非常最關心多租戶隔離問題、冷熱數(shù)據(jù)成本控制問題以及運維自動化與彈性擴容的問題。

目前,某家客戶通過Zilliz Cloud成功支撐起數(shù)百家企業(yè)的AI系統(tǒng)運行。相比他們過去依賴自建或開源方案的方式,熱數(shù)據(jù)查詢性能提升3倍,冷數(shù)據(jù)服務成本降低至原來的50%以下,運維成本壓力也基本被消除。

結束語

生成式AI技術讓向量數(shù)據(jù)庫得到了更多關注。Zilliz憑借Milvus和基于云的商業(yè)服務,并依托與亞馬遜云科技等伙伴的緊密合作,正站在時代前沿,為全球企業(yè)構建高效、智能的數(shù)據(jù)處理能力,助力其在AI浪潮中把握先機。

分享到

zhupb

相關推薦