作為后端的程序員,都知道Elastic及其產(chǎn)品Elasticsearch或者ELK,是一個叫做Shay Banon的失業(yè)開發(fā)者,本想給妻子做個食譜搜索引擎,不過誤打誤撞,創(chuàng)建了這個開源項目Compass,Elastic從此開始發(fā)展。
Shay開發(fā)Elasticsearch的初衷是為了解決如何更快速、更簡單的搜索。沒有對比,就沒有傷害,與其它搜索引擎相比,Elasticsearch簡單得讓你驚訝它可輕松搭建一個分布式搜索引擎!你可能疑惑,那些底層復(fù)雜細節(jié)有哪里去了?為何在你眼前的只有如此簡單清晰的API以及大量豐富多樣的插件?沒錯,復(fù)雜的東西都被Elastic隱藏掉了!
一家只做小工具的公司上市短短幾年市值就達50億美金,Elastic是“奇跡”,但絕非偶然。據(jù)Elastic中國區(qū)總經(jīng)理王剛對Elastic成功關(guān)鍵總結(jié):
1.Elastic的開源化。
作為一個開源公司,大量開源社區(qū)的粉絲和用戶能推動Elastic產(chǎn)品不斷的發(fā)展。想要研發(fā)出一個超一流的世界級產(chǎn)品,僅靠Elastic的1000多員工是不可能的,而采用共享開發(fā)的模式,憑借開源社區(qū)中的小伙伴和開發(fā)者,就能推動Elastic的飛速發(fā)展。
2.Elastic的實時化。
Elasticsearch可以完美解決現(xiàn)在大數(shù)據(jù)時代讓人棘手的“搜索”問題,其中包括業(yè)務(wù)應(yīng)用場景很大的剛性需下查詢。這個時代很多時候需要了解一個人是否存在不良行為,就如坐飛機火車時要刷身份證一樣。不過實時應(yīng)用場景中對查詢要求的不僅是速度,還要在最短的時間里對查詢結(jié)果進行分析,市面上絕大多數(shù)大數(shù)據(jù)產(chǎn)品都不能滿足需求。
Elasticsearch抓住大數(shù)據(jù)時代剛需——實時反饋查詢和分析結(jié)果,從而解決了令眾多用戶頭痛的實時查詢問題。同時Elastic還為用戶搭載了整套的組件,包括搜索引擎,數(shù)據(jù)分析,數(shù)據(jù)導(dǎo)入工具,由此可見Elastic火起來的原因是“讓用戶基于Elasticsearch搜索引擎簡單快速打造出一個實時的大數(shù)據(jù)分析展現(xiàn)解決方案”。
3.Elastic的商業(yè)模式。
開源項目最讓人尷尬的問題是好多人用卻沒人付錢,跟上映影片叫好不叫座是一個道理。因此Elastic做了第一個吃螃蟹的人,他們努力搭建第二代開源模式。傳統(tǒng)第一代開源模式是開源項目一般分為免費的社區(qū)版和可提供技術(shù)支持的收費企業(yè)版。Elastic只有一個版本,核心部分免費,開源部分周邊插件需要付費,類似于游戲的內(nèi)購系統(tǒng)。以王者榮耀游戲為例,玩游戲可以免費,購裝備要掏錢。第二代開源模式的優(yōu)勢顯而易見:版本更新和維護簡單,讓用戶從免費到付費的過程自然。
4.Elastic的管理模式。
Elastic公司不大,卻有很多經(jīng)驗豐富的職業(yè)經(jīng)理人,管理體系的成熟度比大公司好很多。這些職業(yè)經(jīng)理人也將硅谷最成功的企業(yè)的管理模式和思路帶到了Elastic公司。
如果說Elastic差異性的商業(yè)模式,成熟的管理模式以及優(yōu)秀的產(chǎn)品,終締造了Elastic開源項目商業(yè)化的傳奇。那么Elastic的“超越搜索”則是傳奇中的傳奇。Elastic的定位是解決大數(shù)據(jù)實時處理業(yè)務(wù)場景解決方案的提供商,Shay開發(fā)Elasticsearch就是要使世界上每個開發(fā)人員能夠把搜索作為基礎(chǔ)設(shè)施來解決他們最復(fù)雜的需求。所以Elastic并不僅僅是搜索引擎領(lǐng)域。從其產(chǎn)品的架構(gòu)也能看出,它是要解決大數(shù)據(jù)處理的三個維度問題。
1.相關(guān)性。
大數(shù)據(jù)時代,數(shù)據(jù)量呈爆炸式的增長,僅數(shù)據(jù)庫的數(shù)據(jù),就有存儲的數(shù)據(jù),有防火墻的數(shù)據(jù),CDN的數(shù)據(jù),有中間件的數(shù)據(jù),有業(yè)務(wù)數(shù)據(jù),交易數(shù)據(jù)等很多數(shù)據(jù),隨著未來的發(fā)展還會有云端的數(shù)據(jù),傳感器的數(shù)據(jù),機器的數(shù)據(jù)等等。又有單獨處理文本、音頻、時序性數(shù)據(jù)的系統(tǒng),但就是沒有一個單一平臺能將所有數(shù)據(jù)夠統(tǒng)一分析和管理的。比如說滴滴打車就是要處理數(shù)據(jù)的相關(guān)性。Elasticsearch則允許執(zhí)行和合并多種類型的搜索(結(jié)構(gòu)化、非結(jié)構(gòu)化、地理位置、度量指標),它的聚合還能夠從大處著眼,探索數(shù)據(jù)的趨勢和模式,從而Elasticsearch可以幫助用戶一舉解決在同一平臺分析和處理數(shù)據(jù)的需求。
2.時效性。
當今這個快節(jié)奏的時代,很多交易、行為、業(yè)務(wù)環(huán)節(jié)都需要秒級處理,比如去淘寶上買東西,搜索產(chǎn)品,如果無法在幾秒內(nèi)出現(xiàn)結(jié)果,用戶將是無法忍受的。以滴滴打車為例,用戶叫車,明明有車就在用戶家門口,但因系統(tǒng)速度慢,門口的車并不知道用戶需求,用戶還是打不到車,嚴重影響到用戶體驗。Elasticsearch通過有限狀態(tài)機實現(xiàn)用于全文檢索的倒排索引,實現(xiàn)用于存儲數(shù)值數(shù)據(jù)和位置數(shù)據(jù)的 BKD 樹以及用于分析的列式存儲。每個數(shù)據(jù)都編入索引,讓人用快到驚訝的速度搜索到所有數(shù)據(jù)。
3.規(guī)?;?。
數(shù)據(jù)量越大,處理難度愈大,由于許多系統(tǒng)在設(shè)計之初,并未充分考慮系統(tǒng)的擴展性,這與城市交通系統(tǒng)規(guī)劃不考慮車輛增長速度是一樣的道理。若設(shè)計大數(shù)據(jù)分析和處理系統(tǒng)之初就考慮到系統(tǒng)平滑支持升級、擴容、擴展就不會出現(xiàn)這樣的煩惱。Elasticsearch 運行在一個分布式的環(huán)境中,從設(shè)計之初就能夠水平擴展,每秒鐘可處理海量事件,同時能夠自動管理索引和查詢在集群中的分布方式,以實現(xiàn)極其流暢的操作。
Elastic的幾項核心開源組件是讓Elastic解決大數(shù)據(jù)處理的相關(guān)性、速度、規(guī)?;娜髥栴}的關(guān)鍵,這些核心開源的四個組件,就是大家熟知的ELK或者ELKB:
1.Elastic Stack的系統(tǒng)堆棧。
2.包括倒排索引、列式存儲的核心Elasticsearch搜索引擎
3.包括Beats和Logstash、Beats 輕量型采集器的平臺以及從邊緣機器向 Logstash 、Elasticsearch 發(fā)送數(shù)據(jù)的數(shù)據(jù)導(dǎo)入工具、擁有可擴展的插件生態(tài)系統(tǒng),能夠與Elasticsearch產(chǎn)生強大的協(xié)同作用的Logstash 動態(tài)數(shù)據(jù)收集管道
4.全方位配置和管理的Elastic Stack及可擴展圖表呈現(xiàn)的數(shù)據(jù)展現(xiàn)工具Kibana。
Elastic這些開源組件極大方便了廣大企業(yè)客戶大數(shù)據(jù)平臺的搭建。將Elastic stack(簡稱ES)用于日志分析,業(yè)務(wù)數(shù)據(jù)分析,安全分析,企業(yè)內(nèi)網(wǎng)搜索,網(wǎng)站和APP搜索等業(yè)務(wù)場景的企業(yè)和機構(gòu)越來越多。銀行業(yè)的反洗錢應(yīng)用,信用卡防欺詐,金融客戶智能產(chǎn)品推薦等,汽車行業(yè)的車聯(lián)網(wǎng)和IoT等,也將ES用于行業(yè)的深度應(yīng)用等。
Elastic還推出了如安全權(quán)限管理,提醒功能,報警功能,報表功能,圖關(guān)聯(lián)查詢功能,機器學(xué)習(xí)等更多功能的付費高級商業(yè)插件和原廠5*8或者24*7的服務(wù)。商業(yè)插件和原廠服務(wù)構(gòu)成Elastic的商業(yè)產(chǎn)品即商業(yè)訂閱。讓客戶更安全,更智能,更高效的去部署實施Elastic stack的集群。對于已經(jīng)大量使用Elastic的客戶,那些讓人頭疼的集中管控,自動分配資源,系統(tǒng)升級維護等問題,還可以考慮ECE(Elastic Cloud Enterprise)企業(yè)云。應(yīng)該說,Elastic提供的本地化的技術(shù)培訓(xùn)和咨詢服務(wù),都能幫助國內(nèi)客戶提升大數(shù)據(jù)能力和項目質(zhì)量,真正能從Elastic Stack中獲取到價值。
Elastic美國總部對中國充滿了好奇,也充滿了期望,更看重中國市場,對于Elastic中國團隊非常信任,所以今年3月Elastic在中國設(shè)立分公司。雖然Elastic的商業(yè)模式非常清晰,但是從營銷上來講,在區(qū)域文化與美國差別極大國度里,如何迎合客戶并讓他們付費,都需要時間去摸索。王剛坦言:開拓中國的市場,可能還需要很長的路。
Elastic在企業(yè)內(nèi)搜索技術(shù)領(lǐng)域無疑是獨步天下的王者,其區(qū)別于就在傳統(tǒng)的通用搜索引擎,憑借出色的產(chǎn)品、創(chuàng)新的商業(yè)模式以及開放的生態(tài),使世界上每個開發(fā)人員能夠把搜索作為基礎(chǔ)設(shè)施來解決他們最復(fù)雜的需求,隨著諸如Elastic Cloud、Elastic Cloud Enterprise等云端產(chǎn)品的推出,Elastic的傳奇之旅仍在繼續(xù)。