巨杉基于數據湖的實時能力已經達到全球領先,技術實力得到了金融頭部客戶的認可。2012年巨杉數據庫正式成立,并于2014年正式商用,產品已在超過100家金融銀行客戶規(guī)?;a上線,其中不乏中國人保、民生銀行、南方電網、中國太平保險等世界500強企業(yè)及廣發(fā)銀行、廣東省農信、四川省農信、吉林省農信、恒豐銀行、渤海銀行、上海銀行、上海農商銀行、中國證券登記結算有限公司、海通證券等典型客戶。在單一客戶中SequoiaDB所支持的最大數據量,已經達到1.4萬億行、服務器規(guī)模超過400臺、數據容量達數PB;SequoiaDB更服務于多個政府平臺,如支持“粵省事”平臺的醫(yī)保、社保數據查詢,這些數據也助力新冠核酸檢測,幫助政府匹配核酸檢測情況。

雙核心:交易核心+數據核心,讓全量數據實時可得

過去的10年,是信息化向數字化轉型的10年,伴隨數字化的深化發(fā)展,企業(yè)不但需要面向業(yè)務交易的信息化傳統(tǒng)「交易核心」,同時更需要面向數據價值的「數據核心」。移動互聯(lián)網、AI、IOT、大數據等的興起與發(fā)展,數字化成為企業(yè)的全新課題,數據庫是企業(yè)數字化轉型的基石。

信息化時代,「交易核心」解決的是交易系統(tǒng)的問題,面向渠道、產品、客戶、核算及清算等業(yè)務流程,確保業(yè)務閉環(huán)。其交易過程產生的海量流水數據,將成為「數據核心」的生產要素。

數字化時代,「數據核心」解決的是數據的采集、整理、聚合、運用等問題。數字化新核心將為信息化「交易核心」提供實時、跨業(yè)務的全量數據,以及基于數據的決策依據,實現(xiàn)數據價值的持續(xù)釋放。

圖片2

「實時」是「釋放全量數據價值」的關鍵。10年前,巨杉數據庫自萌芽之初就意識到,數據會成為社會發(fā)展關鍵的要素資源,需要提供面向全量數據的實時對客及高并發(fā)處理能力。業(yè)界遇到的普遍痛點是,面向「交易核心」的數據庫因架構及技術限制僅能服務于指定的業(yè)務系統(tǒng),且無法處理全量數據;以Hadoop為代表的大數據產品雖然可以存放全量數據,但無法提供實時處理能力,兩者皆無法滿足全量數據實時對客服務的發(fā)展需求。因此巨杉毅然開始了自研原生分布式數據庫內核的道路,從「多模數據湖」、「實時數據湖」發(fā)展到「湖倉一體」,為客戶提供「數據核心」所需的全量數據存儲,實時對客服務,及基于統(tǒng)一數據源的分析能力,充分激活客戶的離線數據。 

四大實時能力提升,SequoiaDB v5.2釋放全量數據價值

巨杉數據庫基于湖倉一體架構的SequoiaDB v5.2版本進行了多項更新,此次發(fā)布會主要介紹了四大實時特性的能力提升。即將發(fā)布的SequoiaDB v5.2版本讓全量數據的價值從「內部離線」向「實時對客」進一步釋放。

圖片3

查詢更實時,所有數據可毫秒級訪問。面向結構化數據,SequoiaDB v5.2版本提供深度的Join優(yōu)化及列存微分區(qū)技術,在多個查詢場景下,性能達到了毫秒級實時返回;分析場景中,性能更獲得了10倍以上提升,讓數據湖的查詢分析更實時。

存取更實時,吞吐量提升30%以上。面向非結構化數據,巨杉通過「分片并發(fā)」及「可變分區(qū)大小」的技術,相比原有版本,SequoiaDB v5.2版本吞吐量提升30%以上,讓數據湖的非結構化數據存取更實時。

診斷更實時,業(yè)務問題分鐘級定位。發(fā)布會上,巨杉數據庫發(fā)布SAC運維管理工具的重要特性更新,運行監(jiān)控方面提供了全GUI的性能及故障分析能力,SAC基于分布式架構的實時診斷,可實現(xiàn)業(yè)務問題分鐘級定位。

全量數據生命周期管理,提升人效及能效。部署架構方面,支持多配置硬件的混合部署,針對高并發(fā)數據與低并發(fā)數據,做到按需調度;面向橫跨結構化、非結構化數據,提供一體化的開發(fā)及管理能力,提升人效及能效,在成本可控的前提下,實現(xiàn)全量數據實時可用。

技術迭代互補,而非替代

巨杉數據庫深耕第三代分布式數據庫技術,我們認為分布式數據庫的星辰大海,絕不僅限于對交易核心數據庫的替代。SequoiaDB的「湖倉一體」是從「多模數據湖」、「實時數據湖」結合「實時數倉」發(fā)展而來,為客戶提供「數據核心」所需的全量數據存儲,實時對客服務,及基于統(tǒng)一數據源的分析能力,充分激活客戶的離線數據。SequoiaDB正通過湖倉一體架構提供面向多模、實時、分析的需求,與各類集中式及分布式交易核心數據庫成為上下游合作伙伴,驅動數字化業(yè)務創(chuàng)新,釋放全量數據價值。

圖片4

60年前誕生的第一代數據湖,以網格型、層次型數據庫為代表,至今還有不少企業(yè)依然在使用;第二代數據庫,以處理交易核心業(yè)務的關系型數據庫為代表,是當前業(yè)界的主流。第一、第二代數據庫大都基于集中式架構,因架構、數據結構的限制,導致大量的數據產生后,無法對業(yè)務流水、用戶過程數據等全量數據做保存沉淀。往往需要將全量數據異步導出到大數據等后端平臺,無法提供給終端用戶實時查詢分析,成為了僅對內部使用的離線數據,難以滿足終端用戶實時查詢需求。

圖片5

巨杉數據庫SequoiaDB通過基于「湖倉一體」架構,支撐企業(yè)的「數據核心」。從企業(yè)多個「交易核心」數據庫所產生的業(yè)務流水數據,可以以流式入湖的方式,秒級匯聚到SequoiaDB形成全量數據底座。

實時數據湖:為不同業(yè)務的跨系統(tǒng)查詢,或多年流水數據獲取,提供高并發(fā)的實時查詢能力,所有數據實時可得。相比原來跨多系統(tǒng)進行數據異構訪問的方式,SequoiaDB協(xié)助客戶將業(yè)務響應時間從分鐘、小時級延遲,到秒級延遲的改變,讓用戶滿意度獲得大幅提升。

多模數據湖:為影像系統(tǒng)、遠程銀行等需要大量管理非結構化數據的系統(tǒng),提供多模數據湖技術重點優(yōu)化非結構化對象數據的高并發(fā)實時存取能力,實現(xiàn)跨多數據類型的一體化管理,提升研發(fā)及運維的“人效”。

實時數倉:在數據湖內提供高性能分析引擎,可以協(xié)助企業(yè)基于準確而且統(tǒng)一的數據源,進行數據的實時探索及分析、統(tǒng)計、加工,降低數據再次流動的開銷,提升數據處理“能效”,構建綠色低碳的數據基礎設施。 

培育數據沃土,打造產學研生態(tài)鏈

數據庫的發(fā)展不但需要技術的創(chuàng)新迭代,同時也需要建立良好的技術生態(tài)。

憑借南沙“立足灣區(qū)、協(xié)同港澳、面向世界”的發(fā)展定位,在過去的一年間,巨杉數據庫積極打造產學研生態(tài)鏈。通過分布式人才培養(yǎng)、高校協(xié)同、上下游企業(yè)賦能等,攜手客戶、合作伙伴、高校共同推進分布式技術的發(fā)展。目前,通過巨杉數據庫培訓認證的技術工程師已經超過一萬人。

圖片6

在高校協(xié)同方面,巨杉數據庫先后在華南理工大學、深圳大學設立長期的「巨杉數據庫獎學金」,推動中國分布式數據庫人才培育。在產業(yè)生態(tài)方面,巨杉積極推動行業(yè)標準、團標及生態(tài)聯(lián)盟的建設,致力于建設一個開放的基礎軟硬件企業(yè)級生態(tài),特別是已經與鯤鵬、飛騰、海光、麒麟、統(tǒng)信等廠商的150多款信創(chuàng)上下游產品完成互認證。

圖片7

發(fā)布會上,賽迪咨詢也對全國首篇《湖倉一體技術研究報告》進行深度解讀,將湖倉一體技術定義為未來發(fā)展趨勢。

未來,巨杉數據庫SequoiaDB也將持續(xù)聚焦于分布式特性,通過「湖倉一體」架構為客戶打造「數據核心數據庫」,成為數字化時代下堅實的數據基礎設施。在“信創(chuàng)”產業(yè)中,堅持踐行信息技術應用創(chuàng)新的理念,服務于企業(yè)全量數據實時業(yè)務場景,與各類集中式及分布式交易核心數據庫成為上下游合作伙伴,驅動數字化的業(yè)務的創(chuàng)新發(fā)展,釋放全量數據價值。

分享到

songjy

相關推薦