眾所周知,隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新一代信息技術(shù)的創(chuàng)新聚變,數(shù)字化產(chǎn)業(yè)正在成為全球經(jīng)濟新的驅(qū)動引擎,以數(shù)據(jù)為核心生產(chǎn)要素的增長變革,成為面向網(wǎng)絡(luò)化、智能化方向提質(zhì)增效及重塑核心競爭力的基礎(chǔ)。隨著數(shù)字化轉(zhuǎn)型深入推進和數(shù)據(jù)量的爆炸式增長,產(chǎn)業(yè)對數(shù)據(jù)庫的需求發(fā)生了革命性變化。

技術(shù)發(fā)展讓數(shù)據(jù)創(chuàng)造無處不在,從企業(yè)應(yīng)用到個人應(yīng)用和萬物互聯(lián),來自新時代的數(shù)據(jù)庫挑戰(zhàn)持續(xù)增長:數(shù)據(jù)存儲從TB級別、PB級別增至EB級別;海量并發(fā)從企業(yè)內(nèi)部數(shù)百至數(shù)千并發(fā)到互聯(lián)網(wǎng)模式下百萬級至億萬級并發(fā);新的應(yīng)用場景要求數(shù)據(jù)庫具備彈性伸縮能力;各行業(yè)在加速信息化基礎(chǔ)設(shè)施的分布式建設(shè);此外端邊云協(xié)同、AI融合、軟硬結(jié)合、數(shù)據(jù)安全、隱私保護等都是重要挑戰(zhàn)。當前數(shù)據(jù)庫技術(shù)得到創(chuàng)新發(fā)展并發(fā)生著顛覆性變革,從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù),從關(guān)系型到非關(guān)系型,從集中式到分布式,從閉源到開源,“One size fits all”的時代已經(jīng)過去。

全球知名咨詢公司Gartner 2021年企業(yè)軟件全球市場報告顯示,數(shù)據(jù)技術(shù)已成為企業(yè)軟件中最大且增速最快的賽道,未來5年復合增長率將達到17.5%;2022年5月發(fā)布的市場報告顯示,2021年全球DBMS(Database Management System,數(shù)據(jù)庫管理系統(tǒng))市場規(guī)模達到800億美元,同比增長22.3%。在快速發(fā)展中,數(shù)據(jù)庫領(lǐng)域的技術(shù)和市場也發(fā)生著巨大變革。

中國的數(shù)據(jù)庫市場是全球市場的重要組成部分,從技術(shù)到商業(yè),中國數(shù)據(jù)庫產(chǎn)業(yè)正在發(fā)生快速而深遠的變化,為了記錄時代變革、洞察技術(shù)趨勢、傳遞產(chǎn)品價值,我們組織編寫了本報告,希望能夠為數(shù)據(jù)庫產(chǎn)業(yè)的產(chǎn)學研用提供參考,為行業(yè)發(fā)展作出貢獻。

附:中國數(shù)據(jù)庫行業(yè)年度分析報告2022-實時數(shù)據(jù)庫

和通用數(shù)據(jù)庫及傳統(tǒng)實時數(shù)據(jù)庫的不同之處在于,新一代實時數(shù)據(jù)庫技術(shù)不止是數(shù)據(jù)庫,而是工業(yè)技術(shù)、實時技術(shù)、數(shù)據(jù)庫技術(shù)以及先進的IT技術(shù)深度融合的產(chǎn)物,是一套包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算和數(shù)據(jù)可視化的工業(yè)數(shù)據(jù)管理系統(tǒng),管理工業(yè)數(shù)據(jù)從生產(chǎn)到應(yīng)用的全生命周期,是工業(yè)信息系統(tǒng)的工業(yè)數(shù)據(jù)管理底座,是工業(yè)數(shù)字化、信息化和智能化的基礎(chǔ)核心基礎(chǔ)軟件。

11.1實時數(shù)據(jù)庫是工業(yè)數(shù)字化建設(shè)的核心

實時數(shù)據(jù)是工業(yè)名詞,統(tǒng)一表示強實時屬性工業(yè)系統(tǒng)、過程或行為隨時間變化的數(shù)據(jù)。作為數(shù)據(jù)庫系統(tǒng)發(fā)展的分支之一,實時數(shù)據(jù)庫主要但不限于不斷更新的快速變化的實時數(shù)據(jù)及具有時間限制的工業(yè)事務(wù)處理。因此,和其他通用數(shù)據(jù)庫不同之處在于,實時數(shù)據(jù)庫技術(shù)不止是數(shù)據(jù)庫,而是

工業(yè)技術(shù)、實時技術(shù)、數(shù)據(jù)庫技術(shù)以及先進的IT技術(shù)深度融合的產(chǎn)物,是一套包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)計算和數(shù)據(jù)可視化的工業(yè)數(shù)據(jù)管理系統(tǒng),管理工業(yè)數(shù)據(jù)從產(chǎn)生到應(yīng)用的全生命周期,是工業(yè)企業(yè)信息系統(tǒng)的工業(yè)數(shù)據(jù)管理底座,是工業(yè)數(shù)字化、信息化和智能化的基礎(chǔ)核心軟件。

實時數(shù)據(jù)庫專門解決工業(yè)實時數(shù)據(jù)采集、存儲和應(yīng)用問題,融合各種先進技術(shù)和優(yōu)化架構(gòu)設(shè)計,通過提高效率來處理大規(guī)模實時數(shù)據(jù)的同時帶來系統(tǒng)性能的提升,包括更精準的數(shù)據(jù)采集、更高的容納率、更快的大規(guī)模查詢、更好的數(shù)據(jù)壓縮以及更有效率的數(shù)據(jù)應(yīng)用支撐。

新一代實時數(shù)據(jù)庫管理系統(tǒng)創(chuàng)新融合了工業(yè)數(shù)據(jù)采集技術(shù)、中斷觸發(fā)技術(shù)、自動化控制技術(shù)、內(nèi)存庫技術(shù)、關(guān)系庫技術(shù)、行列存儲技術(shù)、多核并行技術(shù)、安全通信技術(shù)、高效實時檢索技術(shù)等等,在國外壟斷的核心技術(shù)領(lǐng)域突破了卡脖子重圍,實現(xiàn)了完全的自主創(chuàng)新,通過用戶共創(chuàng),完成了大量實踐和長期檢驗,在提高工業(yè)數(shù)據(jù)管理能力的同時,為企業(yè)數(shù)字化、信息化和智能化做出了重大貢獻。

11.2實時數(shù)據(jù)庫發(fā)展歷程

實時數(shù)據(jù)庫最早期的研究始于上世紀80年代的英國,四十余年發(fā)展過程中,經(jīng)歷了早期實時數(shù)據(jù)庫、標準實時數(shù)據(jù)庫、新一代實時數(shù)據(jù)庫三大階段。

早期實時數(shù)據(jù)庫階段(1980-2000)的實時數(shù)據(jù)庫代表產(chǎn)品為西門子、ABB等工業(yè)自動化廠商,該類產(chǎn)品當時較好地解決了生產(chǎn)線實時數(shù)據(jù)采集、就地存儲的問題,但在廠級異構(gòu)數(shù)據(jù)采集、數(shù)據(jù)匯總集中和海量數(shù)據(jù)容納、大規(guī)模復雜查詢及靈活數(shù)據(jù)應(yīng)用支撐方面存在明顯不足。

標準實時數(shù)據(jù)庫階段(2000-2020)以O(shè)SI、Instep、庚頓數(shù)據(jù)、麥杰等為代表,該階段技術(shù)脈絡(luò)逐步清晰、解決方案架構(gòu)趨于穩(wěn)定、應(yīng)用領(lǐng)域極大豐富,進一步拓寬了數(shù)據(jù)采集范圍,同時極大提升了數(shù)據(jù)容納能力和支持復雜業(yè)務(wù)的查詢計算能力,成為以流程工業(yè)為代表的生產(chǎn)監(jiān)控領(lǐng)域標準配置。

中國實時數(shù)據(jù)庫起步較晚,但21世紀初由于國家層面將實時數(shù)據(jù)庫作為與操作系統(tǒng)同一級別的軟件鼓勵支持,同時趕上了20余年來中國流程工業(yè)聲勢浩大的信息化浪潮的推動,中國實時數(shù)據(jù)庫產(chǎn)業(yè)得以快速高質(zhì)量發(fā)展,以庚頓數(shù)據(jù)為代表的實時數(shù)據(jù)庫廠商開啟了新一代實時數(shù)據(jù)庫階段(2020至今),該階段由于數(shù)據(jù)規(guī)模爆炸增長、數(shù)據(jù)采集難度提高,工業(yè)企業(yè)深水區(qū)的數(shù)據(jù)應(yīng)用進入全面數(shù)字化和智能化階段,大型工業(yè)集團化應(yīng)用日益增多,工業(yè)企業(yè)生產(chǎn)連續(xù)性、工業(yè)安全以及智能化應(yīng)用需求不斷提升,實時數(shù)據(jù)庫技術(shù)路線呈現(xiàn)多樣化和融合化發(fā)展。

隨著全球市場格局劇烈變革,工業(yè)數(shù)字化轉(zhuǎn)型不斷進入核心業(yè)務(wù)深水區(qū),我國工業(yè)企業(yè)進入通過新型工業(yè)技術(shù)和數(shù)字化技術(shù)實現(xiàn)高質(zhì)量和低碳化發(fā)展目標的發(fā)展新階段,5G、云計算等新興技術(shù)快速發(fā)展,傳統(tǒng)實時數(shù)據(jù)庫的應(yīng)用系統(tǒng)紛紛優(yōu)化升級,我國實時數(shù)據(jù)庫產(chǎn)業(yè)正在迎來重大發(fā)展機遇。

11.3實時數(shù)據(jù)庫關(guān)鍵技術(shù)研究現(xiàn)狀及問題

實時數(shù)據(jù)庫管理系統(tǒng)作為涵蓋工業(yè)數(shù)據(jù)采集、數(shù)據(jù)管理及數(shù)據(jù)應(yīng)用的軟件系統(tǒng),其整體架構(gòu)與技術(shù)路線不斷深化發(fā)展,在端云采集同在、集控式與分布式并存、邊緣計算與云平臺共處等應(yīng)用趨勢驅(qū)動下,國內(nèi)外在海量數(shù)據(jù)存儲機制、實時事務(wù)管理策略、分布式并行處理技術(shù)等關(guān)鍵技術(shù)領(lǐng)域的研究一直火熱,其理論更為成熟,實踐場景更為豐富,以流程工業(yè)為代表的核心應(yīng)用領(lǐng)域成果尤為突出。

(1)海量數(shù)據(jù)的存儲機制

實時數(shù)據(jù)庫包括內(nèi)存數(shù)據(jù)庫和歷史數(shù)據(jù)庫,內(nèi)存索引機制和外存索引機制必須深度融合才能真正提升讀寫性能,滿足不斷升級的應(yīng)用需求。ARTs_EDB系統(tǒng)提出兼有AVL樹和B+樹優(yōu)點的SB樹作為其內(nèi)存索引機制,并利用基于時間點的方法實現(xiàn)了一種新的時態(tài)索引技術(shù)。GDREAL實時歷史數(shù)據(jù)庫針對性能瓶頸,提出新的儲存機制——Z樹,有效提升了磁盤存儲性能。由于高效的查詢算法對于內(nèi)存實時數(shù)據(jù)庫的性能至關(guān)重要,??诿嫦蚬I(yè)控制領(lǐng)域數(shù)據(jù)和業(yè)務(wù)的哈希索引算法及接口設(shè)計具有更強的適應(yīng)性和更高的效率。此外,考慮到實時數(shù)據(jù)庫基于測點的存儲結(jié)構(gòu)特征,綜合B+樹與哈希索引與一致性哈希索引的方法能夠有效提升數(shù)據(jù)查詢效率。

實時數(shù)據(jù)庫在組織存儲文件格式時,極其重視數(shù)據(jù)壓縮算法的研究,以應(yīng)對實時數(shù)據(jù)庫在生產(chǎn)環(huán)境面臨海量數(shù)據(jù)存儲的挑戰(zhàn)。在實時數(shù)據(jù)庫領(lǐng)域中,數(shù)據(jù)壓縮技術(shù)主要有兩類,無損壓縮和有損壓縮。無損壓縮以通用壓縮理論為基礎(chǔ),采取哈佛曼算法等經(jīng)典的壓縮算法,如InStep公司的eDNA實時數(shù)據(jù)庫;而有損壓縮則更多地考慮了工業(yè)實時數(shù)據(jù)的特征,采取特殊舍點的算法,著名的有損壓縮算法是OSI公司的PI實時數(shù)據(jù)庫使用的旋轉(zhuǎn)門壓縮算法;麥杰數(shù)據(jù)庫在時間維度上

有更全面考慮,綜合定制采樣頻率、例外報告、和矢量線性壓縮三種措施;庚頓數(shù)據(jù)將數(shù)據(jù)壓縮劃分為存儲前的定制采樣頻率、例外報告,和存儲后死區(qū)壓縮算法、可行域有損壓縮算法(自研)、兩階段無損壓縮算法,綜合壓縮比超1000:1。

此外,低成本的存儲是實時數(shù)據(jù)庫需要解決的一個主要問題,對數(shù)據(jù)進行分級存儲,從使用不同存儲介質(zhì),以及減少數(shù)據(jù)的副本數(shù)等方面,解決如何在保證數(shù)據(jù)查詢性能的前提下,降低數(shù)據(jù)的存儲成本。對于實時數(shù)據(jù)庫來說,多級存儲表示:CPU寄存器->內(nèi)存->SSD固態(tài)硬盤->HDD機械硬盤->磁帶/光盤存儲,實時數(shù)據(jù)庫把各種不同存儲容量、存取速度和價格的存儲器按照層次結(jié)構(gòu)組成多層存儲器,并通過管理有機的組合成為一個整體,使所存放的數(shù)據(jù)按照時間層次分布在各種存儲器中,同時隨著數(shù)據(jù)不斷增長將數(shù)據(jù)從高速存儲向低速存儲持續(xù)遷移,在每一級存儲可以掛載多存儲路徑,實現(xiàn)存儲空間的在線擴容。近年來非易失性內(nèi)存等信息存儲硬件開始普及,基于這類新型硬件的實時數(shù)據(jù)庫的內(nèi)部處理邏輯、算法等需要重新設(shè)計,實時數(shù)據(jù)庫技術(shù)可借此進一步發(fā)展和完善。

(2)實時事務(wù)的管理策略

事務(wù)是指必須原子地執(zhí)行的一個或多個數(shù)據(jù)庫操作的集合,集合中的所有操作或者都執(zhí)行,或者都不執(zhí)行。實時數(shù)據(jù)庫的事務(wù)則兼具傳統(tǒng)數(shù)據(jù)庫事務(wù)與實時任務(wù)兩者的特征,必須同時實現(xiàn)數(shù)據(jù)一致性和定時限制。因此,實時事務(wù)的管理策略與傳統(tǒng)事務(wù)存在顯著差異,通常包括事務(wù)調(diào)度和并發(fā)控制兩項內(nèi)容。

事務(wù)調(diào)度的目標是滿足定時限制事務(wù)的比率最大化,即讓盡可能多的事務(wù)處理在截止期之前完成。目前國內(nèi)外的實時數(shù)據(jù)庫中最為常用的是基于優(yōu)先級的事務(wù)調(diào)度策略,包括基于事務(wù)截止期來指派優(yōu)先級的截止期最早最優(yōu)先策略、基于空余時間(事務(wù)可推遲執(zhí)行的時間估算)來指派優(yōu)先級的空余時間最短最優(yōu)先策略、通過價值函數(shù)來指派優(yōu)先級的價值最高最優(yōu)先策略、通過價值密度函數(shù)(事務(wù)期望化值與所需執(zhí)行時間的比值)來指派優(yōu)先級的價值密度最大最優(yōu)先策略、基于事務(wù)執(zhí)行歷史日志的調(diào)度策略和廣義截止時間最優(yōu)策略等。上述事務(wù)實時調(diào)度策略有著各自的化勢應(yīng)用場景,但是能夠結(jié)合國防軍事領(lǐng)域特點的事務(wù)調(diào)度策略研究則相對不足。

并發(fā)控制的目標是通過規(guī)范多個并發(fā)事務(wù)的執(zhí)行順序來避免它們之間的相互干擾,防止數(shù)據(jù)庫狀態(tài)一致性的破壞。實現(xiàn)并發(fā)控制的傳統(tǒng)技術(shù)包括鎖協(xié)議、時間戳和有效性確認其中兩階段鎖是最經(jīng)典的鎖協(xié)議之一,但是在基于優(yōu)先級的事務(wù)調(diào)度過程中會產(chǎn)生“優(yōu)先級倒置”等問題。為解決上述問題,高優(yōu)先級兩階段鎖對傳統(tǒng)的兩階段鎖協(xié)議進行了改進,在發(fā)生“優(yōu)先級倒置”時能夠中止低優(yōu)先級事務(wù)而確保高優(yōu)先級事務(wù)及時獲得相應(yīng)資源。分布式環(huán)境下的并發(fā)控制(分布式鎖)目前尚沒有特別高效的方案,國外分布式系統(tǒng)已經(jīng)廣泛應(yīng)用的算法和實現(xiàn)包括Paxios、Raft、Zookeeper等。

(3)分布式并行處理技術(shù)

在當前最流行的分布式框架Hadoop中,不同的調(diào)度算法對于其性能有極大的影響。目前常用的作業(yè)調(diào)度算法主要包括先進先出調(diào)度算法、公平份額調(diào)度算法和計算能力調(diào)度算法,其中應(yīng)用得最廣泛的是先進先出調(diào)度算法。支撐Hadoop框架的兩個核心技術(shù)是源自Google File System的HDFS和MapReduce。MapReduce模型適用于批量處理任務(wù),但計算實時性不高。對于實時計算任務(wù),流式計算框架擁有更為針對性的設(shè)計,典型地包括Twitter公司開源的Storm框架、Linkedi公司開發(fā)的Samza框架和UC BERKELEY大學研究的Spark流式框架。用于分布式環(huán)境下實時性要求嚴格而計算精確度要求稍低的應(yīng)用場景。

然而,工業(yè)領(lǐng)域有著豐富的數(shù)據(jù)查詢與處理場景,例如流程圖監(jiān)控頁面的實時數(shù)據(jù)展示,面向報警管理與優(yōu)化的數(shù)據(jù)挖掘分析等,需要系統(tǒng)能夠同時提供分布式查詢、實時訂閱、實時與非實時并行計算等多種能力。如果簡單地將上述并行處理技術(shù)進行集成和拼裝,而缺乏對流程工業(yè)數(shù)據(jù)處理場景的深入分析,將導致系統(tǒng)復雜而低效,無法滿足應(yīng)用的實時性和可靠性要求。因此,該方向尚存在大量研究工作有待開展。

分布式實時數(shù)據(jù)庫的服務(wù)橫型包含分布式存儲服務(wù)、分布式計算服務(wù)和網(wǎng)絡(luò)通信服務(wù)三大分布式服務(wù)群。同時,基于工業(yè)互聯(lián)網(wǎng)的跨地域數(shù)據(jù)傳輸與服務(wù)接口訪問使得分布式實時數(shù)據(jù)庫的開放性日益提升,信息安全問題也逐漸成為分布式實時數(shù)據(jù)庫系統(tǒng)設(shè)計過程中必須重點考慮和投入的方向,對應(yīng)的網(wǎng)絡(luò)信息安全和用戶訪問認證技術(shù)成為隔離系統(tǒng)外部和內(nèi)部的重要安全屏障。除此之外,組態(tài)管理服務(wù)用于對系統(tǒng)組態(tài)配置信息和工廠模型信息迸行統(tǒng)一管理和發(fā)布。事務(wù)管理服務(wù)參與全生命周期流程,將全局任務(wù)與分布式服務(wù)節(jié)點進行緊密連接,確保任何涉及多服務(wù)節(jié)點的任務(wù)能夠完整、有序、正確地執(zhí)行,并在調(diào)度過程中盡可能滿足其實時特性。

進入二十一世紀,隨著國家鼓勵發(fā)展實時數(shù)據(jù)庫等基礎(chǔ)軟件的鼓勵以及數(shù)字化轉(zhuǎn)型、雙碳目標等國策的出臺,國內(nèi)實時數(shù)據(jù)庫系統(tǒng)研究和應(yīng)用不斷深入,國產(chǎn)實時數(shù)據(jù)庫軟件取得長足進展,其功能和性能在電力、化工、冶金、煙草、軍工、新能源等眾多行業(yè)的重大項目中不斷得到驗證,逐步實現(xiàn)了對國外軟件的趕超。

雖然實時數(shù)據(jù)庫管理系統(tǒng)屬于核心基礎(chǔ)軟件,但目前大部分國產(chǎn)實時數(shù)據(jù)庫軟件針對自主可控CPU和操作系統(tǒng)進行優(yōu)化不足,軟件在一些功能的技術(shù)實現(xiàn)上使用通用但更依賴CPU計算能力的方法,CPU、IO設(shè)備等硬件能力不足。因此,如果想要真正滿足大工業(yè)市場海量傳感器數(shù)據(jù)實時存儲和處理的需求,尤其核電應(yīng)用等態(tài)勢感知、裝備運行狀態(tài)監(jiān)控等高級數(shù)據(jù)應(yīng)用領(lǐng)域的特殊需求,目前大部分國產(chǎn)數(shù)據(jù)庫管理系統(tǒng)還需要更進一步。針對以上問題,以庚頓數(shù)據(jù)為代表的實時數(shù)據(jù)庫廠商例近年來不斷突破創(chuàng)新,海量順序和亂序數(shù)據(jù)的高性能寫入、海量實時和歷史數(shù)據(jù)的原始及聚合查詢、廣泛適配國產(chǎn)硬件設(shè)備和操作系統(tǒng)以及如何實現(xiàn)實時數(shù)據(jù)庫更高可靠性和安全性等領(lǐng)域均進行了大量深入的研究與創(chuàng)新應(yīng)用,取得了豐碩的成果和市場回報。

11.4中國實時數(shù)據(jù)庫市場發(fā)展趨勢

對大型工業(yè)企業(yè)而言,精準、快速掌握數(shù)字化轉(zhuǎn)型進程中產(chǎn)生的各種數(shù)據(jù)和信息,可以進一步保障生產(chǎn)穩(wěn)定、業(yè)務(wù)優(yōu)化、設(shè)備健康和能耗降低,而這些正是企業(yè)獲得高質(zhì)量發(fā)展的關(guān)鍵驅(qū)動力。充分發(fā)掘工業(yè)數(shù)據(jù)價值的企業(yè),才能最大限度釋放工業(yè)數(shù)據(jù)生產(chǎn)力,幫助工業(yè)用戶在激烈的市場競爭中搶占主動、獲得先機。

隨著5G技術(shù)、高性能電池技術(shù)的發(fā)展和低成本傳感器的普及,工業(yè)數(shù)據(jù)呈現(xiàn)爆炸式增長,流程工業(yè)的工業(yè)數(shù)據(jù)資源日益豐富,但企業(yè)對數(shù)據(jù)的掌握和應(yīng)用沒有跟上數(shù)據(jù)增長的速度,大部分工業(yè)數(shù)據(jù)并沒有得到有效的共享和利用,數(shù)據(jù)收集和整理的時間占比過大,真正被發(fā)掘并運用到企業(yè)的日常運營中的數(shù)據(jù)不到三分之一。因此,流程工業(yè)迫切需要海量工業(yè)數(shù)據(jù)的整體解決方案,更加高效地、精準地、實時地采集需要的工業(yè)數(shù)據(jù),同時對這些數(shù)據(jù)進行整合分析并及時共享給各業(yè)務(wù)部分的數(shù)據(jù)使用方,以期創(chuàng)造更新的增長極。數(shù)據(jù)已然成為現(xiàn)代流程工業(yè)數(shù)字化轉(zhuǎn)型的核心,真正實現(xiàn)工業(yè)數(shù)據(jù)的采集、存儲并幫助建立工業(yè)數(shù)據(jù)分析和應(yīng)用平臺挖掘工業(yè)數(shù)據(jù)價值,成為驅(qū)動實時數(shù)據(jù)庫行業(yè)面臨的挑戰(zhàn)和機遇。

實時數(shù)據(jù)庫開發(fā)的理念是為了實現(xiàn)工業(yè)監(jiān)控及工業(yè)數(shù)據(jù)分析應(yīng)用,其數(shù)據(jù)讀取以及存儲壓縮能力作為核心功能一直在升級迭代。為滿足工業(yè)企業(yè)更高標準要求,突破原有應(yīng)用場景限制,開辟新的增量市場,實時數(shù)據(jù)庫廠商需要在技術(shù)層面上需要實現(xiàn)更多種信息技術(shù)的深度融合,尤其要和邊緣計算結(jié)合互補;為了降低企業(yè)應(yīng)用難度,提升使用感受,需要高度統(tǒng)一協(xié)議接口,進一步提高系統(tǒng)一體化水平。

(1)融合與統(tǒng)一,實時數(shù)據(jù)庫技術(shù)創(chuàng)新不能停

與各類信息技術(shù)的高度耦合,邊緣計算將算力下沉。實時數(shù)據(jù)庫當前采集頻率已經(jīng)突破毫秒級,超越了多數(shù)設(shè)備數(shù)據(jù)采集需求的上限。雖然性能已經(jīng)達到單體設(shè)備采集標準,但是設(shè)備數(shù)量未來幾年將快速增長,與物聯(lián)網(wǎng)、云計算、邊緣計算等不同技術(shù)橫向融合是提升自身價值的重要途經(jīng),其中以邊緣計算與實時數(shù)據(jù)庫的相關(guān)性最強。當數(shù)據(jù)過于龐大,集中化的處理方式很難響應(yīng)實時的數(shù)據(jù)分析需求時,需要通過邊緣設(shè)備實時響應(yīng)的處理并反饋,采取這種分級處理的方式能夠有效提升時效性數(shù)據(jù)的價值,同時減輕存儲系統(tǒng)的負擔。尤其在離散制造業(yè)當中,行業(yè)碎片化程度高且呈橫向分布,應(yīng)用邊緣計算技術(shù)可以更契合離散制造系統(tǒng)實時工業(yè)軟件開發(fā)。

新一代實時數(shù)據(jù)庫正在全力支撐和加速流程工業(yè)數(shù)字化轉(zhuǎn)型升級

系統(tǒng)一體化程度提升,軟件協(xié)議接口統(tǒng)一化。硬件上,設(shè)備由企業(yè)采購,但是不同品牌的智能制造設(shè)備數(shù)據(jù)測點反饋的數(shù)據(jù)真實性、時效性會略有不同;軟件上,目前不同實時數(shù)據(jù)庫產(chǎn)品適用的開發(fā)平臺或多或少存在限制,接口標準眾多難以高度統(tǒng)一,激化設(shè)備和軟件數(shù)據(jù)對接問題。對實時系統(tǒng)的一體化成為企業(yè)、設(shè)備提供商、實時數(shù)據(jù)庫提供商的統(tǒng)一需求。

(2)更強大,更成熟,實時數(shù)據(jù)庫產(chǎn)品升級迫在眉睫

功能升級,應(yīng)用場景增加。實時數(shù)據(jù)庫目前主要還是應(yīng)用于傳統(tǒng)大型工業(yè)例如火電廠、核電廠、煉鋼廠等,這些行業(yè)實時數(shù)據(jù)的并發(fā)量和處理量已經(jīng)處于金字塔頂端,印證了實時數(shù)據(jù)庫核心功能已經(jīng)具備“向下”兼容的能力,例如汽車、家具、食品等行業(yè)??山Y(jié)合云平臺技術(shù),突破現(xiàn)場控制監(jiān)控的瓶頸,賦能于更多的場景當中。最大程度實現(xiàn)工廠自動化生產(chǎn),實現(xiàn)無人化“黑燈工廠”減少企業(yè)人力成本,提高生產(chǎn)效率。

更完整成熟的實時數(shù)據(jù)庫產(chǎn)品。相較于通用的時序數(shù)據(jù)庫,完整的實時數(shù)據(jù)庫產(chǎn)品更適用于工業(yè)制造領(lǐng)域。制造業(yè)企業(yè)與互聯(lián)網(wǎng)公司相比,缺少專業(yè)研發(fā)優(yōu)化人員,更多是使用者的身份,對產(chǎn)品的首要需求是高穩(wěn)定、可維護。工業(yè)智能生產(chǎn)采用的架構(gòu)比較類似,擁有相對成熟的體系,標準化、成熟度高的實時數(shù)據(jù)庫產(chǎn)品更契合工業(yè)需求。成熟的實時數(shù)據(jù)庫產(chǎn)品需要提供標準的數(shù)據(jù)挖掘模式,對于基本的過程參數(shù)、不同工序之間一些標準的產(chǎn)品無需企業(yè)進行進一步開發(fā)應(yīng)用。

(3)市場規(guī)模急速膨脹,資本進入最佳時機

中國工業(yè)實時數(shù)據(jù)庫市場經(jīng)歷了二十多年的發(fā)展,至今一直處于穩(wěn)步增長狀態(tài),但是增速較為緩慢,應(yīng)用動機基本出于行業(yè)領(lǐng)頭企業(yè)“嘗鮮”使用、制造標桿工廠的想法,未能得到深度開發(fā)應(yīng)用,但是在工業(yè)數(shù)字化從口號進階至國家重要發(fā)展方向后,給市場注入一陣強心劑。工業(yè)場景中,80%以上的監(jiān)測數(shù)據(jù)都是實時數(shù)據(jù),過去企業(yè)沒有重視保存歷史數(shù)據(jù),如今對數(shù)據(jù)價值挖掘及應(yīng)用的需求和實際使用的情況之間存在巨大缺口,市場有很大上升空間,預計至2025年達到269億元的規(guī)模。以數(shù)據(jù)為核心競爭力的意識將在制造業(yè)中蔓延滲透至大大小小各個細分行業(yè),未來大量應(yīng)用實時數(shù)據(jù)庫成為必然趨勢。

(4)產(chǎn)品國產(chǎn)化替代大勢所趨

隨著大數(shù)據(jù)時代的來臨,數(shù)據(jù)成為企業(yè)的重要戰(zhàn)略資源,數(shù)據(jù)的隱私性和安全性是企業(yè)在選擇實時數(shù)據(jù)庫時的重要考量因素。特別是工業(yè)數(shù)據(jù),具有其他行業(yè)不具備的特征。與互聯(lián)網(wǎng)大數(shù)據(jù)不同,工業(yè)數(shù)據(jù)雖然規(guī)模龐大,但是大多為有效數(shù)據(jù),數(shù)據(jù)價值密度高,對企業(yè)而言具有絕對的商業(yè)價值。工業(yè)數(shù)據(jù)主要來源于各類傳感器設(shè)備對環(huán)境和生產(chǎn)流程的監(jiān)測,多種類數(shù)據(jù)并發(fā)量巨大,數(shù)據(jù)類型異常龐雜。工業(yè)制造是國家發(fā)展的重要依靠,特別是在高精尖領(lǐng)域,對數(shù)據(jù)泄露采取零容忍態(tài)度,數(shù)據(jù)機密性強。

中國實時數(shù)據(jù)庫研發(fā)起步較晚,初期階段更多借鑒國外的優(yōu)秀技術(shù)和經(jīng)驗,導致海外品牌在中國市場中占據(jù)了先機。近幾年在產(chǎn)品性能方面,本土產(chǎn)品奮起直追,甚至實現(xiàn)彎道超車,卻在營銷層面存在薄弱環(huán)節(jié),暫未打破壟斷局面,但海外產(chǎn)品靈活性不足及數(shù)據(jù)隱私兩個主要驅(qū)動因素暗示著國產(chǎn)化替代浪潮的到來。在保證數(shù)據(jù)安全的前提下使用性能優(yōu)秀、維護便捷、成本更低、接口協(xié)議更開放的產(chǎn)品是每一個理性的中國企業(yè)都會做的選擇,本土化產(chǎn)品的迅速崛起讓中國企業(yè)看到了新方向。

(5)頭部效應(yīng)驅(qū)動實時數(shù)據(jù)庫再上層樓

工業(yè)實時數(shù)據(jù)庫不同于時序數(shù)據(jù)庫等通用數(shù)據(jù)庫,在生產(chǎn)線的運行時間可長達數(shù)十年,且價格高昂,是企業(yè)實時系統(tǒng)的核心構(gòu)成。在初期選擇階段企業(yè)會進行再三考量,安裝使用后不會輕易更換。替換周期長、成本高或造成未來市場產(chǎn)生頭部效應(yīng)。對實時數(shù)據(jù)庫有迫切需求的更多是中大型工業(yè)企業(yè),產(chǎn)品應(yīng)用一步到位和可持續(xù)運行是首要考量因素。實時數(shù)據(jù)庫未來的市場將屬于擁有絕對產(chǎn)品競爭力的優(yōu)秀企業(yè)。

但目前市面產(chǎn)品質(zhì)量層次不齊,市場中得到認可的產(chǎn)品來自十幾家不同的實時數(shù)據(jù)庫企業(yè),由于缺乏統(tǒng)一的對比標準和長時間的調(diào)教優(yōu)化,部分國產(chǎn)產(chǎn)品在基本功能上仍存在缺陷。例如在數(shù)據(jù)點采集存儲方面,不少廠商在數(shù)據(jù)采集過程中存在數(shù)據(jù)不穩(wěn)定、數(shù)據(jù)斷包的現(xiàn)象;服務(wù)器兼容性、可靠性和穩(wěn)定性不足,導致經(jīng)常性停運維修;數(shù)據(jù)檢索能力弱,進行歷史數(shù)據(jù)定位提取時發(fā)生目標屬性類型不匹配的情況。

實時數(shù)據(jù)庫是典型的長期主義市場,爬坡周期長,產(chǎn)品成熟慢,用戶共創(chuàng)程度高,成熟穩(wěn)定性要求高,需要不斷優(yōu)化調(diào)節(jié)和歲月的沉淀。研發(fā)具有自主知識產(chǎn)權(quán)的實時數(shù)據(jù)庫系統(tǒng)具有重要的意義,實時數(shù)據(jù)庫系統(tǒng)的設(shè)計與結(jié)構(gòu)的開發(fā)尤為重要,開發(fā)流程繁瑣,需要時間的沉淀來對產(chǎn)品進行反復的優(yōu)化調(diào)試。前期設(shè)計開發(fā)包含概念結(jié)構(gòu)設(shè)計、邏輯結(jié)構(gòu)設(shè)計、物理設(shè)計,對接入層、存儲層、計算層、平臺層以及應(yīng)用層多層面的開發(fā)。后期運維調(diào)試階段,則需要根據(jù)行業(yè)特定需求進行實時數(shù)據(jù)庫優(yōu)化調(diào)整,產(chǎn)品的成熟度與工程支持人員的專業(yè)度及工業(yè)知識沉淀程度決定維護調(diào)試周期的長短。

【來源: 微信公眾號“庚頓數(shù)據(jù)” 】

分享到

xiesc

相關(guān)推薦