清華大學(xué)軟件學(xué)院院長、大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室執(zhí)行主任王建民教授
傳統(tǒng)時序數(shù)據(jù)庫面臨的痛點與挑戰(zhàn)
隨著物聯(lián)網(wǎng)的飛速發(fā)展，工業(yè)領(lǐng)域中的設(shè)備、機(jī)器、傳感器產(chǎn)生海量數(shù)據(jù)，例如物聯(lián)網(wǎng)設(shè)備的溫度、濕度、速度、壓力、電壓、電流以及證券買入賣出價等，且這些數(shù)值還將隨著時間演進(jìn)而不斷變化，傳統(tǒng)數(shù)據(jù)庫在對這些帶時間標(biāo)簽（按照時間的順序變化，即時間序列化）的數(shù)據(jù)進(jìn)行存儲、查詢、分析等處理操作時捉襟見肘，通用數(shù)據(jù)庫無法滿足所有需求、海量時序數(shù)據(jù)存儲查詢慢、工業(yè)級時序數(shù)據(jù)庫產(chǎn)品需要高可用、存儲成本居高不下、使用難等問題。
IoTDB一套引擎打通云邊端
IoTDB是由清華大學(xué)軟件學(xué)院發(fā)起主導(dǎo)、華為深度參與的輕量級、高性能時間序列數(shù)據(jù)庫，該項目于2018年11月正式開源，支持物聯(lián)網(wǎng)數(shù)據(jù)收集、存儲、查詢與分析一體化的數(shù)據(jù)管理，支持“云-邊-端”一體化部署與集成，適用于高端裝備管理、工廠設(shè)備管理、高速網(wǎng)聯(lián)設(shè)備管理等多種工業(yè)應(yīng)用場景。
IoTDB時序數(shù)據(jù)庫聚焦海量雜時序數(shù)據(jù)的處理，具有“專、快、穩(wěn)、省、易”五大特點，解決通用數(shù)據(jù)庫和列式數(shù)據(jù)庫在超大規(guī)模復(fù)雜時序場景的功能短板和性能瓶頸，輕松應(yīng)對海量負(fù)責(zé)時間序列數(shù)據(jù)的處理，并能實現(xiàn)一套引擎打通云邊端的時序數(shù)據(jù)分析。
專，IoTDB總結(jié)了過去十年來在工業(yè)應(yīng)用中遇到的典型需求，如千萬級超大規(guī)模測點處理、亂序處理、多序列對齊、序列分割、子序列匹配、旋轉(zhuǎn)門壓縮、降采樣存儲等專業(yè)場景，有針對性地設(shè)計了TsFile專業(yè)時序存儲格式和tLSM時序處理算法，解決了通用數(shù)據(jù)庫在超大規(guī)模復(fù)雜時序場景的功能短板和性能瓶頸；
快，時序數(shù)據(jù)庫面臨的場景要求數(shù)據(jù)采集頻率高、每秒上萬次采集，數(shù)據(jù)存儲周期長，時間跨度大，IoTDB可實現(xiàn)單臺服務(wù)器千萬級數(shù)據(jù)秒級寫入，十億量級數(shù)據(jù)毫秒級聚合檢索；
穩(wěn)，工業(yè)級的時序數(shù)據(jù)庫產(chǎn)品需要具備高可用的基本保障，才能達(dá)到商用的要求，IoTDB創(chuàng)新性研究了國際內(nèi)外的算法，通過對等分布式架構(gòu)、雙層多Raft協(xié)議、邊云節(jié)點同步雙活等機(jī)制實現(xiàn)高可用，滿足7*24小時的零故障運(yùn)行；
省，成熟的工業(yè)時序數(shù)據(jù)庫產(chǎn)品，存儲成本在時間序列里占很大的比例，IoTDB解決工業(yè)客戶對IT成本的敏感性，針對性的做了高壓縮比算法，包括有損壓縮和無損壓縮，針對不同場景做自動識別，實現(xiàn)全量數(shù)據(jù)的低成本持久存儲；
易，產(chǎn)品的易用性是成熟商用產(chǎn)品的基礎(chǔ)指標(biāo)，IoTDB采用類SQL語句，降低客戶使用成本，同時為客戶提供查詢、存儲、分析全生命周期的一體化解決方案，降低客戶使用門檻。
IoTDB開源探索軟件創(chuàng)新之路：產(chǎn)學(xué)研用
目前，IoTDB已在眾多應(yīng)用場景中進(jìn)行了落地實踐。例如，全國多個城市采用IoTDB管理地鐵監(jiān)控數(shù)據(jù)，在傳統(tǒng)時序處理方案中，端、邊、云采用不同的技術(shù)棧，異構(gòu)的技術(shù)棧帶來數(shù)據(jù)處理的復(fù)雜性，原本需要13臺服務(wù)器完成的業(yè)務(wù)場景，目前僅需一臺IoTDB服務(wù)器就可解決，測點的采樣時延也從原來的500ms降至200ms，日增4140億數(shù)據(jù)點管理，有效提升資源利用率。
IoTDB時序數(shù)據(jù)庫不僅解決了海量復(fù)雜時間序列數(shù)據(jù)的處理，同時也為軟件創(chuàng)新探索出新的模式。王建民教授在演講中提到：“未來，清華大學(xué)將依托大數(shù)據(jù)國家工程實驗室，持續(xù)與華為為代表的大批優(yōu)秀企業(yè)，探索產(chǎn)學(xué)研用的中國軟件創(chuàng)新之路，實現(xiàn)企業(yè)與組織、代碼與代碼的絲絲相扣，讓我們共同期待即將發(fā)布的MRS IoTDB時序數(shù)據(jù)庫?！?/p>
華為云FusionInsight MRS一架構(gòu)三湖釋放海量數(shù)據(jù)價值
MRS IoTDB是華為云FusionInsight MRS云原生數(shù)據(jù)湖中的時序數(shù)據(jù)庫組件，近期將在FusionInsight8.1.0版本重磅推出高性能企業(yè)級時序數(shù)據(jù)庫。華為云FusionInsight MRS可讓客戶在一個架構(gòu)實現(xiàn)離線數(shù)據(jù)湖、實時數(shù)據(jù)湖、邏輯數(shù)據(jù)湖三種數(shù)據(jù)湖和集市能力，實現(xiàn)海量數(shù)據(jù)接入、治理、存儲、分析和多模計算等場景，助力政企客戶實現(xiàn)一企一湖、一城一湖，業(yè)務(wù)洞見更準(zhǔn)，價值兌現(xiàn)更快。
目前，華為云FusionInsight MRS云原生數(shù)據(jù)湖攜手800+生態(tài)伙伴，已服務(wù)于3000+政企客戶，廣泛應(yīng)用于政務(wù)、金融、運(yùn)營商、能源、醫(yī)療、制造、交通等行業(yè)。
