數(shù)據(jù)庫、操作系統(tǒng)、中間件并稱為核心基礎軟件,在 IT 軟件堆棧中起到中流砥柱的作用。今天運行的絕大多數(shù)企業(yè)應用軟件都離不開數(shù)據(jù)庫的支持。
隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等新技術(shù)爆發(fā)式發(fā)展,圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)開始有了爆炸性增長,傳統(tǒng)數(shù)據(jù)庫已經(jīng)不堪重負,企業(yè)客戶急切需要新的 NoSQL 數(shù)據(jù)庫技術(shù)與數(shù)據(jù)庫產(chǎn)品。
在云計算技術(shù)不斷成熟的背景之下,云數(shù)據(jù)庫開始崛起。云數(shù)據(jù)庫無需購買和安裝任何軟硬件,只需支付服務費用,因而減少了 DBA 的投入和成本;并因為其按需擴展、按需付費等特性,云數(shù)據(jù)庫也獲得了大量中小企業(yè)及互聯(lián)網(wǎng)企業(yè)客戶的擁護。
近日來,InfoQ 聯(lián)合華為云邀請了來自各大互聯(lián)網(wǎng)公司的 10+ 位 DBA,聚焦視頻、游戲、車聯(lián)網(wǎng) / 物聯(lián)網(wǎng)、金融、電信等場景,對華為云數(shù)據(jù)庫 DDS 服務增強版(以下簡稱“華為云 DDS 增強版”)進行了詳細測評。
華為云 DDS 增強版屬于華為云多模 NoSQL 服務 GeminiDB 序列,是 GeminiDB 的核心產(chǎn)品之一。華為云多模 NoSQL 服務 GeminiDB 是基于 NoSQL 的市場機會以及客戶的具體需求設計而成,在公有云環(huán)境里設置計算與存儲分離的架構(gòu),力圖從根本上解決存儲和計算設備的生命周期不匹配問題、數(shù)據(jù)遷移的成本問題和可用性問題,站在全局角度,對軟硬件進行設計和整合,最終實現(xiàn)極致性價比。
在歷時一個月的測評時間里,InfoQ 對這 10+位 DBA 的測評結(jié)果進行了整理。
整理結(jié)果如下:
其中,云和恩墨首席架構(gòu)師蓋國強(業(yè)界人稱“蓋神”)在測評華為云 DDS增強版后的反饋如下:
1.產(chǎn)品功能滿意度
整個測評過程非常流暢,未出現(xiàn)和遇到任何錯誤,功能設計得當,提示信息明確,核心功能(例如實例創(chuàng)建、資源變更、備份恢復、運行監(jiān)控)健全,尤其是備份功能,該功能設計的初始備份和自動備份讓人印象深刻,畢竟數(shù)據(jù)備份是數(shù)據(jù)管理的第一要義。
2.用戶體驗滿意度
產(chǎn)品的交互設計清晰,提示信息明確,易于上手體驗使用。
測評截圖
3.備份恢復
能夠順利完成備份和恢復任務,功能清晰,執(zhí)行簡單,調(diào)度任務修改流暢,能夠充分保障用戶的數(shù)據(jù)安全。但是如能對備份存儲的可用性、安全性進行直觀地表示和說明,會更增加用戶的安全感;如果備份是異地、跨安全域的,也能為用戶提供更好的心理安全感受。
4.參數(shù)組使用方式
對參數(shù)的區(qū)間和含義做了配置和說明,如果能夠提供多個參考參數(shù)組,以適應不同場景則更佳,或者針對主要參數(shù),提供知識庫鏈接,針對不同參數(shù)的配置給予更多的講解闡釋會更好。
5.可維護性
備份任務的定義、監(jiān)控告警的定制,都可以方便地定制和使用。系統(tǒng)的存儲和配置擴容流暢平滑,易用性高。
小編總結(jié):
總的來說,“蓋神”對華為云 DDS 增強版給予了很高的評價。不止“蓋神”,其余各大互聯(lián)網(wǎng)公司的 DBA 也在測評后表達了對華為云 DDS 增強版的認可:
金融/電信行業(yè)高級DBA “金融街男神”(匿名) 在測評華為云DDS增強版后這樣說:“存儲空間可擴容,實例規(guī)格可變,數(shù)據(jù)庫端口修改方便,公網(wǎng)、內(nèi)網(wǎng)均可以連接。用戶交互做得很好,功能指引很清晰,實例運行架構(gòu)圖做得簡潔明了。備份恢復功能為誤刪提供了保障,還可以設置備份周期,很方便周到。”
車聯(lián)網(wǎng)領域DBA “飛馳的小馬達” (匿名)在測評華為云DDS增強版后這樣說:”在我們行業(yè)里,貨物運輸情況記錄會使用NoSQL數(shù)據(jù)庫,我們對可靠性要求較高。華為云DDS增強版可以按需彈性伸縮,自動備份數(shù)據(jù),絕無數(shù)據(jù)丟失的擔憂。通過多節(jié)點并行的快照備份,備份恢復性能提升,分鐘級完成集群的擴縮容,非常方便?!?/p>
國內(nèi)知名視頻平臺DBA專家“ 看劇狂人”(匿名) 在測評華為云DDS增強版后這樣說:“華為云文檔數(shù)據(jù)庫DDS讀性能優(yōu)于寫性能(吞吐量和穩(wěn)定性方面);華為云文檔數(shù)據(jù)庫DDS在雙節(jié)點上的針對中小數(shù)據(jù)量的讀寫與大數(shù)據(jù)量的讀寫相比,以大于8線程為最優(yōu)?!?/p>
究竟這款文檔型數(shù)據(jù)庫有哪些“獨特之處”,讓各位 DBA 紛紛點贊?
我們一起來了解一下華為云文檔型數(shù)據(jù)庫 DDS。
什么是 DDS?
文檔數(shù)據(jù)庫服務(Document Database Service,簡稱 DDS)完全兼容MongoDB 協(xié)議,提供安全、高可用、高可靠、彈性伸縮和易用的數(shù)據(jù)庫服務,同時提供一鍵部署、彈性擴容、容災、備份、恢復、監(jiān)控和告警等功能。
DDS具有以下基本特點:
1.自動搭建兼容 MongoDB 協(xié)議的文檔數(shù)據(jù)庫實例供用戶使用,提供一鍵式部署、數(shù)據(jù)高可靠存儲、容災以及故障切換等功能。
2.提供基于 shard、mongos、config 組成的分片集群實例,輕松擴展讀寫性能,用戶可以方便快捷地構(gòu)建 DDS 分布式數(shù)據(jù)庫系統(tǒng)。
3.提供一鍵式的數(shù)據(jù)庫備份、恢復功能。用戶可以通過管理控制臺進行數(shù)據(jù)庫常規(guī)備份及恢復。
4.提供多項性能監(jiān)控指標及告警功能,數(shù)據(jù)庫性能可視化管理。
2018 年 7 月,華為云發(fā)布自研文檔型數(shù)據(jù)庫 DDS 增強版。今年 2 月,華為云DDS 增強版正式商用。作為華為云在數(shù)據(jù)庫產(chǎn)品矩陣上的重要布局,DDS 增強版不但兼容最流行的 NoSQL 數(shù)據(jù)庫 MongoDB,而且基于華為自研核心技術(shù)——存儲計算分離架構(gòu),在讀寫性能、擴容能力、備份恢復性能、故障容忍能力等方面全面提升。
相較于 DDS 社區(qū)版,華為云 DDS 增強版架構(gòu)演進變化如下圖所示。
DDS 社區(qū)版集群架構(gòu)
華為云 DDS 增強版集群架構(gòu)
華為云 DDS 增強版有哪些特點?
作為國內(nèi)首家基于計算存儲分離架構(gòu)的CloudNative的NoSQL數(shù)據(jù)庫,華為云DDS增強版有哪些特點?
1、內(nèi)核優(yōu)化 + 自研,高性價比,極致性能
華為云 DDS 增強版采用內(nèi)核優(yōu)化 + 自研,是國內(nèi)首家通過優(yōu)化內(nèi)核、全自研架構(gòu),為用戶帶來超高的性能與最優(yōu)的用戶體驗的云端數(shù)據(jù)庫服務,其在各方面的表現(xiàn)十分亮眼:
1.在 Gartner2018 年數(shù)據(jù)庫系列報告中,在自動數(shù)據(jù)分配、高速數(shù)據(jù)獲取和事務處理方面獲得最高分;
2.兼容業(yè)界主流開源接口;
3.性價比最優(yōu)的文檔數(shù)據(jù)庫服務,支持非結(jié)構(gòu)化數(shù)據(jù)存儲場景。
具體來說,華為云 DDS 增強版將 MongoDB 的多副本復制功能卸載到分布式存儲,使得 Secondary 節(jié)點也可以為讀寫服務,相同成本下獲得 3 倍的計算能力,進而獲得 3 倍的讀寫性能提升:
1.將 MongoDB 數(shù)據(jù)庫節(jié)點無狀態(tài)化,將數(shù)據(jù)和計算節(jié)點分離,去掉數(shù)據(jù)強歸宿某個計算節(jié)點的限制,使得橫向彈性伸縮性能提升 100 倍以上;
2.打破 MongoDB 只在單個 Shard 副本集內(nèi)支持 HA 高可用的限制,集群內(nèi)所有 Shard 的所有節(jié)點都互為 HA 備份關(guān)系,使得可以支持任意 N-1 個節(jié)點故障;
3.打破 MongoDB 只在單個 Shard 副本集內(nèi)節(jié)點間復制 3 副本的限制,分布式存儲采用分片復制能力,磁盤故障后可以由更多磁盤參與數(shù)據(jù)重構(gòu),10倍縮短數(shù)據(jù)時間;
4.使用分布式存儲的快照備份技術(shù),替代 MongoDB 的邏輯備份,10 倍提升備份恢復性能。
眾所周知,游戲行業(yè)的數(shù)據(jù)庫應用面臨諸多痛點:
1.資源的彈性伸縮,需要停服手工操作,不但需要停服,而且風險極高;
2.沒有數(shù)據(jù)庫的故障自動切換機制或能力不足,主實例故障,修改應用配置,停服時間長;
3.很少設置專職 DBA 崗位,遇見數(shù)據(jù)庫回檔場景,很難滿足運營的訴求。
具體來說,游戲行業(yè)需要存儲大量用戶信息、裝備、積分等海量數(shù)據(jù),并直接以內(nèi)嵌文檔形式存儲,從而方便數(shù)據(jù)查詢和更新。對于游戲數(shù)據(jù)庫而言,既需要存儲龐大的數(shù)據(jù)量,又要保證高效的讀寫速度。同時在開發(fā)過程中,面對復雜的游戲數(shù)據(jù)結(jié)構(gòu),要能夠快速搭建數(shù)據(jù)結(jié)構(gòu),NoSQL 數(shù)據(jù)庫非常適用于游戲項目的開發(fā)。
華為云 DDS 增強版的上述特性,很好地契合了游戲行業(yè)場景的需求。在這次評測體驗中,游戲行業(yè) DBA 測評華為云 DDS 增強版后反饋是:
華為云文檔數(shù)據(jù)庫提供的技術(shù)已經(jīng)足夠滿足大部分項目的需求,可以快捷高效地創(chuàng)建、備份、恢復以及刪除;并且還提供了方便的可視化界面,釋放 DBA 的雙手。對于即時交互性要求非常高的游戲,如王者榮耀等,游戲卡頓、延遲永遠是致命的問題。跨可用區(qū)部署,可以有效地降低游戲延遲,提高游戲流暢度,優(yōu)化用戶體驗。同時還能實現(xiàn)一定的容災功能,華為云 DDS 增強版是精品游戲不可或缺的功能。
DDS 性能測試結(jié)果(By 游戲行業(yè) DBA 測評截圖)
2、高可靠性
以視頻行業(yè)為例,視頻分類等應用都有視頻不同維度搜索(比如相關(guān)、最新和最熱)的業(yè)務需求。相比于社區(qū)版,華為云 DDS 增強版不僅能完全兼容MongoDB 協(xié)議,使用戶在視頻、電影、綜藝等節(jié)目的 EPG 信息、演職員信息、多碼率視頻信息、節(jié)點信息、轉(zhuǎn)碼文件索引、轉(zhuǎn)碼視頻播放 HLS 流地址、二維空間索引等方面,無需針對社區(qū)版語法做任何修改即可直接使用華為云 DDS 增強版。而且在成本方面,不需要每個分片都做 Primary、Secondary 和Hidden 的三副本數(shù)據(jù)冗余,省去 2 倍的存儲投入,即可達到超高可靠性。
1.高可用架構(gòu)
華為云 DDS 增強版,基于業(yè)界領先的計算存儲分離架構(gòu),多個分片節(jié)點共享一個 DFVPool 的數(shù)據(jù)域,實現(xiàn)分片間數(shù)據(jù)零時延,在分片故障的情況下,由其他分片無縫接管請求的讀寫。
視頻行業(yè) DBA 測評截圖
副本集模式下,主節(jié)點和備節(jié)點提供服務。當主節(jié)點出現(xiàn)故障時,系統(tǒng)自動選取新的主節(jié)點,當備節(jié)點不可用時,隱藏節(jié)點接管服務,保證高可用。
2.多副本冗余
通過自研 DFVPool 存儲池,實現(xiàn)數(shù)據(jù)多副本冗余,將 block 隨機寫入多臺不同的存儲主機上,保證(N/2-1)臺存儲故障時不丟失數(shù)據(jù),而且對業(yè)務無感知,通過自診斷的方式快速補充冗余數(shù)據(jù)。
視頻行業(yè) DBA 測評節(jié)點信息截圖
數(shù)據(jù)備份包括自動和手動兩種方式。自動備份為系統(tǒng)自動創(chuàng)建的數(shù)據(jù)庫實例的全量備份,手動備份是由啟動的數(shù)據(jù)庫實例的全量備份,且備份成功后均支持一鍵式恢復。
備份數(shù)據(jù)存儲至對象存儲服務在提高數(shù)據(jù)容災能力的同時有效降低磁盤空間占用。創(chuàng)建實默認開啟自動備份策略,實例創(chuàng)建成功后,將自動執(zhí)行一次全量備份,該備份文件默認保留 7 天,創(chuàng)建成功后可以設置自動備份的周期,修改備份策略??梢愿鶕?jù)自身業(yè)務特點隨時發(fā)起備份,手動備份會一直保存,直到我們自己手動刪除。
可以將已有的備份數(shù)據(jù)恢復到新實例,恢復后的數(shù)據(jù)與該備份生成時的實例數(shù)據(jù)一致。
視頻行業(yè) DBA 在測評華為云 DDS 增強版后給出反饋:在高可靠性方面,華為云 DDS 增強版提供的技術(shù)服務非常完善和齊全,包括集群的搭建、部署和一些可視化的界面都比較方便地搭建一個高可用、分布式的 DB 集群同時進行管理。在跨可用區(qū)部署上,華為云提供的支持還是比較完善的。實時的監(jiān)控可以預防 DB 事故的發(fā)生;事故發(fā)生時可以通過可視化的界面及時解決;事故發(fā)生后可以依賴完善的容災備份系統(tǒng)進行恢復。
視頻行業(yè) DBA 備份和恢復操作截圖
3、性價比最優(yōu),支持非結(jié)構(gòu)化數(shù)據(jù)存儲場景
物聯(lián)網(wǎng)智能終端往往需要進行多樣化的數(shù)據(jù)采集,且需要存儲設備日志信息,并對這些信息進行多維度分析;且物聯(lián)網(wǎng)業(yè)務增長快,數(shù)據(jù)量大,訪問量增長迅速。車聯(lián)網(wǎng)符合并發(fā)量大,數(shù)據(jù)上傳頻率高,寫多讀少的高吞吐型業(yè)務場景,對查詢要求也接近準實時;原有的關(guān)系數(shù)據(jù)庫已經(jīng)不能滿足業(yè)務需要,尤其數(shù)億量級下的分頁查詢和車輛歷史軌跡查詢的場景下,關(guān)系數(shù)據(jù)庫的讀取相應延遲已經(jīng)達到了數(shù)分鐘級,完全不能滿足客戶的需要。
華為云 DDS 增強版兼容 MongoDB 接口,用于存儲所有接入的智能設備信息,以及設備匯報的日志信息;DDS 可實現(xiàn)近 100TB 數(shù)據(jù)存儲,滿足國家要求存儲 1~2 年的車輛數(shù)據(jù),且根據(jù)用戶需求,在 2019 年將實現(xiàn)更大規(guī)模數(shù)據(jù)存儲;DDS 在災備 / 遷移上,在 Q1 月份支持全量遷移;在 Q2 月份支持跨 AZ;在Q3 月份支持跨 region。綜合來看,華為云 DDS 增強版是性價比最優(yōu)的文檔數(shù)據(jù)庫服務,且支持非結(jié)構(gòu)化數(shù)據(jù)存儲場景,給 DBA 帶來了極大的便利。
寫在最后
與測評的 DBA 溝通時,很多人用了“辛酸”二字,DBA 主要工作在后臺,很少聽到客戶的夸獎,但當出現(xiàn)問題時,經(jīng)常被指責。DBA 的工作時間非常不規(guī)律,許多 DBA 管理的更改需要中斷,但是大多數(shù)數(shù)據(jù)庫在營業(yè)時間內(nèi)都處于活動狀態(tài),這意味著更改的時間只能安排在夜晚和周末期間。即使每天都使用數(shù)據(jù)庫,中斷通常也不會發(fā)生在高峰期,通常在周末的幾個小時內(nèi)。雖然 DBA 不屬于開發(fā)、支持、基礎架構(gòu)、網(wǎng)絡等 IT 團隊中的任何一個,但對其他技術(shù)都要了解。
云時代,數(shù)據(jù)庫上云已成 DBA 共識,便捷性、高性價比、極致性能都是 DBA 選擇云數(shù)據(jù)庫服務的關(guān)鍵指標。一直以來,華為堅持以客戶為中心,無論產(chǎn)品設計與服務提供,都致力于為客戶提供最優(yōu)性價比的服務與體驗,華為云 DDS 增強版就是一款真正懂 DBA 的文檔數(shù)據(jù)庫服務,為 DBA 掃除數(shù)據(jù)庫上云障礙,助力其開創(chuàng)云時代職業(yè)生涯發(fā)展的新篇章。
基于華為公司 30 年的技術(shù)積累,厚積薄發(fā)的華為云數(shù)據(jù)庫服務在發(fā)展的道路上始終堅持技術(shù)創(chuàng)新,此次通過對華為云數(shù)據(jù)庫 DDS 增強版的體驗評測,極致性能與超高的用戶體驗驚艷了參與體驗的 DBA,也讓開發(fā)者們對華為云數(shù)據(jù)庫的未來產(chǎn)品與服務充滿期待。
華為云TaurusDB性能挑戰(zhàn)賽已于6月1日起正式開賽,華為云為TOP10隊伍提供50萬元獎勵和榮譽證書,選手有機會與權(quán)威評審和各路牛人大咖同場交流和切磋,優(yōu)勝隊伍選手更有機會加入華為,歡迎各路英豪到大賽官網(wǎng)注冊報名:https://activity.huaweicloud.com/performance_contest/index.html