媒體服務器文件存儲模式
實際上,在很多大規(guī)模監(jiān)控方案中,為了解決媒體服務器性能瓶頸的問題,一般會采用服務器群的方式完成。但又帶來新的問題,如多個服務器之間如何進行負載分擔?某個服務器故障之后,系統(tǒng)如何將數(shù)據流量切換至其他服務器?這些服務器如何管理?如何共享一個存儲空間?等等,解決這些問題需要一個非常優(yōu)秀的集群管理系統(tǒng),增加系統(tǒng)復雜性的同時,還需要一筆不菲的預算,更遺憾的是,目前業(yè)界還沒有一個集群管理系統(tǒng)可以很好的解決該問題。
因此,前端設備到IP SAN的端到端直存就是一種很好的解決辦法。在存儲方式上,"數(shù)據塊直存"的數(shù)據管理方式拋棄了媒體服務器,在IP網絡的基礎上,在編碼設備中集成了iSCSI模塊,使得編碼設備可以基于iSCSI的協(xié)議端到端的把錄像數(shù)據寫入IP SAN存儲設備中。
監(jiān)控錄像的檢索效率
傳統(tǒng)監(jiān)控中,對于媒體流的文件存儲模式,在錄像檢索時首先要根據攝像頭、檢索的時間查找到對應的文件,然后再進一步定位具體的時間點,從該時間點回放錄像。歷史數(shù)據檢索的最小單位是文件,顆粒度太大,精確度低。
文件系統(tǒng)本來是為隨機讀寫的數(shù)據管理應用設計的,檢索效率較低,一個含幾百萬個文件的系統(tǒng)的檢索效率很難想象。所以,當系統(tǒng)規(guī)模擴大后,傳統(tǒng)數(shù)字監(jiān)控方案的效率下降很快。
在"塊直存"的系統(tǒng)中,"塊"存儲可以理解成自定義的一種文件系統(tǒng),在裸盤上進行數(shù)據讀寫;時間作為每個數(shù)據單元的索引,并且把索引和數(shù)據單元保存在一個完全獨立的邏輯存儲空間上。錄像的索引和數(shù)據形成獨立的、完整的數(shù)據結構,這種數(shù)據結構完全由自己管理,不再由操作系統(tǒng)和文件管理。通過時間索引+塊數(shù)據存儲這種組合,在錄像檢索上,可以基于時間進行檢索,可以快速定位到任意時間的錄像,檢索效率大幅度提高。在檢索的顆粒度上,也不再受文件大小的限制,可以實現(xiàn)秒級的連續(xù)檢索。
H3C創(chuàng)新存儲模式-"iSCSI塊直存"
作為IP領域的領導廠商之一,H3C同時在IP網絡、IP視頻、IP存儲等領域有著長期的技術和產品積累。進入IP監(jiān)控領域后,H3C將這些技術進行融合,首家將iSCSI塊存儲的存儲方式引入監(jiān)控中,從而有效的解決了媒體服務器引入的存儲的性能、可靠性以及檢索效率的問題。
H3C iSCSI數(shù)據塊直存
當監(jiān)控點的圖像需要進行集中存儲時,前端編碼器與IP SAN設備建立iSCSI連接,然后將存儲視頻流進行iSCSI協(xié)議封裝,直接采用數(shù)據塊的方式將媒體數(shù)據寫入IP SAN存儲設備中。通過這種方式,監(jiān)控媒體數(shù)據的存儲不需要轉換為視頻文件,自然也不需要流媒體服務器。從而有效的規(guī)避了引發(fā)"啞鈴效應"的文件系統(tǒng)問題和流媒體服務器性能瓶頸問題。具備良好的可擴展性,無論監(jiān)控規(guī)模有多大,整個系統(tǒng)不會存在性能瓶頸。
同時,由于對媒體數(shù)據的存儲和檢索回放等都是直接通過iSCSI數(shù)據塊操作完成的,因此可實現(xiàn)對歷史圖像的隨時回放及精確到秒級的檢索,滿足客戶應急響應的監(jiān)控需求。
在"塊數(shù)據"和"直存"兩者的技術基礎上,通過全局性的資源統(tǒng)一劃分和調度,實現(xiàn)數(shù)據的全局性管理。在大型監(jiān)控系統(tǒng)里面,可能有成千上萬個攝像機和海量的存儲空間。如何管理這些攝像頭和存儲設備之間的對應關系是一個非常復雜的難題。在"塊直存"視頻監(jiān)控系統(tǒng)中,H3C引入了數(shù)據管理服務器單元(DM),以此來實現(xiàn)存儲資源的統(tǒng)一管理。
DM是一個專用的數(shù)據管理設備,所有的攝像頭和存儲資源都由其管理。攝像頭需要存儲資源時,會統(tǒng)一向DM申請,DM會從存儲空間中選擇合適的存儲資源分配給攝像頭,使攝像頭與這一塊的存儲資源建立讀寫關系。
IP SAN設備完成某個攝像頭媒體數(shù)據塊的存儲工作后,根據監(jiān)控點的IP地址、寫入媒體數(shù)據的起始和終止時間,自動生成一個塊索引值。DM和IP SAN之間進行通信,獲取最新的視頻存儲信息,對所有監(jiān)控圖像的檢索等通過DM完成。
當然,這種存儲方式必然對監(jiān)控廠商的技術積累和實力提出了更高的要求,如要求編碼器支持雙碼流,實時監(jiān)控視頻流和存儲視頻流可以獨立編碼,同時編碼器支持iSCSI協(xié)議。雙碼流是現(xiàn)在所有高端編碼器的基本要求,實現(xiàn)的廠商較多,編碼器支持iSCSI則要求監(jiān)控廠商同時具備專業(yè)的存儲技術積累,對于目前的多數(shù)監(jiān)控廠商而言,存在一定的技術門檻??上驳氖?,我們看到,越來越多的監(jiān)控廠商認識到存儲對于一個監(jiān)控方案的重要性,開始進行這方面的技術積累。