列存儲數(shù)據(jù)排列

表格的灰色背景部分表示行列結構，白色背景部分表示數(shù)據(jù)的物理分布，兩種存儲的數(shù)據(jù)都是從上至下，從左向右的排列。行是列的組合，行存儲以一行記錄為單位，列存儲以列數(shù)據(jù)集合單位，或稱列族(column family)。行存儲的讀寫過程是一致的，都是從第一列開始，到最后一列結束。列存儲的讀取是列數(shù)據(jù)集中的一段或者全部數(shù)據(jù)，寫入時，一行記錄被拆分為多列，每一列數(shù)據(jù)追加到對應列的末尾處。

二. 對比

從上面表格可以看出，行存儲的寫入是一次完成。如果這種寫入建立在操作系統(tǒng)的文件系統(tǒng)上，可以保證寫入過程的成功或者失敗，數(shù)據(jù)的完整性因此可以確 定。列存儲由于需要把一行記錄拆分成單列保存，寫入次數(shù)明顯比行存儲多，再加上磁頭需要在盤片上移動和定位花費的時間，實際時間消耗會更大。所以，行存儲 在寫入上占有很大的優(yōu)勢。

還有數(shù)據(jù)修改,這實際也是一次寫入過程。不同的是，數(shù)據(jù)修改是對磁盤上的記錄做刪除標記。行存儲是在指定位置寫入一次，列存儲是將磁盤定位到多個列 上分別寫入，這個過程仍是行存儲的列數(shù)倍。所以，數(shù)據(jù)修改也是以行存儲占優(yōu)。 數(shù)據(jù)讀取時，行存儲通常將一行數(shù)據(jù)完全讀出，如果只需要其中幾列數(shù)據(jù)的情況，就會存在冗余列，出于縮短處理時間的考量，消除冗余列的過程通常是在內(nèi)存中進 行的。列存儲每次讀取的數(shù)據(jù)是集合的一段或者全部，如果讀取多列時，就需要移動磁頭，再次定位到下一列的位置繼續(xù)讀取。 再談兩種存儲的數(shù)據(jù)分布。由于列存儲的每一列數(shù)據(jù)類型是同質(zhì)的，不存在二義性問題。比如說某列數(shù)據(jù)類型為整型(int)，那么它的數(shù)據(jù)集合一定是整型數(shù) 據(jù)。這種情況使數(shù)據(jù)解析變得十分容易。相比之下，行存儲則要復雜得多，因為在一行記錄中保存了多種類型的數(shù)據(jù)，數(shù)據(jù)解析需要在多種數(shù)據(jù)類型之間頻繁轉換， 這個操作很消耗CPU，增加了解析的時間。所以，列存儲的解析過程更有利于分析大數(shù)據(jù)。

三. 優(yōu)化

顯而易見，兩種存儲格式都有各自的優(yōu)缺點：行存儲的寫入是一次性完成，消耗的時間比列存儲少，并且能夠保證數(shù)據(jù)的完整性，缺點是數(shù)據(jù)讀取過程中會產(chǎn) 生冗余數(shù)據(jù)，如果只有少量數(shù)據(jù)，此影響可以忽略;數(shù)量大可能會影響到數(shù)據(jù)的處理效率。列存儲在寫入效率、保證數(shù)據(jù)完整性上都不如行存儲，它的優(yōu)勢是在讀取 過程，不會產(chǎn)生冗余數(shù)據(jù)，這對數(shù)據(jù)完整性要求不高的大數(shù)據(jù)處理領域，比如互聯(lián)網(wǎng)，猶為重要。

改進集中在兩方面：行存儲讀取過程中避免產(chǎn)生冗余數(shù)據(jù)，列存儲提高讀寫效率。

如何改進它們的缺點，并保證優(yōu)點呢?

行存儲的改進：減少冗余數(shù)據(jù)首先是用戶在定義數(shù)據(jù)時避免冗余列的產(chǎn)生;其次是優(yōu)化數(shù)據(jù)存儲記錄結構，保證從磁盤讀出的數(shù)據(jù)進入內(nèi)存后，能夠被快速分 解，消除冗余列。要知道，目前市場上即使最低端CPU和內(nèi)存的速度也比機械磁盤快上100-1000倍。如果用上高端的硬件配置，這個處理過程還要更快。

列存儲的兩點改進：1.在計算機上安裝多塊硬盤，以多線程并行的方式讀寫它們。多塊硬盤并行工作可以減少磁盤讀寫競用，這種方式對提高處理效率優(yōu)勢 十分明顯。缺點是需要更多的硬盤，這會增加投入成本，在大規(guī)模數(shù)據(jù)處理應用中是不小的數(shù)目，運營商需要認真考慮這個問題。2.對寫過程中的數(shù)據(jù)完整性問 題，可考慮在寫入過程中加入類似關系數(shù)據(jù)庫的“回滾”機制，當某一列發(fā)生寫入失敗時，此前寫入的數(shù)據(jù)全部失效，同時加入散列碼校驗，進一步保證數(shù)據(jù)完整 性。

這兩種存儲方案還有一個共同改進的地方：頻繁的小量的數(shù)據(jù)寫入對磁盤影響很大，更好的解決辦法是將數(shù)據(jù)在內(nèi)存中暫時保存并整理，達到一定數(shù)量后，一 次性寫入磁盤，這樣消耗時間更少一些。目前機械磁盤的寫入速度在20M-50M/秒之間，能夠以批量的方式寫入磁盤，效果也是不錯的。

四. 總結

兩種存儲格式各自的特性都決定了它們不可能是完美的解決方案。 如果首要考慮是數(shù)據(jù)的完整性和可靠性，那么行存儲是不二選擇，列存儲只有在增加磁盤并改進軟件設計后才能接近這樣的目標。如果以保存數(shù)據(jù)為主，行存儲的寫 入性能比列存儲高很多。在需要頻繁讀取單列集合數(shù)據(jù)的應用中，列存儲是最合適的。如果每次讀取多列，兩個方案可酌情選擇：采用行存儲時，設計中應考慮減少 或避免冗余列;若采用列存儲方案，為保證讀寫入效率，每列數(shù)據(jù)盡可能分別保存到不同的磁盤上，多個線程并行讀寫各自的數(shù)據(jù)，這樣避免了磁盤競用的同時也提 高了處理效率。 無論選擇哪種方案，將同內(nèi)容數(shù)據(jù)聚湊在一起都是必須的，這是減少磁頭在磁盤上的移動，提高數(shù)據(jù)讀取時間的有效辦法。

?

huanghui