本發明公開了一種分布式數據存儲結構及其數據存儲方法和查詢方法。涉及模塊包括：主控節點：用于建立數據存儲單元Block到所在的物理機器的映射關系、統計全局負載情況以及生成數據存儲單元Block的ID。數據導入管理器：對外部數據進行緩存，生成數據存儲單元Block，導入數據存儲單元Block到存儲節點。存儲節點：存儲數據存儲單元Block，對查詢者提供查詢功能。

技術領域

本發明涉及數據存儲計算領域，特別涉及一種分布式數據存儲結構及數據存儲方法和數據查詢方法。

背景技術

傳統的行式數據庫，是按照行存儲的。行式存儲一般用在關系數據庫中，其優勢在于處理OLTP型業務。而列式數據庫恰恰相反，列式數據庫的數據是按照列存儲，每一列單獨存放，數據訪問某些列時，只需要訪問查詢涉及的列，大大降低了系統的數據傳輸量。而且，由于數據類型一致，數據特征相似，極大方便壓縮，提到了壓縮率。行式數據庫擅長隨機讀和更新操作，列式數據庫則更擅長大批量數據量查詢。而行列混合存儲兼顧了行存儲和列存儲的優點。行列存儲中一個重要的問題，就是如何索引數據，以達到數據快速定位。以及如何在有索引情況下，降低內存使用量。

現有技術技術一方案：

CN201310296167數據庫系統的行列混合存儲方法。這個方法是行列混合存儲是以表為單位。也就是說，一個表要么整個表都是行存儲，要么整個表都是列存儲。

該方法 在數據庫系統的存儲層分別設立一個行存儲引擎和一個列存儲引擎，然后由訪問接口層將兩者封裝起來，對列表進行元組物化，對行表進行投影，向查詢引擎提供統一的數據訪問接口，從而隱藏存儲差別，實現查詢處理的統一化。

行列混合存儲查詢流程。根據創建表時的存儲模型，在查詢語句的解析階段，獲取表的存儲模式；結合查詢分析的相關信息生成 <文件ID,存儲模式,屬性列表,選擇條件列表> 四個訪問參數。執行引擎在訪問數據時將訪問參數傳給存儲引擎，存儲引擎根據參數選擇適當的方法讀取數據并作選擇、投影處理后返回數據。

現有技術技術一方案缺點：

由于一個表要么是整個表都是行存儲，要么整個表都是列存儲。已定的存儲方案并不能夠很好的應對對表的更新后的存儲。比如，原定于適應于行存儲的表，由于表的更新，列存儲更加適合。此時，表需要重新存儲。表重新存儲代價大。

現有技術技術二方案：

Hyper數據庫管理系統提出數據組織方式——《Data Blocks: Hybrid OLTP andOLAP on Compressed Storage using both Vectorization and Compilation》。其數據組織結構頭部中，設定了數據相對部分的偏移量。分別是SMA、字典、數據壓縮策略，和字符數據的偏移量。Hyper提出的存儲結構包括：tuple count、sma offset、dict offset、dataoffset、string offset。

tuple count是該存儲單元中的存儲的單列數據的行數，sma offset、dictoffset、data offset、string offset分別是SMA、字典、非字符類型數據、字符類型數據對應于存儲單元起始位置的偏移量，compression是數據的壓縮方式。

現在技術二方案缺點：

其數據組織結構頭部中，設定了數據相對部分的偏移量。分別是SMA、字典、數據壓縮策略，和字符數據的偏移量。這么設定，限定了接下來數據的組織方式必須有SMA等。雖然這些字段只是偏移量，如果我們不用字典，可以通過將字典偏移量字段設置為一個無效值。但是，如此一來，字典偏移量字段本身占用了額外空間。