[發明專利]一種分布式數據存儲結構及數據存儲方法和數據查詢方法有效
| 申請號: | 201610678434.6 | 申請日: | 2016-08-17 |
| 公開(公告)號: | CN106326387B | 公開(公告)日: | 2019-06-04 |
| 發明(設計)人: | 段翰聰;閔革勇;張建;鐘紅霞;詹文翰 | 申請(專利權)人: | 電子科技大學 |
| 主分類號: | G06F16/22 | 分類號: | G06F16/22 |
| 代理公司: | 成都行之專利代理事務所(普通合伙) 51220 | 代理人: | 李朝虎 |
| 地址: | 610000 四川省成*** | 國省代碼: | 四川;51 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 存儲單元 分布式數據存儲 數據存儲單元 存儲節點 生成數據 數據存儲 緩存 查詢 查詢功能 存儲數據 全局負載 數據查詢 外部數據 物理機器 映射關系 主控節點 管理器 統計 | ||
1.一種分布式數據存儲結構,其特征在于,包括:
主控節點:用于建立數據存儲單元Block到所在的物理機器的映射關系、統計全局負載情況以及生成數據存儲單元Block的ID;
數據導入管理器:用于對外部數據進行緩沖,將外部數據按照數據值排序,生成索引Groupkey和數據,然后生成數據存儲單元Block存儲索引Groupkey和數據,最后導入數據存儲單元Block到存儲節點;
存儲節點:存儲數據存儲單元Block,對查詢者提供查詢功能;
存儲節點包括子元數據管理器、數據存儲單元Block、數據讀取器模塊;
子元數據管理器:用于維護存儲節點內部由數據庫名、表名、列名唯一確定的列到數據存儲單元Block的映射、維護數據存儲單元Block的生命周期;
數據存儲單元Block:用于存儲索引Groupkey和數據;
數據讀取器模塊:用于按照存儲的索引Groupkey提供范圍查詢和等值查詢接口,為外部提供了數據訪問,具有指向真實數據的指針。
2.根據權利要求1所述的一種分布式數據存儲結構,其特征在于:所述主控節點的元數據組織為由數據庫名、表名、列名唯一確定的列以及每個存儲節點存儲的數據中包含的列的列值范圍到存儲節點的地址的映射,主控節點的元數據組織的結構為:<數據庫名、表名字、列名、列值范圍、存儲節點的地址>。
3.根據權利要求1所述的一種分布式數據存儲結構,其特征在于:存儲節點的元數據組織為由數據庫名、表名、列名唯一確定的列到數據存儲單元Block的映射,存儲節點的元數據組織的結構為:<數據庫名、表名字、列名、列值范圍、數據存儲單元Block的ID>。
4.根據權利要求1所述的一種分布式數據存儲結構,其特征在于:數據存儲單元Block存儲數據的方式為:以索引Groupkey加數據的方式存儲在數據存儲單元Block當中,一個數據存儲單元Block包含一張表的若干列或全部的列,每張表的所有的列都會在數據存儲單元Block中存儲,在數據導入管理器生成這個數據存儲單元Block的時候,生成這個數據存儲單元Block對應的元數據,在存儲節點存儲數據存儲單元的時候,記錄元數據到子元數據管理器;
數據存儲單元Block的頭部結構分為定長結構和變長兩個部分:
定長部分包括:block_id、begin_rowid、rows;
block_id:表示數據存儲單元block的編號,由數據導入管理器生成,全局唯一:每個數據存儲單元Block對應著一個全局唯一的block_id;
begin_rowid:指明了這個數據存儲單元Block中所存儲的數據的起始的rowid;
rows:表明這個數據存儲單元Block中一共有多少行的數據;
變長部分包括column_offset;
column_offset:column_offset為一個數組,第i個值表示這個數據存儲單元Block中的第i個列的物理位置相對于數據存儲單元Block起始頭部的偏移量,i為自然數。
5.根據權利要求4所述的一種分布式數據存儲結構,其特征在于:所述column_offset的內部邏輯結構包括column_type部分和其余約定部分,column_type是頭部信息,其余約定部分是根據column_type部分由使用人員根據具體的需求具體約定。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于電子科技大學,未經電子科技大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201610678434.6/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:顯示終端及其串行接口信號傳輸方法、裝置
- 下一篇:一種鞋印新類別檢測方法





