[發(fā)明專利]LSM-tree結(jié)構(gòu)中數(shù)據(jù)文件的合并方法及裝置有效
| 申請?zhí)枺?/td> | 201611184022.3 | 申請日： | 2016-12-19 |
| 公開（公告）號： | CN106599247B | 公開（公告）日： | 2020-04-17 |
| 發(fā)明（設(shè)計）人： | 趙安安;陳宗志 | 申請（專利權(quán)）人： | 北京奇虎科技有限公司 |
| 主分類號： | G06F16/22 | 分類號： | G06F16/22 |
| 代理公司： | 北京市浩天知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11276 | 代理人： | 宋菲;劉云貴 |
| 地址： | 100088 北京市西城區(qū)新*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | lsm tree 結(jié)構(gòu) 數(shù)據(jù)文件 合并 方法 裝置 | ||
1.一種LSM-tree結(jié)構(gòu)中數(shù)據(jù)文件的合并方法，所述數(shù)據(jù)文件中記錄有若干個以數(shù)據(jù)鍵值對形式存儲在LSM-tree結(jié)構(gòu)中的數(shù)據(jù)條目和元信息條目，所述方法包括：
針對數(shù)據(jù)文件中的一條數(shù)據(jù)條目，在緩存中查找該數(shù)據(jù)條目對應(yīng)的元信息條目；
若在所述緩存中未查找到該數(shù)據(jù)條目對應(yīng)的元信息條目，則在數(shù)據(jù)文件中查找該數(shù)據(jù)條目對應(yīng)的元信息條目，并將在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目寫入緩存；
根據(jù)數(shù)據(jù)條目對應(yīng)的元信息條目，確定所述數(shù)據(jù)條目是否為應(yīng)該保留的數(shù)據(jù)條目，若否，則在數(shù)據(jù)文件合并過程中刪除所述數(shù)據(jù)條目；
其中，數(shù)據(jù)條目的數(shù)據(jù)鍵和與該數(shù)據(jù)條目對應(yīng)的元信息條目的數(shù)據(jù)鍵的至少一部分相同。
2.根據(jù)權(quán)利要求1所述的方法，所述緩存用于存儲至少一條元信息條目；
所述在數(shù)據(jù)文件中查找該數(shù)據(jù)條目對應(yīng)的元信息條目，將在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目寫入緩存進一步包括：
若所述緩存中已存儲有元信息條目，則在數(shù)據(jù)文件中查找該數(shù)據(jù)條目對應(yīng)的元信息條目，將所述緩存中存儲的元信息條目更新為在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目；
若所述緩存中未存儲有元信息條目，則在數(shù)據(jù)文件中查找該數(shù)據(jù)條目對應(yīng)的元信息條目，將在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目存儲至緩存中。
3.根據(jù)權(quán)利要求1或2所述的方法，所述根據(jù)數(shù)據(jù)條目對應(yīng)的元信息條目，確定所述數(shù)據(jù)條目是否為應(yīng)該保留的數(shù)據(jù)條目進一步包括：
判斷所述數(shù)據(jù)條目中的版本信息是否與所述數(shù)據(jù)條目對應(yīng)的元信息條目中的版本信息相符；
若否，則確定所述數(shù)據(jù)條目不為應(yīng)該保留的數(shù)據(jù)條目。
4.根據(jù)權(quán)利要求1或2所述的方法，所述根據(jù)數(shù)據(jù)條目對應(yīng)的元信息條目，確定所述數(shù)據(jù)條目是否為應(yīng)該保留的數(shù)據(jù)條目進一步包括：
根據(jù)數(shù)據(jù)條目對應(yīng)的元信息條目中的過期時間信息，判斷所述數(shù)據(jù)條目是否為過期數(shù)據(jù)條目；
若是，則確定所述數(shù)據(jù)條目不為應(yīng)該保留的數(shù)據(jù)條目。
5.根據(jù)權(quán)利要求1所述的方法，還包括：
接收數(shù)據(jù)合并請求，所述數(shù)據(jù)合并請求中包括所述數(shù)據(jù)條目對應(yīng)的數(shù)據(jù)鍵的至少一部分。
6.一種LSM-tree結(jié)構(gòu)中數(shù)據(jù)文件的合并裝置，所述數(shù)據(jù)文件中記錄有若干個以數(shù)據(jù)鍵值對形式存儲在LSM-tree結(jié)構(gòu)中的數(shù)據(jù)條目和元信息條目，所述裝置包括：
第一查找模塊，適于針對數(shù)據(jù)文件中的一條數(shù)據(jù)條目，在緩存中查找該數(shù)據(jù)條目對應(yīng)的元信息條目；
第二查找模塊，適于若所述第一查找模塊在所述緩存中未查找到該數(shù)據(jù)條目對應(yīng)的元信息條目，則在數(shù)據(jù)文件中查找該數(shù)據(jù)條目對應(yīng)的元信息條目；
寫入模塊，適于將所述第二查找模塊在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目寫入緩存；
確定模塊，適于根據(jù)數(shù)據(jù)條目對應(yīng)的元信息條目，確定所述數(shù)據(jù)條目是否為應(yīng)該保留的數(shù)據(jù)條目；
處理模塊，適于若所述確定模塊確定得到所述數(shù)據(jù)條目不為應(yīng)該保留的數(shù)據(jù)條目，則在數(shù)據(jù)文件合并過程中刪除所述數(shù)據(jù)條目；
其中，數(shù)據(jù)條目的數(shù)據(jù)鍵和與該數(shù)據(jù)條目對應(yīng)的元信息條目的數(shù)據(jù)鍵的至少一部分相同。
7.根據(jù)權(quán)利要求6所述的裝置，所述緩存用于存儲至少一條元信息條目；
所述寫入模塊進一步適于：
若所述緩存中已存儲有元信息條目，則將所述緩存中存儲的元信息條目更新為所述第二查找模塊在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目；
若所述緩存中未存儲有元信息條目，則將所述第二查找模塊在數(shù)據(jù)文件中查找到的該數(shù)據(jù)條目對應(yīng)的元信息條目存儲至緩存中。
8.根據(jù)權(quán)利要求6或7所述的裝置，所述確定模塊包括：判斷單元和確定單元；
所述判斷單元適于：判斷所述數(shù)據(jù)條目中的版本信息是否與所述數(shù)據(jù)條目對應(yīng)的元信息條目中的版本信息相符；
所述確定單元適于：若所述判斷單元判斷得到所述數(shù)據(jù)條目中的版本信息不與所述數(shù)據(jù)條目對應(yīng)的元信息條目中的版本信息相符，則確定所述數(shù)據(jù)條目不為應(yīng)該保留的數(shù)據(jù)條目。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京奇虎科技有限公司，未經(jīng)北京奇虎科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201611184022.3/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 圓形極化無輻射介質(zhì)波導(dǎo)
- 一種固體氧化物燃料電池電極及其制備工藝
- LSM樹的建立方法、LSM樹的數(shù)據(jù)讀取方法和服務(wù)器
- 一種LSM樹的優(yōu)化方法、裝置及計算機設(shè)備
- 一種數(shù)據(jù)存儲方法、裝置及設(shè)備
- 基于LSM樹的Oracle數(shù)據(jù)庫數(shù)據(jù)處理方法
- 一種LSM樹數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及計算機介質(zhì)
- 用于液體狀態(tài)機的神經(jīng)網(wǎng)絡(luò)架構(gòu)自動搜索方法、系統(tǒng)及介質(zhì)
- 一種硬件感知的液體狀態(tài)機網(wǎng)絡(luò)生成方法及系統(tǒng)
- 一種基于LSM來實現(xiàn)動態(tài)的系統(tǒng)調(diào)用劫持的方法
- 用于提高數(shù)據(jù)庫系統(tǒng)中的高速緩存性能的壓縮方案
- 可信執(zhí)行環(huán)境可擴展計算裝置接口
- 一種基于LSM-Tree結(jié)構(gòu)的日志文件系統(tǒng)的構(gòu)建方法
- 一種任務(wù)數(shù)據(jù)同步的方法和系統(tǒng)
- 使用潔凈室供應(yīng)來尋址可信執(zhí)行環(huán)境
- 計算系統(tǒng)，傳送受保護數(shù)據(jù)的方法和可讀存儲介質(zhì)
- 一種Tag-Tree編碼的實現(xiàn)系統(tǒng)及方法
- 基于進化R-tree的知識圖譜存儲和相似性檢索方法
- 一種紅外小目標(biāo)檢測跟蹤及識別方法
- 基于格網(wǎng)索引和球樹的傾斜模型和激光點云融合方法
- 卡片結(jié)構(gòu)、插座結(jié)構(gòu)及其組合結(jié)構(gòu)
- 鋼結(jié)構(gòu)平臺結(jié)構(gòu)
- 鋼結(jié)構(gòu)支撐結(jié)構(gòu)
- 鋼結(jié)構(gòu)支撐結(jié)構(gòu)
- 單元結(jié)構(gòu)、結(jié)構(gòu)部件和夾層結(jié)構(gòu)
- 鋼結(jié)構(gòu)扶梯結(jié)構(gòu)
- 鋼結(jié)構(gòu)隔墻結(jié)構(gòu)
- 鋼結(jié)構(gòu)連接結(jié)構(gòu)
- 螺紋結(jié)構(gòu)、螺孔結(jié)構(gòu)、機械結(jié)構(gòu)和光學(xué)結(jié)構(gòu)
- 螺紋結(jié)構(gòu)、螺孔結(jié)構(gòu)、機械結(jié)構(gòu)和光學(xué)結(jié)構(gòu)
- 嵌入式數(shù)據(jù)庫中數(shù)據(jù)恢復(fù)的方法和裝置
- 一種上報、獲得性能數(shù)據(jù)文件的方法及裝置
- 一種數(shù)據(jù)文件處理的方法、裝置及終端
- 一種數(shù)據(jù)文件播放方法及相關(guān)設(shè)備、系統(tǒng)
- 一種數(shù)據(jù)文件檢測方法和裝置
- 數(shù)據(jù)綜合采集方法及系統(tǒng)
- 一種多類型批量數(shù)據(jù)處理系統(tǒng)及其處理方法
- 數(shù)據(jù)文件的處理方法、裝置、系統(tǒng)和存儲介質(zhì)
- 嵌入式系統(tǒng)中文件數(shù)據(jù)未同步的檢測方法
- 數(shù)據(jù)操作方法、裝置和計算機可讀存儲介質(zhì)
