本發明公開了一種LSM?tree結構中數據文件的合并方法及裝置，其中，數據文件中記錄有若干個以數據鍵值對形式存儲在LSM?tree結構中的數據條目和元信息條目；所述方法包括：針對數據文件中的一條數據條目，在緩存中查找該數據條目對應的元信息條目；若在緩存中未查找到該數據條目對應的元信息條目，則在數據文件中查找該數據條目對應的元信息條目，并將在數據文件中查找到的該數據條目對應的元信息條目寫入緩存；根據數據條目對應的元信息條目，確定數據條目是否為應該保留的數據條目，若否，則在數據文件合并過程中刪除數據條目。根據本發明提供的技術方案，加快了查找元信息條目的速度，有效地提高了合并數據文件的效率，優化了數據文件合并方式。

技術領域

本發明涉及互聯網技術領域，具體涉及一種LSM-tree結構中數據文件的合并方法及裝置。

背景技術

LSM-tree(日志結構的合并樹，Log-Structured Merge-Tree)通過批量存儲技術規避了磁盤隨機寫入問題，大幅度地提高了寫性能。具體地，可利用 LSM-tree來存儲數據條目和元信息條目。在LSM-tree結構中，通過數據文件來記錄數據條目和元信息條目。當需要對數據文件進行合并時，針對數據文件中的每一條數據條目，都需要在數據文件中查找該數據條目對應的元信息條目，然后根據該數據條目對應的元信息條目來確定該數據條目是否為在合并過程中應該保留的數據條目。因此，現有技術中的這種合并方式存在著效率低下的問題。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的LSM-tree結構中數據文件的合并方法及裝置。

根據本發明的一個方面，提供了一種LSM-tree結構中數據文件的合并方法，數據文件中記錄有若干個以數據鍵值對形式存儲在LSM-tree結構中的數據條目和元信息條目，該方法包括：

針對數據文件中的一條數據條目，在緩存中查找該數據條目對應的元信息條目；

若在緩存中未查找到該數據條目對應的元信息條目，則在數據文件中查找該數據條目對應的元信息條目，并將在數據文件中查找到的該數據條目對應的元信息條目寫入緩存；

根據數據條目對應的元信息條目，確定數據條目是否為應該保留的數據條目，若否，則在數據文件合并過程中刪除數據條目。

根據本發明的另一方面，提供了一種LSM-tree結構中數據文件的合并裝置，數據文件中記錄有若干個以數據鍵值對形式存儲在LSM-tree結構中的數據條目和元信息條目，該裝置包括：

第一查找模塊，適于針對數據文件中的一條數據條目，在緩存中查找該數據條目對應的元信息條目；

第二查找模塊，適于若第一查找模塊在緩存中未查找到該數據條目對應的元信息條目，則在數據文件中查找該數據條目對應的元信息條目；

寫入模塊，適于將第二查找模塊在數據文件中查找到的該數據條目對應的元信息條目寫入緩存；

確定模塊，適于根據數據條目對應的元信息條目，確定數據條目是否為應該保留的數據條目；

處理模塊，適于若確定模塊確定得到數據條目不為應該保留的數據條目，則在數據文件合并過程中刪除數據條目。