[發明專利]一種數據同步方法、裝置、電子設備及存儲介質在審
| 申請號： | 202010079768.8 | 申請日： | 2020-02-04 |
| 公開（公告）號： | CN111259081A | 公開（公告）日： | 2020-06-09 |
| 發明（設計）人： | 褚占峰;江峰;丁曉波 | 申請（專利權）人： | 杭州數夢工場科技有限公司 |
| 主分類號： | G06F16/27 | 分類號： | G06F16/27;G06F16/2455;G06F16/22 |
| 代理公司： | 北京博思佳知識產權代理有限公司 11415 | 代理人： | 林祥 |
| 地址： | 310024 浙江省杭州*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 數據 同步 方法 裝置 電子設備 存儲 介質 | ||
1.一種數據同步方法，其特征在于，應用于分布式數據庫，所述分布式數據庫包含多個存儲節點，以用于對所述分布式數據庫中的數據進行分庫分表存儲；所述方法包括：
分別獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間；
基于所述操作時間對所述增量數據進行合并，以使得合并后的數據表中各個增量數據之間的排列順序對應于操作時間的先后次序；
將所述合并后的數據表同步至目標數據庫中。
2.根據權利要求1所述方法，其特征在于，所述增量數據和所述增量數據對應的操作時間是通過對所述存儲節點上的二進制日志文件進行增量解析而確定的。
3.根據權利要求1所述方法，其特征在于，所述分別獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間，包括：從各個存儲節點對應的緩存數據隊列中獲取對應于同一數據表標識的增量數據和所述增量數據對應的操作時間；
所述基于所述操作時間對所述增量數據進行合并，包括：對歸屬于同一數據表的增量數據按照操作時間的先后次序進行合并。
4.根據權利要求1所述方法，其特征在于，所述存儲節點對應默認緩存數據隊列和至少一個備用緩存數據隊列；還包括：
檢測所述存儲節點的默認緩存數據隊列的擁塞程度；
在所述默認緩存數據隊列處于擁塞狀態下，由所述存儲節點將與自身對應的增量數據和所述增量數據對應的操作時間存儲至備用緩存數據隊列中；
在所述默認緩存數據隊列處于空閑狀態下，由所述存儲節點將與自身對應的增量數據和所述增量數據對應的操作時間存儲至所述默認緩存數據隊列中。
5.根據權利要求1所述方法，其特征在于，所述分別獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間，包括：
確定各個存儲節點中記錄的增量數據的位置標識，所述位置標識用于表示最近一次完成增量解析處的位置信息；
將所述位置標識作為讀取增量數據的起始位置，以獲取所述位置標識之后的增量數據和所述增量數據對應的操作時間。
6.根據權利要求1所述方法，其特征在于，還包括：
周期性地觸發向所述目標數據庫同步各個存儲節點上對應于同一個數據表的增量數據。
7.根據權利要求1所述方法，其特征在于，所述各個存儲節點上的增量數據對應于特定的一個或多個數據表標識信息。
8.一種數據同步裝置，其特征在于，應用于分布式數據庫，所述分布式數據庫包含多個存儲節點，以用于對所述分布式數據庫中的數據進行分庫分表存儲；所述裝置包括：
獲取單元，分別獲取各個存儲節點上的增量數據和所述增量數據對應的操作時間；
合并單元，基于所述操作時間對所述增量數據進行合并，以使得合并后的數據表中各個增量數據之間的排列順序對應于操作時間的先后次序；
同步單元，將所述合并后的數據表同步至目標數據庫中。
9.根據權利要求8所述裝置，其特征在于，所述獲取單元具體用于：
從各個存儲節點對應的緩存數據隊列中獲取對應于同一數據表標識的增量數據和所述增量數據對應的操作時間；
所述合并單元具體用于：對歸屬于同一數據表的增量數據按照操作時間的先后次序進行合并。
10.根據權利要求8所述裝置，其特征在于，所述存儲節點對應默認緩存數據隊列和至少一個備用緩存數據隊列；還包括：
檢測單元，檢測所述存儲節點的默認緩存數據隊列的擁塞程度；
第一存儲單元，在所述默認緩存數據隊列處于擁塞狀態下，由所述存儲節點將與自身對應的增量數據和所述增量數據對應的操作時間存儲至備用緩存數據隊列中；
第二存儲單元，在所述默認緩存數據隊列處于空閑狀態下，由所述存儲節點將與自身對應的增量數據和所述增量數據對應的操作時間存儲至所述默認緩存數據隊列中。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于杭州數夢工場科技有限公司，未經杭州數夢工場科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202010079768.8/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種厭氧發酵液資源化的方法
- 下一篇：一種駕駛行為的提醒方法、系統及服務器
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
