本申請?zhí)峁┮环N數(shù)據(jù)同步方法、裝置、電子設(shè)備及存儲介質(zhì)，所述方法包括：分別獲取各個存儲節(jié)點上的增量數(shù)據(jù)和增量數(shù)據(jù)對應(yīng)的操作時間；基于操作時間對增量數(shù)據(jù)進(jìn)行合并，以使得合并后的數(shù)據(jù)表中各個增量數(shù)據(jù)之間的排列順序?qū)?yīng)于操作時間的先后次序；將合并后的數(shù)據(jù)表同步至目標(biāo)數(shù)據(jù)庫中。通過本申請的技術(shù)方案可以提高數(shù)據(jù)同步效率。

技術(shù)領(lǐng)域

本申請涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著傳統(tǒng)的數(shù)據(jù)庫技術(shù)日趨成熟、計算機網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和應(yīng)用范圍的擴(kuò)大，數(shù)據(jù)庫應(yīng)用普遍建立于計算機網(wǎng)絡(luò)之上，在大型互聯(lián)網(wǎng)應(yīng)用的場景中，并發(fā)的讀寫數(shù)據(jù)量非常龐大，往往高達(dá)上億甚至是數(shù)十億，大數(shù)據(jù)時代下的數(shù)據(jù)存儲及管理方式將直接影響著運營過程中的服務(wù)效率。

為了優(yōu)化大數(shù)據(jù)時代下的數(shù)據(jù)存儲及管理方式，分布式數(shù)據(jù)庫系統(tǒng)應(yīng)運而生，然而在對分布式數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行同步的過程中，相關(guān)技術(shù)中所采用的全量同步的方式不僅同步效率低下，而且造成了對網(wǎng)絡(luò)資源的浪費、加重系統(tǒng)的運行負(fù)擔(dān)，尤其對于規(guī)模較大、分表數(shù)量較多的大型分布式數(shù)據(jù)庫而言，同步流程復(fù)雜、耗時較長等問題導(dǎo)致數(shù)據(jù)庫可靠性降低且維護(hù)難度升高。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环N數(shù)據(jù)同步方法及裝置，以解決相關(guān)技術(shù)中數(shù)據(jù)同步效率低下、耗時較長等技術(shù)問題。

為實現(xiàn)上述目的，本申請?zhí)峁┘夹g(shù)方案如下：

根據(jù)本申請的第一方面，提出了一種數(shù)據(jù)同步方法，應(yīng)用于分布式數(shù)據(jù)庫，所述分布式數(shù)據(jù)庫包含多個存儲節(jié)點，以用于對所述分布式數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分庫分表存儲；所述方法包括：

分別獲取各個存儲節(jié)點上的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間；

基于所述操作時間對所述增量數(shù)據(jù)進(jìn)行合并，以使得合并后的數(shù)據(jù)表中各個增量數(shù)據(jù)之間的排列順序?qū)?yīng)于操作時間的先后次序；

將所述合并后的數(shù)據(jù)表同步至目標(biāo)數(shù)據(jù)庫中。

可選的，所述增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間是通過對所述存儲節(jié)點上的二進(jìn)制日志文件進(jìn)行增量解析而確定的。

可選的，所述獲取各個存儲節(jié)點上的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間，包括：從各個存儲節(jié)點對應(yīng)的緩存數(shù)據(jù)隊列中獲取對應(yīng)于同一數(shù)據(jù)表標(biāo)識的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間；

所述基于所述操作時間對所述增量數(shù)據(jù)進(jìn)行合并，包括：對歸屬于同一數(shù)據(jù)表的增量數(shù)據(jù)按照操作時間的先后次序進(jìn)行合并。

可選的，所述存儲節(jié)點對應(yīng)默認(rèn)緩存數(shù)據(jù)隊列和至少一個備用緩存數(shù)據(jù)隊列；還包括：

檢測所述存儲節(jié)點的默認(rèn)緩存數(shù)據(jù)隊列的擁塞程度；

在所述默認(rèn)緩存數(shù)據(jù)隊列處于擁塞狀態(tài)下，由所述存儲節(jié)點將與自身對應(yīng)的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間存儲至備用緩存數(shù)據(jù)隊列中；

在所述默認(rèn)緩存數(shù)據(jù)隊列處于空閑狀態(tài)下，由所述存儲節(jié)點將與自身對應(yīng)的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間存儲至所述默認(rèn)緩存數(shù)據(jù)隊列中。

可選的，所述分別獲取各個存儲節(jié)點上的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間，包括：

確定各個存儲節(jié)點中記錄的增量數(shù)據(jù)的位置標(biāo)識，所述位置標(biāo)識用于表示最近一次完成增量解析處的位置信息；

將所述位置標(biāo)識作為讀取增量數(shù)據(jù)的起始位置，以獲取所述位置標(biāo)識之后的增量數(shù)據(jù)和所述增量數(shù)據(jù)對應(yīng)的操作時間。

可選的，還包括：

周期性地觸發(fā)向所述目標(biāo)數(shù)據(jù)庫同步各個存儲節(jié)點上對應(yīng)于同一個數(shù)據(jù)表的增量數(shù)據(jù)。