本發(fā)明實(shí)施例公開了數(shù)據(jù)存儲(chǔ)、檢索方法、系統(tǒng)及存儲(chǔ)介質(zhì)。數(shù)據(jù)存儲(chǔ)方法包括應(yīng)用于數(shù)據(jù)存儲(chǔ)系統(tǒng)，數(shù)據(jù)存儲(chǔ)系統(tǒng)包括數(shù)據(jù)分發(fā)分片管理器和服務(wù)器，服務(wù)器包括至少兩個(gè)數(shù)據(jù)管理系統(tǒng)，每個(gè)數(shù)據(jù)管理系統(tǒng)包括數(shù)據(jù)存儲(chǔ)區(qū)域，方法包括：數(shù)據(jù)分發(fā)分片管理器獲取待存儲(chǔ)數(shù)據(jù)及待存儲(chǔ)數(shù)據(jù)的標(biāo)識(shí)信息；數(shù)據(jù)分發(fā)分片管理器基于標(biāo)識(shí)信息將待存儲(chǔ)數(shù)據(jù)分發(fā)至至少兩個(gè)數(shù)據(jù)管理系統(tǒng)中；至少兩個(gè)數(shù)據(jù)管理系統(tǒng)中，每個(gè)數(shù)據(jù)管理系統(tǒng)將分發(fā)到自身數(shù)據(jù)管理系統(tǒng)的子數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)存儲(chǔ)區(qū)域。通過本發(fā)明實(shí)施例提供的技術(shù)方案，可以實(shí)現(xiàn)在單個(gè)服務(wù)器環(huán)境下對(duì)數(shù)據(jù)進(jìn)行分片存儲(chǔ)，減少單數(shù)據(jù)管理系統(tǒng)承載大量數(shù)據(jù)所帶來的高負(fù)載，可以有效提升數(shù)據(jù)存儲(chǔ)性能。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)存儲(chǔ)、檢索方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)

對(duì)于結(jié)構(gòu)化數(shù)據(jù)的處理，在單個(gè)服務(wù)器環(huán)境下一般會(huì)將數(shù)據(jù)進(jìn)行整體存儲(chǔ)與管理。其中，整體存儲(chǔ)與管理包含邏輯空間分類存儲(chǔ)管理及與邏輯空間對(duì)應(yīng)的物理文件塊的存儲(chǔ)管理。無論是對(duì)數(shù)據(jù)進(jìn)行邏輯空間分類存儲(chǔ)管理，還是對(duì)數(shù)據(jù)進(jìn)行與邏輯空間對(duì)應(yīng)的物理文件塊的存儲(chǔ)管理，其管理方式都是由單一的一套數(shù)據(jù)管理機(jī)制對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的管理，這樣的目的，主要是實(shí)現(xiàn)了對(duì)數(shù)據(jù)存儲(chǔ)的管理統(tǒng)一、數(shù)據(jù)分派的統(tǒng)一、數(shù)據(jù)檢索的查找及統(tǒng)一。

然而，上述數(shù)據(jù)管理存儲(chǔ)方案的不足在于，當(dāng)數(shù)據(jù)膨脹、暴增至一定階段，單個(gè)服務(wù)器環(huán)境的數(shù)據(jù)管理機(jī)制將承擔(dān)大塊數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)管理、大塊數(shù)據(jù)的數(shù)據(jù)統(tǒng)計(jì)、大塊數(shù)據(jù)的一致性管理等工作。在進(jìn)行數(shù)據(jù)檢索、查找時(shí)，其檢索的性能會(huì)隨著其管理的數(shù)據(jù)量或數(shù)據(jù)塊的增大而降低，從而造成數(shù)據(jù)管理器的管理過于負(fù)重(如，索引標(biāo)記量的過重、數(shù)據(jù)統(tǒng)計(jì)字典表數(shù)據(jù)的過重)等，因此解決單一服務(wù)器環(huán)境下的單一管理服務(wù)，減輕數(shù)據(jù)管理壓力來獲得高性能檢索等這一系列問題成為本領(lǐng)域的一個(gè)研究方向。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供數(shù)據(jù)存儲(chǔ)、檢索方法、系統(tǒng)及存儲(chǔ)介質(zhì)，可以實(shí)現(xiàn)在單個(gè)服務(wù)器環(huán)境下對(duì)數(shù)據(jù)進(jìn)行分片存儲(chǔ)，減少單數(shù)據(jù)管理系統(tǒng)承載大量數(shù)據(jù)所帶來的高負(fù)載。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)傳輸方法，應(yīng)用于數(shù)據(jù)存儲(chǔ)系統(tǒng)，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)包括數(shù)據(jù)分發(fā)分片管理器和服務(wù)器，所述服務(wù)器包括至少兩個(gè)數(shù)據(jù)管理系統(tǒng)，每個(gè)數(shù)據(jù)管理系統(tǒng)包括數(shù)據(jù)存儲(chǔ)區(qū)域，所述方法包括：

所述數(shù)據(jù)分發(fā)分片管理器獲取待存儲(chǔ)數(shù)據(jù)及所述待存儲(chǔ)數(shù)據(jù)的標(biāo)識(shí)信息；

所述數(shù)據(jù)分發(fā)分片管理器基于所述標(biāo)識(shí)信息將所述待存儲(chǔ)數(shù)據(jù)分發(fā)至所述至少兩個(gè)數(shù)據(jù)管理系統(tǒng)中；

所述至少兩個(gè)數(shù)據(jù)管理系統(tǒng)中，每個(gè)數(shù)據(jù)管理系統(tǒng)將分發(fā)到自身數(shù)據(jù)管理系統(tǒng)的子數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)存儲(chǔ)區(qū)域。

進(jìn)一步的，獲取待存儲(chǔ)數(shù)據(jù)及所述待存儲(chǔ)數(shù)據(jù)的標(biāo)識(shí)信息，包括：

獲取待存儲(chǔ)數(shù)據(jù)及所述待存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)信息；

根據(jù)所述數(shù)據(jù)信息生成與所述待存儲(chǔ)數(shù)據(jù)唯一對(duì)應(yīng)的主鍵；

將所述主鍵作為所述待存儲(chǔ)數(shù)據(jù)的標(biāo)識(shí)信息。

進(jìn)一步的，獲取待存儲(chǔ)數(shù)據(jù)包括：

讀取原始數(shù)據(jù)；

按照預(yù)設(shè)規(guī)則對(duì)所述原始數(shù)據(jù)進(jìn)行過濾處理，將過濾處理后的原始數(shù)據(jù)作為待存儲(chǔ)數(shù)據(jù)。

進(jìn)一步的，每個(gè)數(shù)據(jù)管理系統(tǒng)還包括數(shù)據(jù)內(nèi)存區(qū)域；

每個(gè)數(shù)據(jù)管理系統(tǒng)將分發(fā)到自身數(shù)據(jù)管理系統(tǒng)的子數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)存儲(chǔ)區(qū)域，包括：

每個(gè)數(shù)據(jù)管理系統(tǒng)將分發(fā)到自身數(shù)據(jù)管理系統(tǒng)的子數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)內(nèi)存區(qū)域；

當(dāng)所述數(shù)據(jù)內(nèi)存區(qū)域的當(dāng)前可用空間小于預(yù)設(shè)閾值時(shí)，將所述子數(shù)據(jù)轉(zhuǎn)存至所述數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)存儲(chǔ)區(qū)域。