本申請(qǐng)公開(kāi)了一種數(shù)據(jù)合并方法及裝置，涉及數(shù)據(jù)庫(kù)。該方法包括：將目標(biāo)事務(wù)生成的數(shù)據(jù)組，存儲(chǔ)到所述目標(biāo)事務(wù)對(duì)應(yīng)的數(shù)據(jù)緩存；當(dāng)滿(mǎn)足預(yù)設(shè)條件時(shí)，將緩存的多個(gè)數(shù)據(jù)組合并為列批量數(shù)據(jù)組；將所述列批量數(shù)據(jù)組插入所述目標(biāo)事務(wù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中；清空所述數(shù)據(jù)緩存中存儲(chǔ)的數(shù)據(jù)組。本申請(qǐng)避免了服務(wù)器頻繁解析SQL語(yǔ)句的CPU消耗，以及頻繁寫(xiě)入數(shù)據(jù)造成的磁盤(pán)I/O消耗，從而提高了服務(wù)器的整體服務(wù)性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)庫(kù)領(lǐng)域，特別涉及一種數(shù)據(jù)合并方法及裝置。

背景技術(shù)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和應(yīng)用軟件的成熟，軟件即服務(wù)(Software-as-a-service，SaaS)作為一種新的軟件應(yīng)用模式，得到越來(lái)越多的關(guān)注。SaaS特別之處在于，用戶(hù)無(wú)需對(duì)應(yīng)用程序進(jìn)行安裝，而是通過(guò)網(wǎng)絡(luò)直接使用應(yīng)用程序，對(duì)數(shù)據(jù)進(jìn)行閱讀、編輯和保存。

目前，服務(wù)器以數(shù)據(jù)庫(kù)表的形式存儲(chǔ)各個(gè)用戶(hù)的數(shù)據(jù)，SaaS模式的興起意味著服務(wù)器需要存儲(chǔ)大量不同用戶(hù)的不同數(shù)據(jù)，于是寬表應(yīng)運(yùn)而生。寬表從字面意義上講就是字段比較多的數(shù)據(jù)庫(kù)表，通常是指將業(yè)務(wù)主題相關(guān)的指標(biāo)、維度、屬性列等類(lèi)型記錄在一起的一張數(shù)據(jù)庫(kù)表。由于寬表在創(chuàng)建時(shí)會(huì)預(yù)留若干(比如100，500)個(gè)無(wú)類(lèi)型字段作為具體數(shù)據(jù)的存儲(chǔ)字段，因此可以適應(yīng)大量不同用戶(hù)的不同類(lèi)型的數(shù)據(jù)的存儲(chǔ)。

現(xiàn)有技術(shù)中，服務(wù)器是將數(shù)據(jù)組逐條寫(xiě)入寬表中(比如當(dāng)一件事務(wù)觸發(fā)后，服務(wù)器需要將與該事務(wù)關(guān)聯(lián)的多條數(shù)據(jù)組一條一條寫(xiě)入寬表中)，顯然，頻繁解析結(jié)構(gòu)化查詢(xún)語(yǔ)言(Structured Query Language，SQL)語(yǔ)句和頻繁寫(xiě)入數(shù)據(jù)，無(wú)疑增加了服務(wù)器的中央處理器(Central Processing Unit，CPU)消耗和磁盤(pán)輸入/輸出(Input/Output，I/O)消耗，降低了服務(wù)器的整體服務(wù)性能。

發(fā)明內(nèi)容

為了解決相關(guān)技術(shù)的問(wèn)題，本申請(qǐng)公開(kāi)了一種數(shù)據(jù)合并方法及裝置。所述技術(shù)方案如下：

第一方面，提供了一種數(shù)據(jù)合并方法，所述方法包括：

將目標(biāo)事務(wù)生成的數(shù)據(jù)組，存儲(chǔ)到所述目標(biāo)事務(wù)對(duì)應(yīng)的數(shù)據(jù)緩存；

當(dāng)滿(mǎn)足預(yù)設(shè)條件時(shí)，將緩存的多個(gè)數(shù)據(jù)組合并為列批量數(shù)據(jù)組；

將所述列批量數(shù)據(jù)組插入所述目標(biāo)事務(wù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中；

清空所述數(shù)據(jù)緩存中存儲(chǔ)的數(shù)據(jù)組。

本申請(qǐng)實(shí)施例提供的數(shù)據(jù)合并方法，通過(guò)先將目標(biāo)事務(wù)生成的數(shù)據(jù)組合并為列批量數(shù)據(jù)組，再將列批量數(shù)據(jù)組插入目標(biāo)事務(wù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中，由于服務(wù)器在只需對(duì)列批量數(shù)據(jù)組執(zhí)行依次寫(xiě)入操作，即可將合并成該列批量數(shù)據(jù)組的的數(shù)據(jù)組全部寫(xiě)入寬表中，避免了服務(wù)器頻繁解析SQL語(yǔ)句的CPU消耗，以及頻繁寫(xiě)入數(shù)據(jù)造成的磁盤(pán)I/O消耗，從而提高了服務(wù)器的整體服務(wù)性能。

結(jié)合第一方面或者第一方面的第一種可能的實(shí)施方式，在第一方面的第二種可能的實(shí)施方式中，根據(jù)數(shù)據(jù)組屬性列與數(shù)據(jù)庫(kù)表屬性列的對(duì)應(yīng)關(guān)系，將類(lèi)型不同的數(shù)據(jù)組合并為列批量數(shù)據(jù)組，使得插入數(shù)據(jù)庫(kù)表中的列批量數(shù)據(jù)組，所包含的每個(gè)數(shù)據(jù)對(duì)應(yīng)的屬性列與數(shù)據(jù)庫(kù)表的數(shù)據(jù)庫(kù)表屬性列均對(duì)應(yīng)，從而減少空數(shù)據(jù)的數(shù)量，降低列批量數(shù)據(jù)組的占用空間，所述將緩存的多個(gè)數(shù)據(jù)組合并為列批量數(shù)據(jù)組，包括：確定所述多個(gè)數(shù)據(jù)組中，每個(gè)數(shù)據(jù)組的數(shù)據(jù)組屬性列；根據(jù)預(yù)存的數(shù)據(jù)組屬性列與數(shù)據(jù)庫(kù)表屬性列的對(duì)應(yīng)關(guān)系，將所述多個(gè)數(shù)據(jù)組中對(duì)應(yīng)同一數(shù)據(jù)庫(kù)表屬性列的數(shù)據(jù)合并到同一列，得到第一數(shù)據(jù)集合；在所述第一數(shù)據(jù)集合中，對(duì)于所述多個(gè)數(shù)據(jù)組中的每個(gè)數(shù)據(jù)組，在所述數(shù)據(jù)組中添加對(duì)應(yīng)所述第一數(shù)據(jù)集合的數(shù)據(jù)集合屬性列的空數(shù)據(jù)，得到第二數(shù)據(jù)集合；在所述第二數(shù)據(jù)集合中，將同一列數(shù)據(jù)綁定為列數(shù)據(jù)，得到所述列批量數(shù)據(jù)組。