本申請公開了一種數據聚合處理方法、裝置、設備及存儲介質，該方法包括：通過獲取待聚合處理的原始數據，并將原始數據劃分為至少一個第一數據集合；確定至少一個第一數據集合中的每一個第一數據集合是否具有對應的歷史聚合記錄；若至少一個第一數據集合中存在至少一個具有歷史聚合記錄的第二數據集合，獲取每一個第二數據集合對應的歷史聚合結果，得到至少一個第一聚合結果；對每一個不具有歷史聚合記錄的第三數據集合進行聚合處理，得到至少一個第二聚合結果；根據至少一個第一聚合結果和至少一個第二聚合結果，確定原始數據的第三聚合結果。有利于提高數據聚合結果的復用性，提高數據聚合的聚合效率，和減少數據聚合的資源消耗。

技術領域

本申請涉及數據處理領域，尤其是一種數據聚合處理方法、裝置、設備及存儲介質。

背景技術

隨著互聯網技術的迅速發展，引發了數據呈現爆炸式增長態勢，數據已成為一種重要的戰略資源，相應的數據處理技術和數據處理服務也得以迅速發展。

相關技術中，在利用大數據提供決策支持時，使用大規模的計算資源和復雜的計算邏輯，進行海量數據的聚合處理工作。

然而，大規模的計算資源需要消耗很高的運行成本和維護成本，數據聚合工作成本消耗高；同時使用大規模的計算資源和復雜的計算邏輯進行數據聚合處理，存在運算效率低、專業性要求高的問題。

發明內容

本申請實施例提供一種數據聚合處理方法、裝置、設備及存儲介質，用于解決現有數據聚合方法存在的運算資源消耗高、運算效率低的問題。

第一方面，本申請提供了一種數據聚合處理方法，包括：

獲取待聚合處理的原始數據，并將所述原始數據劃分為至少一個第一數據集合；

確定所述至少一個第一數據集合中的每一個第一數據集合是否具有對應的歷史聚合記錄；

若所述至少一個第一數據集合中存在至少一個具有歷史聚合記錄的第二數據集合，獲取每一個所述第二數據集合對應的歷史聚合結果，得到至少一個第一聚合結果；

對每一個不具有歷史聚合記錄的第三數據集合進行聚合處理，得到至少一個第二聚合結果；

根據所述至少一個第一聚合結果和所述至少一個第二聚合結果，確定所述原始數據的第三聚合結果，并根據所述第三聚合結果確定所述原始數據的數據標簽。

將待聚合處理的原始數據劃分為至少一個第一數據集合，分別確定每一個第一數據集合的數據聚合結果，有利于有效提高數據聚合的聚合效率；確定具有歷史聚合記錄的第二數據集合，并不對已被聚合處理過的第二數據集合再次進行聚合處理，而是直接獲取第二數據集合的歷史聚合結果，有利于提高數據聚合結果的復用性，有利于降低數據聚合的資源消耗，和提高數據聚合的處理效率。

進一步地，將所述原始數據劃分為至少一個第一數據集合，包括：

建立與所述原始數據對應的第一計劃樹，所述第一計劃樹中包括至少一個第一連接節點和至少一個第一聚合節點，所述第一計劃樹的一個葉節點構成一個所述第一聚合節點，一個所述第一聚合節點所表征的數據構成一個所述第一數據集合。

建立與原始數據對應的第一計劃樹，有利于提高數據聚合結果的復用性，提高數據聚合運算的開發效率。

進一步地，建立與所述原始數據對應的第一計劃樹，包括：

獲取用戶指定的對所述原始數據進行分批次聚合處理中的每一次聚合處理的數據量度，構成所述至少一個第一數據集合中的每一個第一數據集合的數據量度閾值；

根據每一個所述第一數據集合的所述數據量度閾值，確定所述第一計劃樹的節點層數和所述至少一個第一聚合節點；

根據所述節點層數和所述至少一個第一聚合節點，建立所述第一計劃樹。