本發明屬于數據統計技術領域，具體涉及一種數據去重的方法及裝置。本發明的數據去重的方法包括：根據獲取的目標數據構建最長公共子串表；提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較；若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理。本發明的數據去重的方法及裝置，不需要頻繁更新表中數據，減少了數據存儲量，提高了去重過程中數據比對效率。

技術領域

本發明涉及數據統計技術領域，具體涉及一種數據去重的方法及裝置。

背景技術

移動應用商店上架的應用可能存在重復的問題，有去重的需求；或者在對不同移動應用商店的應用進行數據分析時，也需要對相同的應用進行去重處理。

同一款應用會存在多個名稱的問題。例如，同一款應用，在不同時間段會采用不同的名稱，如視頻應用軟件會將最近熱播劇的名字添加到應用名中。又例如，同一款應用，在不同應用商店可能會使用不同的名稱，如騰訊QQ、QQ。當然還有其他情況導致同一款應用的名稱不完全相同。

不同應用也會存在名稱相似(存在相同字段)的問題。例如，百度與百度地圖是兩個不同的應用，但存在相同的字段(百度)。

現有的一種去重方式是建立基礎表，在基礎表中會記錄同一款應用的各種不同名稱，通過查表來實現去重。這種處理方式需要頻繁更新基礎表才能保證去重的準確性。

應當指出的是，以上僅是一種典型的應用。對于其他數據去重的應用，也可能會存在類似的問題。

發明內容

針對現有技術中的缺陷，本發明提供的數據去重的方法及裝置，不需要頻繁更新表中數據，減少了數據存儲量，提高了去重過程中數據比對效率。

第一方面，本發明提供的一種數據去重的方法，包括：根據獲取的目標數據構建最長公共子串表；提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較；若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理。

本發明提供的數據去重的方法，在初期建立完最長公共子串表后，對于新產生的數據可根據最長公共子串表實現去重判斷，不需要存儲每個應用的不同名稱，減少了數據存儲量，且不需要頻繁更新表；由于只需要與最長公共子串表中的數據進行比較，減少了比對的數據量，提高了比對效率。

優選地，所述根據獲取的目標數據構建最長公共子串表，包括：根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串；檢測每個數據集合中的目標數據指代的對象是否相同，若不相同，則將該數據集合對應的最大公共子串存入最大公共子串表。

優選地，根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串，包括：對獲取的目標數據進行兩兩比對，提取最長公共子串；將具有相同最長公共子串的應用放入同一數據集合，所述相同最長公共子串為所述數據集合對應的最大公共子串。

優選地，所述提取兩個需要進行去重判斷的數據的最長公共子串，包括：逐個比較兩個需要進行去重判斷的數據中相同位置的字符，若比較的字符相同，則繼續比較下一個字符，直到比較的字符不同為止，提取出相同的字符為最長公共子串。

優選地，所述目標數據和所述數據均為應用的應用名稱。

第二方面，本發明提供的一種數據去重的裝置，包括：最長公共子串表構建模塊，用于根據獲取的目標數據構建最長公共子串表；去重判斷模塊，用于提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較，若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理。