[發明專利]數據去重的方法及裝置有效
| 申請號： | 201710010119.0 | 申請日： | 2017-01-06 |
| 公開（公告）號： | CN108280085B | 公開（公告）日： | 2021-07-27 |
| 發明（設計）人： | 路博;王躍;方詩旭;張育雄;郭麗;楊小燕;劉藝 | 申請（專利權）人： | 工業和信息化部電信研究院 |
| 主分類號： | G06F16/215 | 分類號： | G06F16/215 |
| 代理公司： | 北京酷愛智慧知識產權代理有限公司 11514 | 代理人： | 任媛 |
| 地址： | 100191 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據 方法 裝置 | ||
1.一種數據去重的方法，其特征在于，包括：
根據獲取的目標數據構建最長公共子串表；
提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較；
若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理；
其中，每個目標數據指代一個對象，存入所述最長公共子串表中的最長公共子串至少對應兩個不同的對象。
2.根據權利要求1所述的方法，其特征在于，所述根據獲取的目標數據構建最長公共子串表，包括：
根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串；
檢測每個數據集合中的目標數據指代的對象是否相同，若不相同，則將該數據集合對應的最大公共子串存入最大公共子串表。
3.根據權利要求2所述的方法，其特征在于，根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串，包括：
對獲取的目標數據進行兩兩比對，提取最長公共子串；
將具有相同最長公共子串的應用放入同一數據集合，所述相同最長公共子串為所述數據集合對應的最大公共子串。
4.根據權利要求1所述的方法，其特征在于，所述提取兩個需要進行去重判斷的數據的最長公共子串，包括：逐個比較兩個需要進行去重判斷的數據中相同位置的字符，若比較的字符相同，則繼續比較下一個字符，直到比較的字符不同為止，提取出相同的字符為最長公共子串。
5.根據權利要求1至4中任一項所述的方法，其特征在于，所述目標數據和所述數據均為應用的應用名稱。
6.一種數據去重的裝置，其特征在于，包括：
最長公共子串表構建模塊，用于根據獲取的目標數據構建最長公共子串表；
去重判斷模塊，用于提取兩個需要進行去重判斷的數據的最長公共子串，并將所述最長公共子串與所述最長公共子串表中的子串進行比較，若所述最長公共子串表中不存在與所述最長公共子串相同的子串，則對兩個所述數據進行去重處理；
其中，每個目標數據指代一個對象，存入所述最長公共子串表中的最長公共子串至少對應兩個不同的對象。
7.根據權利要求6所述的裝置，其特征在于，所述最長公共子串表構建模塊具體用于：
根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串；
檢測每個數據集合中的目標數據指代的對象是否相同，若不相同，則將該數據集合對應的最大公共子串存入最大公共子串表。
8.根據權利要求7所述的裝置，其特征在于，所述最長公共子串表構建模塊中，根據獲取的目標數據形成多個數據集合，每個數據集合對應一個最大公共子串，包括：
對獲取的目標數據進行兩兩比對，提取最長公共子串；
將具有相同最長公共子串的應用放入同一數據集合，所述相同最長公共子串為所述數據集合對應的最大公共子串。
9.根據權利要求6所述的裝置，其特征在于，所述去重判斷模塊中，提取兩個需要進行去重判斷的數據的最長公共子串，包括：逐個比較兩個需要進行去重判斷的數據中相同位置的字符，若比較的字符相同，則繼續比較下一個字符，直到比較的字符不同為止，提取出相同的字符為最長公共子串。
10.根據權利要求6至9中任一項所述的裝置，其特征在于，所述目標數據和所述數據均為應用的應用名稱。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于工業和信息化部電信研究院，未經工業和信息化部電信研究院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201710010119.0/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
