[發明專利]一種基于完備相容類的云平臺不完備大數據填補方法有效
| 申請號: | 201510051653.7 | 申請日: | 2015-01-30 |
| 公開(公告)號: | CN104598618B | 公開(公告)日: | 2018-03-27 |
| 發明(設計)人: | 袁景凌;楊光;鐘珞;陳旻騁 | 申請(專利權)人: | 武漢理工大學 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30 |
| 代理公司: | 武漢開元知識產權代理有限公司42104 | 代理人: | 潘杰 |
| 地址: | 430070 湖北省*** | 國省代碼: | 湖北;42 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 基于 完備 相容 平臺 數據 填補 方法 | ||
1.一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于,該方法包括如下步驟:
步驟一,掃描待處理的大數據,生成以缺失屬性序列為關鍵字的倒排索引;
步驟二,依據所述倒排索引將待處理的大數據中的不完備數據劃分為若干相容類;
步驟三,對待處理的大數據中完備數據進行映射端連接操作,得到映射端輸出中間結果,結合步驟二所得的若干相容類將所述待處理的大數據劃分為若干完備相容類;
步驟四,依次讀取各個所述完備相容類中對于缺失屬性序列的頻繁項集,從所述頻繁項集中生成對缺失屬性序列的值覆蓋,用所述值覆蓋填補該完備相容類中的不完備數據。
2.根據權利要求1所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于,所述步驟二是依據缺失屬性序列的倒排索引,比較缺失屬性相同的不完備數據記錄;將除缺失屬性外剩余屬性值相同的記錄劃分到同一相容類。
3.根據權利要求1所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于,所述步驟三具體包括以下步驟:
31)對待處理的大數據中完備數據進行映射端連接操作,得到映射端輸出中間結果;
32)讀取所述映射端輸出中間結果與所述步驟二所得相容類中不完備數據具有相容關系的完備數據;
33)將步驟32)所得的完備數據與步驟二所得的相容類組合成為若干完備相容類。
4.根據權利要求3所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于:每個完備相容類包括具有相容關系的不完備數據記錄和用于獲取填補值的完備數據。
5.根據權利要求3所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于:所述完備相容類具有類標簽,所述類標簽包括缺失屬性序列及除缺失屬性序列之外剩余屬性值。
6.根據權利要求1所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于,所述步驟四是依次對所述步驟三所得各完備相容類做如下操作:
41)讀取完備相容類在缺失屬性序列中的屬性值,從所有屬性值中挖掘頻繁項集;
42)從所述頻繁項集中生成對所述缺失屬性序列的值覆蓋;
43)用所述值覆蓋填補完備相容類中的缺失數據;
44)若缺失屬性序列未填補完畢,則從填補后的完備相容類中剩余的缺失屬性序列中繼續挖掘頻繁項集,然后回到步驟42);若缺失屬性序列均已填補完畢則退出。
7.根據權利要求6所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于:所述步驟41)是采用頻繁模式增長方法FP-growth從所有屬性值中挖掘頻繁項集。
8.根據權利要求6所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于:所述步驟42)從所述頻繁項集中生成對所述缺失屬性序列的值覆蓋時,優先選擇包含屬性序列個數最多的頻繁項。
9.根據權利要求8所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于:生成對所述缺失屬性序列的值覆蓋時,若存在多個頻繁項所包含的屬性序列個數相同,則從中選擇出現頻度最大的頻繁項。
10.根據權利要求6所述的一種基于完備相容類的云平臺不完備大數據填補方法,其特征在于:用所述值覆蓋填補完備相容類中的缺失數據時采用并行填補方式。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于武漢理工大學,未經武漢理工大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201510051653.7/1.html,轉載請聲明來源鉆瓜專利網。





