[發(fā)明專利]數(shù)據(jù)處理方法及裝置在審
| 申請?zhí)枺?/td> | 202010637851.2 | 申請日： | 2020-07-01 |
| 公開（公告）號： | CN111783999A | 公開（公告）日： | 2020-10-16 |
| 發(fā)明（設(shè)計）人： | 徐兵;羅剛;傅雨梅 | 申請（專利權(quán)）人： | 北京知因智慧科技有限公司 |
| 主分類號： | G06N20/00 | 分類號： | G06N20/00 |
| 代理公司： | 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463 | 代理人： | 張萌 |
| 地址： | 100000 北京市西城區(qū)*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 數(shù)據(jù)處理 方法 裝置 | ||
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：
獲取用于訓(xùn)練預(yù)測模型的目標數(shù)據(jù)樣本，所述目標數(shù)據(jù)樣本包括目標變量和多個特征變量；
分別對所述目標數(shù)據(jù)樣本中多個所述特征變量對應(yīng)的數(shù)據(jù)進行統(tǒng)計，得到多個所述特征變量中每個特征變量的數(shù)據(jù)指標；
對多個所述特征變量的數(shù)據(jù)指標進行分析，確定多個所述特征變量中與所述目標變量相關(guān)的特征變量。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特征變量包括數(shù)值型變量和分類型變量，所述對多個所述特征變量的數(shù)據(jù)指標進行分析，確定多個所述特征變量中與所述目標變量相關(guān)的特征變量的步驟，包括：
對所述數(shù)值型變量的數(shù)據(jù)指標進行分析，確定單個所述數(shù)值型變量與所述目標變量的關(guān)系；
對所述分類型變量的數(shù)據(jù)指標進行分析，確定單個所述分類型變量與所述目標變量的關(guān)系。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對多個所述特征變量的數(shù)據(jù)指標進行分析，確定多個所述特征變量中與所述目標變量相關(guān)的特征變量的步驟，包括：
基于重要性評價指標，根據(jù)多個所述特征變量的數(shù)據(jù)指標確定多個所述特征變量中的重要特征變量，將所述重要特征變量作為與所述目標變量相關(guān)的特征變量；
其中，所述重要性評價指標包括信息增益、信息增益比、基尼不純系數(shù)、特征權(quán)重在分類中的占比、卡方檢驗和相關(guān)性快速過濾特征選擇中的一種或多種。
4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述對多個所述特征變量的數(shù)據(jù)指標進行分析，確定多個所述特征變量中與所述目標變量相關(guān)的特征變量的步驟，包括：
對多個所述特征變量中的每兩個特征變量的數(shù)據(jù)指標進行組合分析，得到目標組合特征變量；
從所述目標組合特征變量中確定與所述目標變量相關(guān)的組合特征變量。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
分別對多個所述特征變量的統(tǒng)計指標進行異常值檢測，得到異常數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
根據(jù)多個所述特征變量的數(shù)據(jù)指標計算所述特征變量之間的線性相關(guān)關(guān)系，得到具有線性相關(guān)關(guān)系的目標特征變量。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
采用主成分分析PCA和t分布隨機鄰域嵌入t-SNE對多個所述特征變量進行降維分析。
8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：
獲取模塊，用于獲取用于訓(xùn)練預(yù)測模型的目標數(shù)據(jù)樣本，所述目標數(shù)據(jù)樣本包括目標變量和多個特征變量；
統(tǒng)計模塊，用于分別對所述目標數(shù)據(jù)樣本中多個所述特征變量對應(yīng)的數(shù)據(jù)進行統(tǒng)計，得到多個所述特征變量中每個特征變量的數(shù)據(jù)指標；
特征分析模塊，用于對多個所述特征變量的數(shù)據(jù)指標進行分析，確定多個所述特征變量中與所述目標變量相關(guān)的特征變量。
9.一種電子設(shè)備，其特征在于，包括處理器和機器可讀存儲介質(zhì)，所述機器可讀存儲介質(zhì)存儲有能夠被所述處理器執(zhí)行的機器可執(zhí)行指令，所述處理器執(zhí)行所述機器可執(zhí)行指令以實現(xiàn)權(quán)利要求1-7任一項所述的方法。
10.一種機器可讀存儲介質(zhì)，其特征在于，所述機器可讀存儲介質(zhì)存儲有機器可執(zhí)行指令，所述機器可執(zhí)行指令在被處理器調(diào)用和執(zhí)行時，所述機器可執(zhí)行指令促使所述處理器實現(xiàn)權(quán)利要求1-7任一項所述的方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京知因智慧科技有限公司，未經(jīng)北京知因智慧科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202010637851.2/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)處理設(shè)備，數(shù)據(jù)處理方法，和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理電路、數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、數(shù)據(jù)處理控制方法
- 數(shù)據(jù)處理設(shè)備、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及計算機可讀取的記錄介質(zhì)
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
