[發(fā)明專利]數(shù)據(jù)特征處理方法及數(shù)據(jù)特征處理裝置有效
| 申請(qǐng)?zhí)枺?/td> | 202010998380.8 | 申請(qǐng)日: | 2020-09-22 |
| 公開(公告)號(hào): | CN111859057B | 公開(公告)日: | 2020-12-04 |
| 發(fā)明(設(shè)計(jì))人: | 顧凌云;謝旻旗;段灣;劉輝;陶帥;潘峻;張濤 | 申請(qǐng)(專利權(quán))人: | 上海冰鑒信息科技有限公司 |
| 主分類號(hào): | G06F16/906 | 分類號(hào): | G06F16/906;G06K9/62 |
| 代理公司: | 成都頂峰專利事務(wù)所(普通合伙) 51224 | 代理人: | 匡睿 |
| 地址: | 200000 上海市浦東新區(qū)*** | 國(guó)省代碼: | 上海;31 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 數(shù)據(jù) 特征 處理 方法 裝置 | ||
1.一種數(shù)據(jù)特征處理方法,其特征在于,應(yīng)用于數(shù)據(jù)處理服務(wù)器,所述方法包括:
獲取多組業(yè)務(wù)數(shù)據(jù);其中,每組業(yè)務(wù)數(shù)據(jù)包括n個(gè)數(shù)據(jù)特征,n為正整數(shù);
按照業(yè)務(wù)數(shù)據(jù)的獲取時(shí)刻由近到遠(yuǎn)的順序?qū)λ龆嘟M業(yè)務(wù)數(shù)據(jù)進(jìn)行排序得到業(yè)務(wù)數(shù)據(jù)排序序列;確定排序靠前的第一設(shè)定比例的業(yè)務(wù)數(shù)據(jù)作為跨時(shí)間驗(yàn)證集并確定排序靠后的第二設(shè)定比例的業(yè)務(wù)數(shù)據(jù)作為建模樣本數(shù)據(jù);以所述建模樣本數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)特征為模型特征,采用預(yù)設(shè)分類器建立識(shí)別模型;其中,所述第一設(shè)定比例和所述第二設(shè)定比例的和值為一;
根據(jù)所述識(shí)別模型及其增益指標(biāo)計(jì)算所述n個(gè)數(shù)據(jù)特征的特征重要性數(shù)值,以所述建模樣本數(shù)據(jù)為基準(zhǔn),計(jì)算所述n個(gè)數(shù)據(jù)特征中各個(gè)數(shù)據(jù)特征的相關(guān)性系數(shù)矩陣;其中,所述相關(guān)性系數(shù)矩陣為n*n矩陣;
從所述相關(guān)性系數(shù)矩陣中確定出多個(gè)目標(biāo)集合;其中,不同的目標(biāo)集合之間不存在重復(fù)的元素;
刪除每個(gè)目標(biāo)集合中具有最大特征重要性數(shù)值的數(shù)據(jù)特征,并將每個(gè)目標(biāo)集合中的剩余的數(shù)據(jù)特征合并為一個(gè)特征集合,將所述n個(gè)數(shù)據(jù)特征中與所述特征集合中的數(shù)據(jù)特征相同的數(shù)據(jù)特征剔除,得到模型待選特征;其中,所述特征集合中的數(shù)據(jù)特征為m個(gè),所述模型待選特征為n-m個(gè),m為小于n的正整數(shù);
將所述模型待選特征按照特征重要性數(shù)值由高到低的順序分批次導(dǎo)入所述預(yù)設(shè)分類器,獲取預(yù)設(shè)分類器計(jì)算出的相鄰兩個(gè)第一性能指標(biāo)數(shù)據(jù)的差值;判斷所述差值是否符合預(yù)設(shè)條件;在所述差值符合所述預(yù)設(shè)條件時(shí),從所述模型待選特征中確定出自動(dòng)化模型特征并計(jì)算所述識(shí)別模型在所述跨時(shí)間驗(yàn)證集上的第二性能指標(biāo)數(shù)據(jù);根據(jù)所述差值以及所述第二性能指標(biāo)數(shù)據(jù)確定模型基準(zhǔn)性能數(shù)據(jù);
將所述自動(dòng)化模型特征以及所述模型基準(zhǔn)性能數(shù)據(jù)進(jìn)行關(guān)聯(lián)存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,從所述相關(guān)性系數(shù)矩陣中確定出多個(gè)目標(biāo)集合,包括:
從所述相關(guān)性系數(shù)矩陣中選取出相關(guān)性系數(shù)位于設(shè)定數(shù)值區(qū)間內(nèi)的行名稱和列名稱并建立多個(gè)第一集合;
將具有相同元素的第一集合進(jìn)行合并以得到多個(gè)目標(biāo)集合。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,將所述模型待選特征按照特征重要性數(shù)值由高到低的順序分批次導(dǎo)入所述預(yù)設(shè)分類器,獲取預(yù)設(shè)分類器計(jì)算出的相鄰兩個(gè)第一性能指標(biāo)數(shù)據(jù)的差值,包括:
將所述模型待選特征按照特征重要性數(shù)值由高到低的順序進(jìn)行排序得到模型待選特征序列;
將所述序列中的前x個(gè)模型待選特征導(dǎo)入所述預(yù)設(shè)分類器并計(jì)算所述預(yù)設(shè)分類器在設(shè)定驗(yàn)證方式下測(cè)試集上的x個(gè)模型待選特征對(duì)應(yīng)的第一性能指標(biāo)數(shù)據(jù);將所述序列中的前2x個(gè)模型待選特征導(dǎo)入所述預(yù)設(shè)分類器并計(jì)算所述預(yù)設(shè)分類器在設(shè)定驗(yàn)證方式下測(cè)試集上的2x個(gè)模型待選特征對(duì)應(yīng)的第一性能指標(biāo)數(shù)據(jù);其中,x為正整數(shù);
計(jì)算所述2x個(gè)模型待選特征對(duì)應(yīng)的第一性能指標(biāo)數(shù)據(jù)與所述x個(gè)模型待選特征對(duì)應(yīng)的第一性能指標(biāo)數(shù)據(jù)之間的差值。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,判斷所述差值是否符合預(yù)設(shè)條件,包括:
判斷所述差值是否大于設(shè)定閾值;
若所述差值大于所述設(shè)定閾值,則判定所述差值不符合所述預(yù)設(shè)條件;
若所述差值小于等于所述設(shè)定閾值,則判定所述差值符合所述預(yù)設(shè)條件。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,根據(jù)所述差值以及所述第二性能指標(biāo)數(shù)據(jù)確定模型基準(zhǔn)性能數(shù)據(jù),包括:
計(jì)算所述預(yù)設(shè)分類器在設(shè)定驗(yàn)證方式下訓(xùn)練集上的x個(gè)模型待選特征對(duì)應(yīng)的第三性能指標(biāo)數(shù)據(jù);
將所述預(yù)設(shè)分類器在設(shè)定驗(yàn)證方式下訓(xùn)練集上的x個(gè)模型待選特征對(duì)應(yīng)的第三性能指標(biāo)數(shù)、所述預(yù)設(shè)分類器在設(shè)定驗(yàn)證方式下測(cè)試集上的x個(gè)模型待選特征對(duì)應(yīng)的第一性能指標(biāo)數(shù)據(jù)以及所述第二性能指標(biāo)數(shù)據(jù)確定為所述模型基準(zhǔn)性能數(shù)據(jù)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于上海冰鑒信息科技有限公司,未經(jīng)上海冰鑒信息科技有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010998380.8/1.html,轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 一種數(shù)據(jù)庫讀寫分離的方法和裝置
- 一種手機(jī)動(dòng)漫人物及背景創(chuàng)作方法
- 一種通訊綜合測(cè)試終端的測(cè)試方法
- 一種服裝用人體測(cè)量基準(zhǔn)點(diǎn)的獲取方法
- 系統(tǒng)升級(jí)方法及裝置
- 用于虛擬和接口方法調(diào)用的裝置和方法
- 線程狀態(tài)監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)
- 一種JAVA智能卡及其虛擬機(jī)組件優(yōu)化方法
- 檢測(cè)程序中方法耗時(shí)的方法、裝置及存儲(chǔ)介質(zhì)
- 函數(shù)的執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)





