[發(fā)明專利]數(shù)據(jù)處理方法及其設備有效
| 申請?zhí)枺?/td> | 201611140090.X | 申請日: | 2016-12-12 |
| 公開(公告)號: | CN107016028B | 公開(公告)日: | 2020-07-14 |
| 發(fā)明(設計)人: | 吳婭 | 申請(專利權)人: | 阿里巴巴集團控股有限公司 |
| 主分類號: | G06F16/22 | 分類號: | G06F16/22;G06F16/27;G06F16/215 |
| 代理公司: | 北京國昊天誠知識產(chǎn)權代理有限公司 11315 | 代理人: | 黃熊 |
| 地址: | 英屬開曼群島大開*** | 國省代碼: | 暫無信息 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數(shù)據(jù)處理 方法 及其 設備 | ||
1.一種數(shù)據(jù)處理方法,其特征在于,包括:
從源數(shù)據(jù)集中提取與算法對應的訓練數(shù)據(jù)集,所述源數(shù)據(jù)集按照每列與特征對應的數(shù)據(jù)表形式存儲;
通過所述算法對訓練數(shù)據(jù)集進行處理,生成結果數(shù)據(jù)集;
根據(jù)反饋信息對結果數(shù)據(jù)集打標簽,生成打標數(shù)據(jù)集,所述反饋信息是指對算法結果進行反饋的信息;
將打標數(shù)據(jù)集按照源數(shù)據(jù)集的存儲方式存儲為驗證數(shù)據(jù)集,所述驗證數(shù)據(jù)集是用于對所述算法進行驗證的數(shù)據(jù)集,所述驗證數(shù)據(jù)集用于根據(jù)算法對驗證數(shù)據(jù)集進行迭代訓練而優(yōu)化算法;
其中,將打標數(shù)據(jù)集按照源數(shù)據(jù)集的存儲方式存儲為驗證數(shù)據(jù)集的步驟包括:
將打標數(shù)據(jù)集轉換為與源數(shù)據(jù)集的數(shù)據(jù)表形式相同的數(shù)據(jù)表;
將轉換后的數(shù)據(jù)表作為驗證數(shù)據(jù)集存儲到所述源數(shù)據(jù)集所在的數(shù)據(jù)倉庫中。
2.如權利要求1所述的方法,其特征在于,在從源數(shù)據(jù)集中提取與算法對應的訓練數(shù)據(jù)集之前,還包括:確定與選擇的應用場景對應的算法。
3.如權利要求2所述的方法,其特征在于,在確定與選擇的應用場景對應的算法之前,還包括:預先將應用場景和與應用場景對應的算法進行關聯(lián)存儲。
4.如權利要求1至3中的任一權利要求所述的方法,其特征在于,所述源數(shù)據(jù)集是將從多種數(shù)據(jù)庫中提取的數(shù)據(jù)集進行數(shù)據(jù)清洗后的數(shù)據(jù)集。
5.如權利要求1所述的方法,其特征在于,在生成打標數(shù)據(jù)集之后,還包括:調用驗證數(shù)據(jù)集中的數(shù)據(jù)對所述算法的性能進行評價。
6.一種數(shù)據(jù)處理設備,其特征在于,包括:
提取模塊,從源數(shù)據(jù)集中提取與算法對應的訓練數(shù)據(jù)集,所述源數(shù)據(jù)集按照每列與特征對應的數(shù)據(jù)表形式存儲;
第一生成模塊,通過所述算法對訓練數(shù)據(jù)集進行處理,生成結果數(shù)據(jù)集;
第二生成模塊,根據(jù)反饋信息對結果數(shù)據(jù)集打標簽,生成打標數(shù)據(jù)集;
存儲模塊,將打標數(shù)據(jù)集按照源數(shù)據(jù)集的存儲方式存儲為驗證數(shù)據(jù)集,所述驗證數(shù)據(jù)集是用于對所述算法進行驗證的數(shù)據(jù)集,所述驗證數(shù)據(jù)集用于根據(jù)算法對驗證數(shù)據(jù)集進行迭代訓練而優(yōu)化算法;
其中,存儲模塊將打標數(shù)據(jù)集轉換為與源數(shù)據(jù)集的數(shù)據(jù)表的形式相同的數(shù)據(jù)表;將轉換后的數(shù)據(jù)表作為驗證數(shù)據(jù)集存儲到所述源數(shù)據(jù)集所在的數(shù)據(jù)倉庫中。
7.如權利要求6所述的設備,其特征在于,還包括:確定模塊,確定與選擇的應用場景對應的算法,從而提取模塊從源數(shù)據(jù)集中提取與所述算法對應的訓練數(shù)據(jù)集。
8.如權利要求7所述的設備,其特征在于,還包括:存儲模塊,預先將應用場景和與應用場景對應的算法進行關聯(lián)存儲。
9.如權利要求6至8中的任一權利要求所述的設備,其特征在于,所述源數(shù)據(jù)集是將從多種數(shù)據(jù)庫中提取的數(shù)據(jù)集進行數(shù)據(jù)清洗后的數(shù)據(jù)集。
10.如權利要求6所述的設備,其特征在于,還包括:評價模塊,調用驗證數(shù)據(jù)集中的數(shù)據(jù)對所述算法的性能進行評價。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴集團控股有限公司,未經(jīng)阿里巴巴集團控股有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201611140090.X/1.html,轉載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)處理設備,數(shù)據(jù)處理方法,和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理電路、數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、數(shù)據(jù)處理控制方法
- 數(shù)據(jù)處理設備、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法及計算機可讀取的記錄介質
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法以及數(shù)據(jù)處理程序
- 數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法和數(shù)據(jù)處理程序





