[發明專利]數據處理方法、裝置、設備及存儲介質有效
| 申請號: | 201911149101.4 | 申請日: | 2019-11-21 |
| 公開(公告)號: | CN110929532B | 公開(公告)日: | 2023-03-21 |
| 發明(設計)人: | 袁松嶺;文心杰;王曉利;伍海江 | 申請(專利權)人: | 騰訊科技(深圳)有限公司 |
| 主分類號: | G06F40/58 | 分類號: | G06F40/58 |
| 代理公司: | 北京三高永信知識產權代理有限責任公司 11138 | 代理人: | 邢惠童 |
| 地址: | 518057 廣東省深圳*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據處理 方法 裝置 設備 存儲 介質 | ||
1.一種數據處理方法,其特征在于,所述方法包括:
獲取待篩選數據集,所述待篩選數據集包括多個待篩選的源語言數據;
基于目標數據篩選模型,對所述待篩選數據集中的各個源語言數據進行篩選,得到篩選后的源語言數據,所述目標數據篩選模型利用強化學習算法訓練得到;
將所述篩選后的源語言數據作為目標源語言數據,獲取與所述目標源語言數據對應的標注語言數據,基于所述目標源語言數據和所述標注語言數據獲取機器翻譯模型;
所述方法還包括:
隨機初始化第一訓練數據集,所述第一訓練數據集包括多個源語言訓練數據;將所述隨機初始化的第一訓練數據集劃分為至少一個目標訓練數據集;
獲取第一目標訓練數據集中的各個源語言訓練數據的目標特征,所述第一目標訓練數據集為所述至少一個目標訓練數據集中的第一個目標訓練數據集;
將所述第一目標訓練數據集中的各個源語言訓練數據的目標特征輸入第一數據篩選模型,得到所述第一目標訓練數據集中的各個源語言訓練數據的篩選結果;基于所述第一目標訓練數據集中的各個源語言訓練數據的篩選結果,確定所述第一目標訓練數據集中的各個源語言訓練數據的權重值;
基于所述第一目標訓練數據集中的各個源語言訓練數據的目標特征、篩選結果、權重值和第二目標訓練數據集中的各個源語言訓練數據的目標特征,生成與所述第一目標訓練數據集中的各個源語言訓練數據對應的候選數據,所述第二目標訓練數據集為所述至少一個目標訓練數據集中的所述第一目標訓練數據集的下一個目標訓練數據集;
選取目標數量的候選數據,基于所述目標數量的候選數據更新所述第一數據篩選模型的參數,得到更新后的第一數據篩選模型;
基于所述更新后的第一數據篩選模型返回將所述隨機初始化的第一訓練數據集劃分為至少一個目標訓練數據集的步驟進行迭代訓練,直至滿足第二訓練終止條件,得到第二數據篩選模型;
基于所述第二數據篩選模型返回隨機初始化第一訓練數據集的步驟進行迭代訓練,直至滿足第一訓練終止條件,得到所述目標數據篩選模型。
2.根據權利要求1所述的方法,其特征在于,所述基于所述第一目標訓練數據集中的各個源語言訓練數據的篩選結果,確定所述第一目標訓練數據集中的各個源語言訓練數據的權重值,包括:
對于所述第一目標訓練數據集中的任一源語言訓練數據,當所述任一源語言訓練數據的篩選結果為第一結果時,將第一權重值作為所述任一源語言訓練數據的權重值;
當所述任一源語言訓練數據的篩選結果為第二結果時,將第二權重值作為所述任一源語言訓練數據的權重值。
3.根據權利要求2所述的方法,其特征在于,所述當所述任一源語言訓練數據的篩選結果為第一結果時,將第一權重值作為所述任一源語言訓練數據的權重值之前,所述方法還包括:
獲取與每個目標源語言訓練數據對應的標注語言訓練數據,所述目標源語言訓練數據為篩選結果為第一結果的源語言訓練數據;
將各個目標源語言訓練數據和與所述各個目標源語言訓練數據對應的各個標注語言訓練數據作為訓練數據添加至第二訓練數據集中;
基于所述第二訓練數據集對第一翻譯模型進行訓練,得到第二翻譯模型;
基于所述第二翻譯模型和所述第一翻譯模型,獲取所述第一權重值。
4.根據權利要求1-3任一所述的方法,其特征在于,所述獲取第一目標訓練數據集中的各個源語言訓練數據的目標特征,包括:
對于所述第一目標訓練數據集中的任一源語言訓練數據,基于所述任一源語言訓練數據中的各個子數據,獲取所述任一源語言訓練數據的第一特征;
基于所述任一源語言訓練數據和第三翻譯模型,獲取所述任一源語言訓練數據的第二特征;
基于所述第一特征和所述第二特征,獲取所述任一源語言訓練數據的目標特征。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于騰訊科技(深圳)有限公司,未經騰訊科技(深圳)有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201911149101.4/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種工程施工用的項目管理系統
- 下一篇:一種超級電容器電極結構及增強方法





