[發明專利]翻譯模型訓練的方法、語句翻譯的方法、設備及存儲介質有效
| 申請號： | 201810445783.2 | 申請日： | 2018-05-10 |
| 公開（公告）號： | CN110472251B | 公開（公告）日： | 2023-05-30 |
| 發明（設計）人： | 程勇;涂兆鵬;孟凡東;翟俊杰;劉洋 | 申請（專利權）人： | 騰訊科技（深圳）有限公司 |
| 主分類號： | G06F40/58 | 分類號： | G06F40/58;G06F40/30 |
| 代理公司： | 深圳市深佳知識產權代理事務所(普通合伙) 44285 | 代理人： | 王仲凱 |
| 地址： | 518057 廣東省深圳*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 翻譯 模型 訓練 方法 語句 設備 存儲 介質 | ||
1.一種翻譯模型訓練的方法，其特征在于，包括：
獲取訓練樣本集合，所述訓練樣本集合中包括多個訓練樣本，每個訓練樣本為一個訓練樣本對，所述訓練樣本對包括訓練輸入樣本和訓練輸出樣本；
確定每個訓練輸入樣本各自對應的擾動輸入樣本集合，以及所述擾動輸入樣本集合對應的擾動輸出樣本，所述擾動輸入樣本集合包括至少一個擾動輸入樣本，所述擾動輸出樣本與所述訓練輸出樣本相同，所述擾動輸入樣本為與對應訓練輸入樣本意思相同但文字不同的詞，所述擾動輸入樣本與對應訓練輸入樣本的語義相似度高于第一預設值；
使用多個訓練樣本對和所述每個訓練輸入樣本各自對應的擾動輸入樣本集合，以及所述擾動輸入樣本集合對應的擾動輸出樣本訓練初始翻譯模型，以得到目標翻譯模型。
2.根據權利要求1所述的方法，其特征在于，所述確定每個訓練輸入樣本各自對應的擾動輸入樣本集合，包括：
確定所述每個訓練輸入樣本中的第一詞語，所述第一詞語為待被替換的詞語；
用至少一個第二詞語分別替換所述第一詞語，以得到所述擾動輸入樣本集合，所述第二詞語與所述第一詞語的語義相似度高于第二預設值。
3.根據權利要求1所述的方法，其特征在于，所述確定每個訓練輸入樣本各自對應的擾動輸入樣本集合，包括：
確定所述每個訓練輸入樣本中每個詞語的詞向量；
每次在所述每個詞語的詞向量上疊加一個不同的高斯噪聲向量，以得到所述擾動輸入樣本集合。
4.根據權利要求1-3任一所述的方法，其特征在于，所述初始翻譯模型包括編碼器、分類器和解碼器；
所述編碼器用于接收所述訓練輸入樣本和對應的擾動輸入樣本，并輸出第一中間表示結果和第二中間表示結果，所述第一中間表示結果為所述訓練輸入樣本的中間表示結果，所述第二中間表示結果為所述對應的擾動輸入樣本的中間表示結果；
所述分類器用于區分所述第一中間表示結果和所述第二中間表示結果；
所述解碼器用于根據第一中間表示結果輸出所述訓練輸出樣本，根據所述第二中間表示結果輸出所述訓練輸出樣本。
5.根據權利要求4所述的方法，其特征在于，所述初始翻譯模型的模型目標函數包括與所述分類器和所述編碼器相關的分類目標函數、與所述編碼器和所述解碼器相關的訓練目標函數和擾動目標函數；
其中，所述分類目標函數中包括所述訓練輸入樣本、所述對應的擾動輸入樣本、所述編碼器的參數和所述分類器的參數；
所述訓練目標函數包括所述訓練輸入樣本、所述訓練輸出樣本、所述編碼器的參數和所述解碼器的參數；
所述擾動目標函數包括所述擾動輸入樣本、所述訓練輸出樣本、所述編碼器的參數和所述解碼器的參數。
6.根據權利要求5所述的方法，其特征在于，所述使用多個訓練樣本對和所述每個訓練輸入樣本各自對應的擾動輸入樣本集合，以及所述擾動輸入樣本集合對應的擾動輸出樣本訓練初始翻譯模型，以得到目標翻譯模型，包括：
將每個訓練輸入樣本、對應的擾動輸入樣本以及對應的訓練輸出樣本輸入所述模型目標函數；
按照梯度下降的方式優化所述模型目標函數，以確定出所述編碼器的參數的取值、所述解碼器的參數的取值和所述分類器的參數的取值，其中，對于分類目標函數中編碼器的參數的梯度乘以-1。
7.一種語句翻譯的方法，其特征在于，包括：
接收以第一語言表達的第一待翻譯語句；
使用目標翻譯模型對所述第一待翻譯語句進行翻譯，以得到用第二語言表達的翻譯結果語句，其中所述目標翻譯模型為使用多個訓練樣本和所述多個訓練樣本中每個訓練樣本各自對應的擾動樣本集合訓練得到的，所述擾動樣本集合包括至少一個擾動樣本，所述擾動樣本與對應訓練樣本的語義相似度高于第一預設值，所述目標翻譯模型為如權利要求1所述方法訓練得到的模型；
輸出所述用第二語言表達的翻譯結果語句。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于騰訊科技（深圳）有限公司，未經騰訊科技（深圳）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201810445783.2/1.html，轉載請聲明來源鉆瓜專利網。
