本申請公開了一種翻譯模型的性能確定方法、置信度確定方法、裝置、設備及存儲介質，屬于人工智能技術領域。本申請通過獲取翻譯模型輸出的譯文以及該譯文中各個單詞的置信度，該置信度用于指示其對應的單詞為正確翻譯結果的概率；基于該置信度的取值，將各個置信度分為多個組；確定各組置信度對應的平均置信度以及各組置信度所對應單詞的平均準確率；基于各組置信度的平均置信度以及平均準確率，確定該翻譯模型的置信度誤差，該置信度誤差用于指示該翻譯模型的性能。應用上述技術方案，可以準確獲取到翻譯模型的置信度誤差，基于該置信度誤差可以更準確地對翻譯模型性能進行分析，便于對翻譯模型進行改進。

技術領域

本申請涉及人工智能技術領域，特別涉及一種翻譯模型的性能確定方法、置信度確定方法、裝置、設備及存儲介質。

背景技術

隨著人工智能技術的發展，深度神經網絡的應用越來越多元化，例如，在計算機輔助翻譯的場景中，可以基于深度神經網絡構建機器翻譯模型，由機器翻譯模型對輸入文本進行處理，得到輸入文本對應的譯文以及譯文中各個詞組的置信度，其中，置信度可以用于表示一個詞組為正確翻譯結果的概率。當機器翻譯模型對某個詞組的置信度較低時，可以將這一信息反饋給譯員，便于譯員準確定位到譯文中翻譯不準確的詞組，對譯文進行再次編輯。

但是，在實際應用中，模型所輸出的置信度可能會存在誤差，這種誤差會對模型輸出結果的準確性造成影響，使開發人員難以準確掌握模型的性能，進而難以對模型的進行改進，因此，如何確定模型的置信度誤差，是一個重要研究方向。

發明內容

本申請實施例提供了一種翻譯模型的性能確定方法、置信度確定方法、裝置、設備及存儲介質，可以獲取到翻譯模型的置信度誤差，進而確定模型性能。該技術方案如下：

一方面，提供了一種翻譯模型的性能確定方法，該方法包括：

獲取翻譯模型輸出的譯文以及該譯文中各個單詞的置信度，該置信度用于指示其對應的單詞為正確翻譯結果的概率；

基于該置信度的取值，將各個該置信度分為多個組；

確定各組置信度對應的平均置信度以及該各組置信度所對應單詞的平均準確率；

基于該各組置信度的該平均置信度以及該平均準確率，確定該翻譯模型的置信度誤差，該置信度誤差用于指示該翻譯模型的性能。

一方面，提供了一種翻譯模型的置信度確定方法，該方法包括：

獲取翻譯模型所輸出的譯文中各個單詞的初始置信度，該初始置信度用于指示該翻譯模型所輸出單詞為正確翻譯結果的概率；

基于各個該初始置信度的取值，確定各個該初始置信度對應的平滑因子，該平滑因子用于對各個該初始置信度的取值進行調整；

基于各個該初始置信度的取值以及各個該初始置信度對應的平滑因子，確定該各個單詞對應的目標置信度。

一方面，提供了一種翻譯模型的性能確定裝置，該裝置包括：

獲取模塊，用于獲取翻譯模型輸出的譯文以及該譯文中各個單詞的置信度，該置信度用于指示其對應的單詞為正確翻譯結果的概率；

分組模塊，用于基于該置信度的取值，將各個該置信度分為多個組；

確定模塊，用于確定各組置信度對應的平均置信度以及該各組置信度所對應單詞的平均準確率；基于該各組置信度的該平均置信度以及該平均準確率，確定該翻譯模型的置信度誤差，該置信度誤差用于指示該翻譯模型的性能。

一方面，提供了一種翻譯模型的置信度確定裝置，該裝置包括：

獲取模塊，用于獲取翻譯模型所輸出的譯文中各個單詞的初始置信度，該初始置信度用于指示該翻譯模型所輸出單詞為正確翻譯結果的概率；