本公開實施例涉及一種用于語言模型的處理方法、文本生成方法、裝置及介質。其中，語言模型被部署在電子設備中，并且語言模型的同一特征層的計算中處于目標類型的計算之間的多個計算操作合并為一個融合計算操作，用于語言模型的處理方法包括：在確定所述融合計算操作即將被執行時，所述電子設備的CPU向GPU發送包含所述多個計算操作的操作指令；響應于接收到所述操作指令，所述GPU對所述多個計算操作進行處理。由此，可以有效降低語言模型的處理過程中的CPU和GPU之間的調度開銷以及GPU對顯存的重復讀寫開銷，從而可以有效提高GPU的計算效率，進而提高語言模型的計算效率，從而有效降低基于語言模型進行文本處理的延遲。

技術領域

本公開實施例涉及計算機技術領域，具體地，涉及一種用于語言模型的處理方法、文本生成方法、裝置及介質。

背景技術

在自然語言生成任務中，通常采用語言模型進行文本預測生成，語言模型的計算量通常比較龐大，給實際的部署執行帶來了困難。

相關技術中，通常采用計算圖的方式，然而上述過程中，需要使用大量的GPU(Graphics Processing Unit，圖形處理器)算子，造成算子調度、顯存傳輸等額外開銷，使得語言模型的部署后，基于該語言模型進行文本處理時執行延時較高、可用性較低。

發明內容

提供該發明內容部分以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該發明內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

本公開實施例提供一種用于語言模型的處理方法、文本生成方法、裝置及介質。

第一方面，本公開實施例提供一種用于語言模型的處理方法，所述語言模型被部署在電子設備中，并且所述語言模型的同一特征層的計算中處于目標類型的計算之間的多個計算操作合并為一個融合計算操作，所述方法包括：

在確定所述融合計算操作即將被執行時，所述電子設備的CPU(CentralProcessing Unit，中央處理器)向GPU發送包含所述多個計算操作的操作指令；

響應于接收到所述操作指令，所述GPU對所述多個計算操作進行處理。

第二方面，本公開實施例提供一種文本生成方法，所述方法包括：

接收待處理文本；

將所述待處理文本輸入語言模型，獲得所述待處理文本對應的下一候選字符以及每一所述候選字符對應的概率信息，其中，所述語言模型被部署在電子設備中，并且所述語言模型的同一特征層的計算中處于目標類型的計算之間的多個計算操作合并為一個融合計算操作，所述融合計算操作是通過所述電子設備的CPU向GPU發送包含所述多個計算操作的操作指令，以由該GPU對所述多個計算操作進行處理的方式執行的；

對每一所述候選字符對應的概率信息進行排序，并基于排序的結果從所述候選字符中確定多個目標字符；

分別將每一所述目標字符拼接在所述待處理文本的結尾，獲得多個拼接文本，以獲得所述待處理文本對應的目標文本，其中，所述目標文本為基于所述待處理文本最終生成的文本。

第三方面，本公開實施例提供一種用于語言模型的處理裝置，所述語言模型被部署在電子設備中，并且所述語言模型的同一特征層的計算中處于目標類型的計算之間的多個計算操作合并為一個融合計算操作，所述裝置包括：

發送模塊，用于在確定所述融合計算操作即將被執行時，所述電子設備的CPU向GPU發送包含所述多個計算操作的操作指令；

處理模塊，用于響應于接收到所述操作指令，所述GPU對所述多個計算操作進行處理。

第四方面，本公開實施例提供一種文本生成裝置，所述裝置包括：