[發明專利]用于語言模型的處理方法、文本生成方法、裝置及介質在審
| 申請號: | 202110057292.2 | 申請日: | 2021-01-15 |
| 公開(公告)號: | CN112818663A | 公開(公告)日: | 2021-05-18 |
| 發明(設計)人: | 熊鷹;王曉暉;陳家澤;李磊 | 申請(專利權)人: | 北京有竹居網絡技術有限公司 |
| 主分類號: | G06F40/216 | 分類號: | G06F40/216;G06F40/279 |
| 代理公司: | 北京英創嘉友知識產權代理事務所(普通合伙) 11447 | 代理人: | 魏嘉熹 |
| 地址: | 101299 北京市平*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 用于 語言 模型 處理 方法 文本 生成 裝置 介質 | ||
1.一種用于語言模型的處理方法,其特征在于,所述語言模型被部署在電子設備中,并且所述語言模型的同一特征層的計算中處于目標類型的計算之間的多個計算操作合并為一個融合計算操作,所述方法包括:
在確定所述融合計算操作即將被執行時,所述電子設備的CPU向GPU發送包含所述多個計算操作的操作指令;
響應于接收到所述操作指令,所述GPU對所述多個計算操作進行處理。
2.根據權利要求1所述的方法,其特征在于,所述語言模型對應的顯存空間通過以下方式預先確定:
根據預設文本長度和所述語言模型中的參數信息確定所述語言模型進行文本處理對應的存儲空間使用量,其中所述參數信息包括所述語言模型中用于進行計算的模型參數的數據長度,以及基于模型參數進行計算所對應的計算結果的數據長度;
從所述電子設備的顯存中申請大小為所述存儲空間使用量的存儲空間,作為所述顯存空間。
3.根據權利要求2所述的方法,其特征在于,所述語言模型中包含多個用于進行迭代計算的迭代特征層,每個所述迭代特征層進行迭代計算所得的計算結果對應于所述顯存空間中的同一存儲地址。
4.根據權利要求2所述的方法,其特征在于,所述語言模型中包括編碼器模塊和解碼器模塊,所述編碼器模塊和所述解碼器模塊的計算結果對應于所述顯存空間中的同一存儲地址。
5.根據權利要求1-4任一項所述的方法,其特征在于,基于所述GPU中并行的多個處理線程對所述語言模型的輸出結果進行排序。
6.一種文本生成方法,其特征在于,所述方法包括:
接收待處理文本;
將所述待處理文本輸入語言模型,獲得所述待處理文本對應的下一候選字符以及每一所述候選字符對應的概率信息,其中,所述語言模型被部署在電子設備中,并且所述語言模型的同一特征層的計算中處于目標類型的計算之間的多個計算操作合并為一個融合計算操作,所述融合計算操作是通過所述電子設備的CPU向GPU發送包含所述多個計算操作的操作指令,以由該GPU對所述多個計算操作進行處理的方式執行的;
對每一所述候選字符對應的概率信息進行排序,并基于排序的結果從所述候選字符中確定多個目標字符;
分別將每一所述目標字符拼接在所述待處理文本的結尾,獲得多個拼接文本,以獲得所述待處理文本對應的目標文本,其中,所述目標文本為基于所述待處理文本最終生成的文本。
7.根據權利要求6所述的方法,其特征在于,所述方法還包括:
針對每一所述拼接文本,確定所述拼接文本是否滿足文本生成要求;
在所述拼接文本滿足文本生成要求的情況下,將所述拼接文本確定為所述目標文本;
在所述拼接文本未滿足所述文本生成要求的情況下,將所述拼接文本作為新的待處理文本,并重新執行所述將所述待處理文本輸入語言模型,獲得所述待處理文本對應的下一候選字符以及每一所述候選字符對應的概率信息的步驟至所述針對每一所述拼接文本,確定所述拼接文本是否滿足文本生成要求的步驟。
8.根據權利要求6所述的方法,其特征在于,所述語言模型對應的顯存空間通過以下方式預先確定:
根據預設文本長度和所述語言模型中的參數信息確定所述語言模型進行文本處理對應的存儲空間使用量,其中所述參數信息包括所述語言模型中用于進行計算的模型參數的數據長度,以及基于模型參數進行計算所對應的計算結果的數據長度;
從所述電子設備的顯存中申請大小為所述存儲空間使用量的存儲空間,作為所述顯存空間。
9.根據權利要求8所述的方法,其特征在于,所述語言模型中包含多個用于進行迭代計算的迭代特征層,每個所述迭代特征層進行迭代計算的計算結果對應于所述顯存空間中的同一存儲地址;
所述方法還包括:
在所述語言模型進行計算的過程中,針對每一所述迭代特征層,在該迭代特征層獲得計算結果的情況下,將該計算結果存儲在所述存儲地址指示的空間,以對所述存儲地址指示的空間中存儲的當前內容進行覆蓋。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京有竹居網絡技術有限公司,未經北京有竹居網絡技術有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202110057292.2/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種食品藥品檢驗溶解裝置
- 下一篇:一種便攜式頸部肌肉鍛煉器





