本發明的實施方式提供了一種小樣本持續學習模型的訓練方法、介質、裝置和計算設備。該方法包括：所述小樣本持續學習模型中包含慢權重和快權重，基于當前任務對應的訓練數據集，計算所述慢權重對應的當前活動標記；基于所述當前活動標記與由在先任務存儲的累積活動標記，計算得到映射值；將所述慢權重復制至所述快權重，通過分類損失函數對所述快權重進行更新；通過更新后的快權重對所述慢權重中的參數進行更新，并基于更新后的所述快權重和所述慢權重，實現對所述小樣本持續學習模型的訓練。本發明能夠平衡在同一模型中小樣本學習的泛化能力以及持續學習的擬合能力，提升了小樣本持續學習模型對整個任務序列的處理性能。

技術領域

本發明的實施方式涉及人工智能技術領域，更具體地，本發明的實施方式涉及一種小樣本持續學習模型的訓練方法、介質、裝置和計算設備。

背景技術

本部分旨在為權利要求書中陳述的本發明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

小樣本學習和持續學習是科學和工程領域中存在的兩個較為重要的任務。小樣本學習的目標是實現從少量訓練樣本中學習一個新的任務，持續學習的目標是實現神經網絡在學習新任務時避免災難性遺忘已學過的舊任務，從而提升學習增量任務的能力。

然而，在實踐中發現，持續學習試圖精確地記憶輸入任務來減輕災難性遺忘，這不可避免地過擬合所看到的任務并干擾了小樣本學習所需要的泛化能力，通常會導致小樣本學習的學習能力降低，可見，小樣本學習和持續學習的目標很難同時實現，小樣本學習和持續學習的目標同時實現可能會影響對整個任務序列的處理性能。

發明內容

在本上下文中，本發明的實施方式期望提供一種小樣本持續學習模型的訓練方法，所述小樣本持續學習模型中包含慢權重和快權重，所述方法包括：

基于當前任務對應的訓練數據集，計算所述慢權重對應的當前活動標記；

基于所述當前活動標記與由在先任務存儲的累積活動標記，計算得到映射值，所述映射值用于約束所述快權重的更新；

將所述慢權重復制至所述快權重，通過分類損失函數對所述快權重進行更新；

通過更新后的快權重對所述慢權重中的參數進行更新，并基于更新后的所述快權重和所述慢權重，實現對所述小樣本持續學習模型的訓練。

在本實施方式的一個實施例中，基于當前任務對應的訓練數據集，計算所述慢權重對應的當前活動標記之前，所述方法還包括：

獲取預先設置的支持數據集；

基于所述支持數據集進行預訓練，得到慢權重。

在本實施方式的一個實施例中，所述小樣本持續學習模型包括特征嵌入層和輸出層，所述慢權重由所述特征嵌入層中的參數以及所述輸出層中的參數組成，所述快權重由所述特征嵌入層中的參數以及所述輸出層中的參數組成。

在本實施方式的一個實施例中，基于當前任務對應的訓練數據集，計算所述慢權重對應的當前活動標記，包括：

獲取當前任務對應的訓練數據集；

對所述訓練數據集進行計算，得到所述慢權重的特征嵌入層各層中各參數梯度期望的模長；

確定所述模長為所述慢權重對應的當前活動標記。

在本實施方式的一個實施例中，基于所述當前活動標記與由在先任務存儲的累積活動標記，計算得到映射值，包括：

獲取在先存儲的歷史任務對應的累積活動標記；

通過所述當前活動標記更新所述累積活動標記；

計算得到更新后的所述累積活動標記與所述當前活動標記的均值的差；