本發明公開一種結構化知識蒸餾方法、裝置、設備及計算機可讀存儲介質，其中，所述結構化知識蒸餾方法包括步驟：輸入樣本訓練集至教師網絡和學生網絡，得到教師區域表征圖譜和教師輸出分數，以及學生區域表征圖譜和學生輸出分數；基于教師區域表征圖譜和學生區域表征圖譜，輸出區域相關性蒸餾損失函數；基于教師輸出分數和學生輸出分數，輸出類別相關性蒸餾損失函數；將區域相關性蒸餾損失函數、相關性蒸餾損失函數和交叉熵損失函數加權相加得到總損失函數；利用總損失函數指導學生網絡的參數更新，讓學生網絡的性能逼近、甚至高于教師網絡，克服了現有的學生網絡的網絡結構復雜、參數量大、運算量大和速度慢等的缺點。

技術領域

本發明涉及視頻數據領域，尤其涉及一種結構化知識蒸餾方法、裝置、設備及計算機可讀存儲介質。

背景技術

近年來，隨著人工智能和大數據的快速發展，以深度學習為代表的技術在不同領域取得了廣泛應用。但是深度神經網絡存在網絡結構復雜、參數量大、運算量大和速度慢等的缺點，使得現有的深度學習模型難以在移動端和嵌入式設備等進行部署。

因此，現有技術還有待改善。

發明內容

本發明的主要目的在于提出一種結構化知識蒸餾方法、裝置、設備及計算機可讀存儲介質，旨在解決學生網絡的網絡結構復雜、參數量大、運算量大和速度慢的問題，所述結構化知識蒸餾方法包括以下步驟：

輸入樣本訓練集至教師網絡和學生網絡，得到教師區域表征圖譜和教師輸出分數，以及學生區域表征圖譜和學生輸出分數；

基于所述教師區域表征圖譜和所述學生區域表征圖譜，輸出區域相關性蒸餾損失函數；

基于所述教師輸出分數和所述學生輸出分數，輸出類別相關性蒸餾損失函數；

將所述區域相關性蒸餾損失函數、所述相關性蒸餾損失函數和交叉熵損失函數加權相加得到總損失函數；

利用所述總損失函數指導所述學生網絡的參數更新。

此外，為實現上述目的，本發明還提供一種結構化知識蒸餾裝置，所述結構化知識蒸餾裝置包括：

輸入模塊，用于輸入樣本訓練集至教師網絡和學生網絡，得到教師區域表征圖譜和教師輸出分數，以及學生區域表征圖譜和學生輸出分數；

第一輸出模塊，用于基于所述教師區域表征圖譜和所述學生區域表征圖譜，輸出區域相關性蒸餾損失函數；

第二輸出模塊，用于基于所述教師輸出分數和所述學生輸出分數，輸出類別相關性蒸餾損失函數；

加權相加模塊，用于將所述區域相關性蒸餾損失函數、所述相關性蒸餾損失函數和交叉熵損失函數加權相加得到總損失函數；

指導模塊，用于利用所述總損失函數指導所述學生網絡的參數更新。

此外，為實現上述目的，本發明還提供一種結構化知識蒸餾設備，所述結構化知識蒸餾設備包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的結構化知識蒸餾程序，所述結構化知識蒸餾程序被所述處理器執行時實現如上所述的結構化知識蒸餾方法的步驟。

此外，為實現上述目的，本發明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有所述結構化知識蒸餾程序，所述結構化知識蒸餾程序被處理器執行時實現如上所述的結構化知識蒸餾方法的步驟。