本發明公開了一種基于骨架的雙流自適應圖卷積網絡行為識別方法，包括步驟：1)視頻圖像采集；2)標注視頻中人體的骨架信息和行為類別，構建訓練集；3)構建自適應空間域圖卷積單元Convs和自適應時間域圖卷積單元Convt；4)利用自適應空間域圖卷積單元Convs和自適應時間域圖卷積單元Convt構建自適應圖卷積模塊；5)利用自適應圖卷積模塊構建自適應圖卷積網絡；6)利用自適應圖卷積網絡構建雙流自適應圖卷積網絡；7)利用訓練集訓練雙流自適應圖卷積網絡；8)利用訓練得到的雙流自適應圖卷積網絡對視頻圖像中的人體行為進行識別。通過本發明可有效提升人體行為種類識別的準確度，為各種計算機視覺處理應用打下了良好的基礎。

技術領域

本發明涉及圖像模式識別和深度神經網絡的技術領域，尤其是指一種基于骨架的雙流自適應圖卷積網絡行為識別方法。

背景技術

目前，視頻中的人體行為識別是目前計算機視覺領域中最活躍的研究主題之一，它在智能視頻監控、人機交互、基于內容的視頻檢索、虛擬現實等方面具有廣泛的應用前景和潛在經濟價值。

傳統的行為識別算法多用RGB視頻作為輸入，但當RGB視頻中背景動態干擾較多，光照不穩定，噪聲嚴重時，傳統行為識別算法的效果會受到影響。近年來，與傳統的使用RGB視頻進行識別的方法相比，基于骨架的行為識別因其對動態環境和復雜背景的適應性強而越來越受到關注。

提取視頻中人體骨架關節為頂點，其在人體中的自然連接為邊作為行為識別算法輸入能大大降低視頻中的環境干擾對算法識別率的影響。現有的基于骨架的行為識別算法輸入的骨架連接是根據人體自然連接定義的，沒有充分利用骨架關節之間的信息，同時也沒有充分利用關節的前后幀信息，因此急需提出一種自適應調節骨架連接識別并且充分利用空間時間信息的自適應方法。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于骨架的雙流自適應圖卷積網絡行為識別方法，該方法通過搜集大量視頻中人體行為的骨架數據，并基于圖卷積網絡技術，充分利用骨架的時空相關性信息，實現了有效識別視頻中人體行為的目的。

為實現上述目的，本發明所提供的技術方案為：一種基于骨架的雙流自適應圖卷積網絡行為識別方法，包括以下步驟：

1)視頻圖像采集；

2)標注視頻中人體的骨架信息和行為類別，構建訓練集；

3)構建自適應空間域圖卷積單元Convs和自適應時間域圖卷積單元Convt；

4)利用自適應空間域圖卷積單元Convs和自適應時間域圖卷積單元Convt構建自適應圖卷積模塊；

5)利用自適應圖卷積模塊構建自適應圖卷積網絡；

6)利用自適應圖卷積網絡構建雙流自適應圖卷積網絡；

7)利用訓練集訓練雙流自適應圖卷積網絡；

8)利用訓練得到的雙流自適應圖卷積網絡對視頻圖像中的人體行為進行識別。

在步驟1)中，利用攝像頭拍攝包含不同人體行為的視頻，其視角要求為從人體正面拍攝，并將人體放在畫面正中區域。

在步驟2)中，利用OpenPose算法檢測視頻中的人體骨架關鍵點，利用分區策略構建訓練集；包括以下步驟：

2.1)提取人體骨架關鍵點