本發明公開了一種行為識別方法，包括：對待處理的目標對象的圖片進行人體檢測，得到人體ROI區域；對所述人體ROI區域進行特征提取，得到人體關鍵點；基于所述人體關鍵點，得到行為參數以及姿態參數；根據所述行為參數與所述姿態參數識別目標對象的行為。本發明利用關鍵點得到行為參數和姿態參數，結合所述行為參數和所述姿態參數得到最終的行為識別結果，提高了行為識別的魯棒性。

技術領域

本發明涉及人工智能領域，具體涉及一種行為識別方法、裝置、機器可讀介質及設備。

背景技術

在視頻結構化場景下，檢測器獲取人體框信息之后，往往還需要進一步獲取人體的姿態信息，用于后續人體行為的理解。

人體的姿態信息往往可以通過人體的主要關節點位置來描述。例如：通過確定頭、肩、軀干、手、腿、腳的位置，然后按一定順序連接這些關節點，可以勾勒出人體的姿態，進而理解人體的行為。因此，需要先通過對人體關節點進行檢測，進而用于人體行為理解。

然而現有的人體行為理解算法，往往通過輸入時序視頻序列，利用3D卷積神經網絡或者循環神經網絡(LSTM)等算法來提取時空一致性特征。這些算法耗時較大、內存占用較多，很難滿足實時性的監控響應需求。此外，監控場景下，存在遮擋、截斷、亮度差、模糊等問題，使得網絡提取的特征不夠純凈，給行為理解帶來困難。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種行為識別方法、裝置、機器可讀介質及設備，用于解決現有技術存在的問題。

為實現上述目的及其他相關目的，本發明提供一種行為識別方法，包括：

對待處理的目標對象的圖片進行人體檢測，得到人體ROI區域；

對所述人體ROI區域進行特征提取，得到人體關鍵點；

基于所述人體關鍵點，得到行為參數以及姿態參數；

根據所述行為參數與所述姿態參數識別目標對象的行為。

可選地，所述行為參數包括行為類別以及行為類別得分，所述姿態參數包括姿態類別以及姿態類別得分。

可選地，通過預訓練的關鍵點模型的特征提取層對所述人體ROI區域進行特征提取，得到人體關鍵點。

可選地，所述行為參數的獲取方法包括：

根據所述人體關鍵點以及連接于所述特征提取層后的行為分類分支得到行為參數。

可選地，所述姿態參數的獲取方法包括：

根據所述人體關鍵點以及連接于所述特征提取層后的關鍵點回歸分支得到人體關鍵點參數，并根據所述關鍵點參數得到所述姿態參數；其中，所述人體關鍵點參數包括關鍵點的可見度類別以及關鍵點位置。

可選地，所述特征提取層的結構為Resnet18或VGG，所述行為分類分支的結構為全連接層或1x1卷積結構，所述關鍵點回歸分支的結構為全連接層或1x1卷積結構。

可選地，所述可見度類別包括：可見可預測、不可見可預測、不可見不可預測。

可選地，該方法還包括：

根據所述人體關鍵點參數獲取人體關鍵點完整度；

基于所述人體關鍵點完整度對所述人體關鍵點進行篩選。

可選地，所述基于所述人體關鍵點完整度對所述人體關鍵點進行篩選，包括：保留人體關鍵點完整度超過設定的完整度閾值的人體關鍵點。

可選地，所述人體關鍵點完整度的獲取方法包括：

為不同位置的人體關鍵點設置相應的權重；