本申請公開了一種基于深度學(xué)習(xí)的雙流法行為識(shí)別方法，包括：根據(jù)光流卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練集，獲取光流動(dòng)作特征；根據(jù)RGB流卷積申請網(wǎng)絡(luò)訓(xùn)練集，獲取RGB流動(dòng)作特征；融合所述光流動(dòng)作特征及所述RGB流動(dòng)作特征，獲取融合動(dòng)作特征；根據(jù)所述所述光流動(dòng)作特征、所述RGB流動(dòng)作特征及所述融合動(dòng)作特征獲取行為類別。與現(xiàn)有技術(shù)相比，本申請具有如下有益效果：對(duì)圖像的光流信息進(jìn)行采集，光流可以收集到一般的RGB流采集不到的信息，便于更好的提取動(dòng)作的相關(guān)特征。融合一般的RGB流的特征和光流的特征，以便更好的分析時(shí)序上的動(dòng)作的信息。光流為主的設(shè)計(jì)模式提高了整個(gè)模型的效率。

技術(shù)領(lǐng)域

本申請涉及行為識(shí)別領(lǐng)域，具體而言，涉及一種基于深度學(xué)習(xí)的雙流法行為識(shí)別方法。

背景技術(shù)

現(xiàn)有的行為捕捉均采用RGB流捕捉模式。然而現(xiàn)有技術(shù)中，正常的行為抖動(dòng)極難被捕捉，但是抖動(dòng)的識(shí)別又是動(dòng)作識(shí)別中的關(guān)鍵一步。另外現(xiàn)有的行為識(shí)別數(shù)據(jù)集的數(shù)量嚴(yán)重不足，因此時(shí)序神經(jīng)網(wǎng)絡(luò)不能準(zhǔn)確的捕捉特征。

發(fā)明內(nèi)容

本申請的主要目的在于提供一種基于深度學(xué)習(xí)的雙流法行為識(shí)別方法，包括：

根據(jù)光流卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練集，獲取光流動(dòng)作特征；

根據(jù)RGB流卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練集，獲取RGB流動(dòng)作特征；

融合所述光流動(dòng)作特征及所述RGB流動(dòng)作特征，獲取融合動(dòng)作特征；

根據(jù)所述所述光流動(dòng)作特征、所述RGB流動(dòng)作特征及所述融合動(dòng)作特征獲取行為類別；

其中，獲取光流動(dòng)作特征時(shí)，所述光流動(dòng)作對(duì)應(yīng)的卷積層與獲取RGB流動(dòng)作特征時(shí)，所述RGB流動(dòng)做對(duì)應(yīng)的卷積層的維數(shù)相同。

可選地，根據(jù)光流卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練集，獲取光流動(dòng)作特征包括：

獲取光流識(shí)別圖；

通過a個(gè)卷積層，提取光流動(dòng)作特征；

輸入所述光流動(dòng)作特征至第一全連接層，獲得第一分類；

在所述第一分類下，輸入所述光流動(dòng)作特征至第二全連接層，獲得第二分類，并獲得第一分類值；

其中，a為自然數(shù)，且所述a個(gè)卷積層中的最后一個(gè)卷積層與所述RGB流動(dòng)做對(duì)應(yīng)的卷積層的維數(shù)相同。

可選地，獲取光流識(shí)別圖為：獲取多組連續(xù)的圖像幀組，每個(gè)圖像幀組包括b個(gè)連續(xù)的圖像幀；

提取光流動(dòng)作特征為：對(duì)所述多組圖像幀組分別提取所述光流動(dòng)作特征；

輸入所述光流動(dòng)作特征至第一全連接層，獲得第一分類為：分別輸入所述多組圖像幀組對(duì)應(yīng)的所述光流動(dòng)作特征至所述第一全連接層，并分別獲得第一分類；

在所述第一分類下，輸入所述光流動(dòng)作特征至第二全連接層，獲得第二分類為：在所述第一分類下，分別輸入所述多組圖像幀組對(duì)應(yīng)的所述光流動(dòng)作特征至所述第二全連接層，并分別獲得第二分類，并分別獲得所述第一分類值；

其中，b為大于1的自然數(shù)。

可選地，根據(jù)RGB流卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練集，獲取RGB流動(dòng)作特征包括：

獲取RGB流識(shí)別圖；

通過c個(gè)卷積層，提取RGB流動(dòng)作特征；

輸入所述RGB流動(dòng)作特征至第一全連接層，獲得第二分類；

在所述第一分類下，輸入所述RGB流動(dòng)作特征至第二全連接層，獲得第二分類，并獲得第二分類值；

其中，c為自然數(shù)，且所述a個(gè)卷積層中的最后一個(gè)卷積層與所述所述c個(gè)卷積層中的最后一個(gè)卷積層的維數(shù)相同。