[發(fā)明專利]一種基于骨架的雙流自適應(yīng)圖卷積網(wǎng)絡(luò)行為識別方法有效
| 申請?zhí)枺?/td> | 202011282994.2 | 申請日: | 2020-11-17 |
| 公開(公告)號: | CN112381004B | 公開(公告)日: | 2023-08-08 |
| 發(fā)明(設(shè)計)人: | 田聯(lián)房;余陸斌;杜啟亮 | 申請(專利權(quán))人: | 華南理工大學(xué);華南理工大學(xué)珠海現(xiàn)代產(chǎn)業(yè)創(chuàng)新研究院 |
| 主分類號: | G06V40/10 | 分類號: | G06V40/10;G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08 |
| 代理公司: | 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245 | 代理人: | 馮炳輝 |
| 地址: | 510640 廣*** | 國省代碼: | 廣東;44 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 骨架 雙流 自適應(yīng) 圖卷 網(wǎng)絡(luò) 行為 識別 方法 | ||
1.一種基于骨架的雙流自適應(yīng)圖卷積網(wǎng)絡(luò)行為識別方法,其特征在于,包括以下步驟:
1)視頻圖像采集;
2)標(biāo)注視頻中人體的骨架信息和行為類別,構(gòu)建訓(xùn)練集;
3)構(gòu)建自適應(yīng)空間域圖卷積單元Convs和自適應(yīng)時間域圖卷積單元Convt;
自適應(yīng)空間域圖卷積單元Convs構(gòu)建過程為:根據(jù)輸入特征圖得到鄰接矩陣和空間注意力矩陣Spatial,利用自適應(yīng)系數(shù)加權(quán)后與輸入特征圖相乘,疊加通道后經(jīng)過1×1空間域圖卷積得到輸出特征圖;
自適應(yīng)空間域圖卷積單元Convs實現(xiàn)用公式表示如下:
式中,fin、fout表示輸入特征圖和輸出特征圖,α為隨著訓(xùn)練迭代更新的空間自適應(yīng)系數(shù),Ak是根據(jù)人體骨架連接關(guān)系得到的鄰接矩陣,Spatial是空間注意力矩陣,是空間域1×1卷積的權(quán)重,k是子集序號,Kv是子集總數(shù);
Ak的計算規(guī)則為:骨架中第n個節(jié)點和第m個節(jié)點若相連,則Ak中第n行第m列元素為1,否則為0,當(dāng)n=m時,第n行第m列為1;空間注意力矩陣Spatial的計算規(guī)則為:對坐標(biāo)信息xi的第一維計算方差,歸一化后得到大小為1×V的變化幅度向量Δ,根據(jù)變化幅度向量Δ得到大小為V×V的空間注意力矩陣Spatial,V為人體骨架關(guān)鍵點個數(shù);具體規(guī)則如下公式:Spatial(n,m)=Δ(n)+Δ(m);其中Spatial(n,m)表示Spatial中的第n行第m列元素;Δ(n),Δ(m)表示Δ中的第n,m個元素;
自適應(yīng)時間域圖卷積單元Convt的構(gòu)建過程為:據(jù)輸入特征圖得到時間注意力矩陣Temporal,利用自適應(yīng)系數(shù)和單位矩陣E加權(quán)后,與輸入特征圖相乘,經(jīng)過卷積核大小為Kt×1時間域圖卷積得到輸出特征圖;Temporal的計算規(guī)則為:對坐標(biāo)信息xi第二維計算方差,歸一化后得到大小為T×1的時間注意力矩陣,T為行為經(jīng)歷的視頻幀數(shù);
自適應(yīng)時間域圖卷積單元Convt實現(xiàn)用公式表示:
fout=Wtfin(βE+(1-β)Temporal)
式中,fin、fout表示輸入特征圖和輸出特征圖,Temporal是時間注意力矩陣,β為隨著訓(xùn)練迭代更新的空間自適應(yīng)系數(shù),E為單位矩陣,Wt是時間域Kt×1圖卷積權(quán)重,Kt×1為卷積核大小;
4)利用自適應(yīng)空間域圖卷積單元Convs和自適應(yīng)時間域圖卷積單元Convt構(gòu)建自適應(yīng)圖卷積模塊;
5)利用自適應(yīng)圖卷積模塊構(gòu)建自適應(yīng)圖卷積網(wǎng)絡(luò);
6)利用自適應(yīng)圖卷積網(wǎng)絡(luò)構(gòu)建雙流自適應(yīng)圖卷積網(wǎng)絡(luò);
7)利用訓(xùn)練集訓(xùn)練雙流自適應(yīng)圖卷積網(wǎng)絡(luò);
8)利用訓(xùn)練得到的雙流自適應(yīng)圖卷積網(wǎng)絡(luò)對視頻圖像中的人體行為進行識別。
2.根據(jù)權(quán)利要求1所述的一種基于骨架的雙流自適應(yīng)圖卷積網(wǎng)絡(luò)行為識別方法,其特征在于:在步驟1)中,利用攝像頭拍攝包含不同人體行為的視頻,其視角要求為從人體正面拍攝,并將人體放在畫面正中區(qū)域。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于華南理工大學(xué);華南理工大學(xué)珠海現(xiàn)代產(chǎn)業(yè)創(chuàng)新研究院,未經(jīng)華南理工大學(xué);華南理工大學(xué)珠海現(xiàn)代產(chǎn)業(yè)創(chuàng)新研究院許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202011282994.2/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 使用后向自適應(yīng)規(guī)則進行整數(shù)數(shù)據(jù)的無損自適應(yīng)Golomb/Rice編碼和解碼
- 一種自適應(yīng)軟件UML建模及其形式化驗證方法
- 媒體自適應(yīng)參數(shù)的調(diào)整方法、系統(tǒng)及相關(guān)設(shè)備
- 五自由度自適應(yīng)位姿調(diào)整平臺
- 采用自適應(yīng)機匣和自適應(yīng)風(fēng)扇的智能發(fā)動機
- 一種自適應(yīng)樹木自動涂白裝置
- 一種基于微服務(wù)的多層次自適應(yīng)方法
- 一種天然氣發(fā)動機燃?xì)庾赃m應(yīng)控制方法及系統(tǒng)
- 一種中心自適應(yīng)的焊接跟蹤機頭
- 一種有砟軌道沉降自適應(yīng)式軌道系統(tǒng)





