本發(fā)明公開了一種視頻的時(shí)序動(dòng)作檢測(cè)方法、裝置、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)，方法包括：對(duì)視頻進(jìn)行特征提取，以獲得視頻特征向量；將所述視頻特征向量輸入至?xí)r序概率卷積神經(jīng)網(wǎng)絡(luò)中，以獲得時(shí)序點(diǎn)概率分?jǐn)?shù)；去除所述時(shí)序點(diǎn)概率分?jǐn)?shù)的冗余時(shí)序點(diǎn)，以獲得第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)；根據(jù)所述第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)，生成初始時(shí)序動(dòng)作提名；根據(jù)初始時(shí)序動(dòng)作提名，以獲得時(shí)序動(dòng)作提名的評(píng)價(jià)分?jǐn)?shù)；根據(jù)時(shí)序動(dòng)作提名的評(píng)價(jià)分?jǐn)?shù)對(duì)時(shí)序提名進(jìn)行分類，以完成視頻的時(shí)序動(dòng)作檢測(cè)。本發(fā)明解決了現(xiàn)有技術(shù)視覺特征表達(dá)力不足的問題，以及提高時(shí)序動(dòng)作檢測(cè)準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種視頻的時(shí)序動(dòng)作檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

時(shí)序動(dòng)作檢測(cè)技術(shù)在現(xiàn)實(shí)生活中有著非常廣泛的應(yīng)用場(chǎng)景。例如，我們生活中的許多公共場(chǎng)所存在很多的攝像頭監(jiān)控周圍的行人的動(dòng)作，這樣做是為了更好地保護(hù)公共財(cái)產(chǎn)以及維護(hù)公共安全。據(jù)調(diào)查，在這些海量的視頻中，工作人員組要時(shí)刻關(guān)注視頻內(nèi)容的變化，同時(shí)也可能在觀察錄像時(shí)漏掉一些關(guān)鍵信息，人工監(jiān)控使得效率低下。因此利用機(jī)器智能高效且準(zhǔn)確地判斷視頻中的各種動(dòng)作是節(jié)約成本、提高工作效率的重要舉措。而在現(xiàn)實(shí)中，動(dòng)作跨度往往很長(zhǎng)、動(dòng)作背景往往很復(fù)雜、動(dòng)作種類往往很不平衡，這些問題都是導(dǎo)致現(xiàn)有的動(dòng)作檢測(cè)方法性能低下的重要原因。

時(shí)序動(dòng)作檢測(cè)的關(guān)鍵技術(shù)是表達(dá)力高效且有判別力的時(shí)序提名提取和構(gòu)建表達(dá)力強(qiáng)的時(shí)序動(dòng)作提名特征，但是(1)現(xiàn)有的時(shí)序提名提取大多采用Two-stream網(wǎng)絡(luò)提取的特征或者C3D網(wǎng)絡(luò)提取的特征，由于在視頻領(lǐng)域缺乏向Imagenet這樣的大型數(shù)據(jù)集作為預(yù)訓(xùn)練模型，雖然有kinetics這樣的視頻數(shù)據(jù)集，但是視頻中的動(dòng)作種類繁多，與現(xiàn)實(shí)中的差別還是很大，并且視頻人工標(biāo)注沒有圖像那么準(zhǔn)確，動(dòng)作邊界模糊，存在視覺特征表達(dá)力不足的問題。比如：一段視頻中的某個(gè)人在慢跑，一種角度可以說是在跑步，而從速度上看是在走路。(2)現(xiàn)有的時(shí)序動(dòng)作提名生成方法主要分為自頂向下和自底向下的方法，其中自頂向上的方法主要是以滑窗方法為代表，這種方法生成的proposal與anchor機(jī)制類似，都是預(yù)定尺度的proposal生成，往往生成的proposals不足以覆蓋所有的真實(shí)動(dòng)作，如跳水這個(gè)動(dòng)作，有的proposal可能只是其中的一部分，而有的則甚至捕捉不到跳水的一瞬間。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明的目的在于提供一種視頻的時(shí)序動(dòng)作檢測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，解決了現(xiàn)有技術(shù)視覺特征表達(dá)力不足的問題，以及提高時(shí)序動(dòng)作檢測(cè)準(zhǔn)確度。

本發(fā)明實(shí)施例提供了一種視頻的時(shí)序動(dòng)作檢測(cè)方法，包括：

對(duì)視頻進(jìn)行特征提取，以獲得視頻特征向量；

將所述視頻特征向量輸入至?xí)r序概率卷積神經(jīng)網(wǎng)絡(luò)中，以獲得時(shí)序點(diǎn)概率分?jǐn)?shù)；

去除所述時(shí)序點(diǎn)概率分?jǐn)?shù)的冗余時(shí)序點(diǎn)，以獲得第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)；

根據(jù)所述第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)，生成初始時(shí)序動(dòng)作提名；

根據(jù)初始時(shí)序動(dòng)作提名，以獲得時(shí)序動(dòng)作提名的評(píng)價(jià)分?jǐn)?shù)；

根據(jù)時(shí)序動(dòng)作提名的評(píng)價(jià)分?jǐn)?shù)對(duì)時(shí)序提名進(jìn)行分類，以完成視頻的時(shí)序動(dòng)作檢測(cè)。

優(yōu)選地，根據(jù)所述第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)，生成初始時(shí)序動(dòng)作提名，具體為：

遍歷所述第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)，以獲得開始邊界點(diǎn)和結(jié)束邊界點(diǎn)；其中，所述開始邊界點(diǎn)以及結(jié)束邊界點(diǎn)均為極值點(diǎn)或者分?jǐn)?shù)大于等于所述第一開始時(shí)序點(diǎn)和第一結(jié)束時(shí)序點(diǎn)中最大值的一半的點(diǎn)；

根據(jù)所述開始邊界點(diǎn)以及結(jié)束邊界點(diǎn)，以獲得第二開始點(diǎn)序列和第二結(jié)束點(diǎn)序列；

對(duì)所述第二開始點(diǎn)序列和第二結(jié)束點(diǎn)序列進(jìn)行組合，以生成初始動(dòng)作時(shí)序提名。

優(yōu)選地，所述根據(jù)初始時(shí)序動(dòng)作，以獲得時(shí)序動(dòng)作提名的評(píng)價(jià)分?jǐn)?shù)，具體為：