[發(fā)明專利]舞蹈片段識(shí)別方法、舞蹈片段識(shí)別裝置和存儲(chǔ)介質(zhì)有效
| 申請(qǐng)?zhí)枺?/td> | 202011052113.8 | 申請(qǐng)日: | 2020-09-29 |
| 公開(公告)號(hào): | CN112100436B | 公開(公告)日: | 2021-07-06 |
| 發(fā)明(設(shè)計(jì))人: | 周默;楊翕雯;瞿煒;王麒銘;張鵬燊;同亞龍 | 申請(qǐng)(專利權(quán))人: | 新東方教育科技集團(tuán)有限公司 |
| 主分類號(hào): | G06F16/68 | 分類號(hào): | G06F16/68;G10L25/30;G10L25/51;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 北京市柳沈律師事務(wù)所 11105 | 代理人: | 彭久云 |
| 地址: | 100080 *** | 國(guó)省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說(shuō)明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 舞蹈 片段 識(shí)別 方法 裝置 存儲(chǔ) 介質(zhì) | ||
1.一種舞蹈片段識(shí)別方法,包括:
提取視頻片段中的音頻片段;
響應(yīng)于所述音頻片段包括時(shí)長(zhǎng)大于等于預(yù)定時(shí)間長(zhǎng)度的音樂(lè)片段,將所述視頻片段包括的對(duì)應(yīng)于所述音樂(lè)片段的視頻子片段作為候選舞蹈片段;
響應(yīng)于所述候選舞蹈片段的多幀圖像中具有舞蹈動(dòng)作的圖像的幀數(shù)大于第一預(yù)定閾值,將所述候選舞蹈片段判定為舞蹈片段;
所述舞蹈片段識(shí)別方法還包括:
將所述音頻片段劃分為多個(gè)音頻子片段;
響應(yīng)于所述多個(gè)音頻子片段中順次相接的第一數(shù)目音頻子片段均被判定為音樂(lè)子片段,將所述順次相接的第一數(shù)目音頻子片段的組合判定為所述音樂(lè)片段的至少部分;
所述舞蹈片段識(shí)別方法還包括:
使用第一音樂(lè)識(shí)別模型提取所述多個(gè)音頻子片段中至少部分音頻子片段的每個(gè)音頻子片段的第一特征向量;
將所述多個(gè)音頻子片段中至少部分音頻子片段的每個(gè)音頻子片段切分為第二數(shù)目的音頻亞子片段,并使用第二音樂(lè)識(shí)別模型提取所述第二數(shù)目的音頻亞子片段的每個(gè)的第二特征向量;
拼接對(duì)應(yīng)于同一個(gè)音頻子片段的所述第一特征向量和所述第二數(shù)目的第二特征向量,以獲取對(duì)應(yīng)于所述同一個(gè)音頻子片段的拼接后的特征向量;以及
將所述對(duì)應(yīng)于所述同一個(gè)音頻子片段的拼接后的特征向量提供給第三音樂(lè)識(shí)別模型,以使用所述第三音樂(lè)識(shí)別模型判定所述同一個(gè)音頻子片段是否為音樂(lè)子片段。
2.根據(jù)權(quán)利要求1所述的舞蹈片段識(shí)別方法,還包括:
提取所述多幀圖像中至少部分幀圖像中的骨骼信息;以及
基于所述至少部分幀圖像中的骨骼信息獲取所述至少部分幀圖像中具有舞蹈動(dòng)作的圖像的幀數(shù)。
3.根據(jù)權(quán)利要求2所述的舞蹈片段識(shí)別方法,其中,所述基于所述至少部分幀圖像中的骨骼信息獲取所述至少部分幀圖像中具有舞蹈動(dòng)作的圖像的幀數(shù),包括:
響應(yīng)于所述至少部分幀圖像中相鄰的兩幀圖像的腿部骨骼的變化幅度超過(guò)預(yù)定變動(dòng)閾值,將所述相鄰的兩幀圖像中的至少一幀判定為具有舞蹈動(dòng)作的圖像。
4.根據(jù)權(quán)利要求1所述的舞蹈片段識(shí)別方法,還包括:
獲取所述多幀圖像中至少部分幀圖像中包括站立人體的圖像的幀數(shù);以及
將所述至少部分幀圖像中包括站立人體的圖像的幀數(shù)作為所述至少部分幀圖像中具有舞蹈動(dòng)作的圖像的幀數(shù)。
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的舞蹈片段識(shí)別方法,其中,所述多幀圖像的每幀圖像包括信息展示區(qū)域和對(duì)象視頻展示區(qū)域;以及
所述響應(yīng)于所述多幀圖像中具有舞蹈動(dòng)作的圖像的幀數(shù)大于所述第一預(yù)定閾值,將所述候選舞蹈片段判定為舞蹈片段,包括:
響應(yīng)于所述多幀圖像中包括展示了舞蹈圖像的信息展示區(qū)域的圖像的幀數(shù)大于所述第一預(yù)定閾值,將所述候選舞蹈片段判定為舞蹈片段。
6.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的舞蹈片段識(shí)別方法,還包括:
響應(yīng)于所述多幀圖像中部分幀圖像中具有舞蹈動(dòng)作的圖像的幀數(shù)大于所述第一預(yù)定閾值,停止對(duì)所述候選舞蹈片段的檢測(cè)。
7.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的舞蹈片段識(shí)別方法,其中,所述第一數(shù)目為不小于三的整數(shù)。
8.根據(jù)權(quán)利要求7所述的舞蹈片段識(shí)別方法,其中,所述第一音樂(lè)識(shí)別模型為第一神經(jīng)網(wǎng)絡(luò),且被配置為輸出所述第一特征向量;
所述第二音樂(lè)識(shí)別模型為第二神經(jīng)網(wǎng)絡(luò),且被配置為輸出所述第二特征向量;以及
所述第三音樂(lè)識(shí)別模型被配置為接收所述拼接后的特征向量。
9.根據(jù)權(quán)利要求1所述的舞蹈片段識(shí)別方法,其中,所述第二特征向量的維度與所述第二數(shù)目的乘積等于所述第一特征向量的維度;以及
所述拼接后的特征向量的維度等于所述第一特征向量的維度的二倍。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于新東方教育科技集團(tuán)有限公司,未經(jīng)新東方教育科技集團(tuán)有限公司許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202011052113.8/1.html,轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。
- 識(shí)別媒體、識(shí)別媒體的識(shí)別方法、識(shí)別對(duì)象物品以及識(shí)別裝置
- 一種探針卡識(shí)別裝置和方法
- 識(shí)別裝置、識(shí)別方法以及記錄介質(zhì)
- 識(shí)別裝置、識(shí)別系統(tǒng),識(shí)別方法以及存儲(chǔ)介質(zhì)
- 識(shí)別程序、識(shí)別方法以及識(shí)別裝置
- 車載身份識(shí)別方法及系統(tǒng)
- 車載身份識(shí)別方法及系統(tǒng)
- 車載身份識(shí)別方法及系統(tǒng)
- 識(shí)別裝置、識(shí)別方法以及識(shí)別程序
- 識(shí)別裝置、識(shí)別方法及識(shí)別程序
- 一種數(shù)據(jù)庫(kù)讀寫分離的方法和裝置
- 一種手機(jī)動(dòng)漫人物及背景創(chuàng)作方法
- 一種通訊綜合測(cè)試終端的測(cè)試方法
- 一種服裝用人體測(cè)量基準(zhǔn)點(diǎn)的獲取方法
- 系統(tǒng)升級(jí)方法及裝置
- 用于虛擬和接口方法調(diào)用的裝置和方法
- 線程狀態(tài)監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)
- 一種JAVA智能卡及其虛擬機(jī)組件優(yōu)化方法
- 檢測(cè)程序中方法耗時(shí)的方法、裝置及存儲(chǔ)介質(zhì)
- 函數(shù)的執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)





