[發明專利]用于虛擬人物的檢測方法及裝置有效
| 申請號: | 201810974781.2 | 申請日: | 2018-08-24 |
| 公開(公告)號: | CN109325521B | 公開(公告)日: | 2021-09-07 |
| 發明(設計)人: | 趙昊;張默 | 申請(專利權)人: | 北京陌上花科技有限公司 |
| 主分類號: | G06K9/62 | 分類號: | G06K9/62 |
| 代理公司: | 北京知果之信知識產權代理有限公司 11541 | 代理人: | 唐海力;李志剛 |
| 地址: | 100080 北京市海淀*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 用于 虛擬 人物 檢測 方法 裝置 | ||
1.一種用于虛擬人物的檢測方法,其特征在于,包括:
輸入待檢測圖像;
對所述待檢測圖像中的虛擬人物執行第一預設檢測任務得到虛擬人物圖像位置,包括:通過訓練完成的深度學習網絡模型檢測所述待檢測圖像中的虛擬人物的具體位置;其中,所述位置包括緊貼虛擬人物左上角、右上角、中心點、虛擬人物的長度和寬度;所述深度學習網絡模型為去分類的SSD檢測網絡;所述深度學習網絡模型的訓練過程包括:使用虛擬動畫片或虛擬動畫電影中虛擬人物視頻截圖和標注數據包括圖片中虛擬人物的位置信息和類別信息,首先可以先訓練一個只用于檢測圖片中虛擬人物具體位置的深度學習網絡模型,該深度學習網絡模型中暫不考慮虛擬人物類別,模型結構為去分類的檢測算法;在所述深度學習網絡模型中,先通過backbone主干提取圖片特征,再通過提取backbone中多個不同尺度的特征圖,并對每一個特征圖各自接兩層卷積層,用于做線性回歸進而檢測圖片中的虛擬人物的具體位置;而后基于訓練好的去分類SSD用于提取視頻圖片中虛擬人物的位置信息,并利用提取出的位置信息將所有視頻圖片中只有虛擬人物的部分分割出來以摳出虛擬人物;
對所述摳出的虛擬人物圖像位置對應的虛擬人物執行第二預設檢測任務得到虛擬人物圖像分類;以及
融合所述虛擬人物圖像分類結果,得到虛擬人物圖像;
對所述待檢測圖像中的虛擬人物執行第一預設檢測任務得到虛擬人物圖像位置包括:采集預設影像信息中的虛擬人物視頻截圖以及圖像標注特征;根據所述虛擬人物視頻截圖和所述圖像標注特征訓練用于檢測虛擬人物位置的深度學習網絡模型;以及通過所述深度學習網絡模型執行位置檢測任務得到虛擬人物圖像位置。
2.根據權利要求1所述的檢測方法,其特征在于,對所述虛擬人物圖像執行第一預設檢測任務得到虛擬人物圖像位置之后還包括:
根據所述虛擬人物圖像位置從所述待檢測圖像中分割出虛擬人物且保存分割后的虛擬人物圖像。
3.根據權利要求1所述的檢測方法,其特征在于,對所述虛擬人物圖像位置對應的虛擬人物執行第二預設檢測任務得到虛擬人物圖像分類包括:
提取待檢測的虛擬人物圖片中SIFT特征;
根據所述SIFT特征和圖像標注特征訓練得到分類器;以及
根據所述分類器區分所述虛擬人物的類別。
4.根據權利要求1所述的檢測方法,其特征在于,對所述虛擬人物圖像位置對應的虛擬人物執行第二預設檢測任務得到虛擬人物圖像分類包括:
通過所述虛擬人物圖像訓練深度學習網絡分類模型;
根據深度學習網絡分類模型提取虛擬人物的高級特征;
檢測出虛擬人物類別;以及
對所述虛擬人物圖像的類別采用模型融合,得到加權平均后的分類結果。
5.一種用于虛擬人物的檢測裝置,其特征在于,包括:
輸入模塊,用于輸入待檢測圖像;
第一執行模塊,用于對所述待檢測圖像中的虛擬人物執行第一預設檢測任務得到虛擬人物圖像位置,包括:通過訓練完成的深度學習網絡模型檢測所述待檢測圖像中的虛擬人物的具體位置;其中,所述位置包括緊貼虛擬人物左上角、右上角、中心點、虛擬人物的長度和寬度;所述深度學習網絡模型為去分類的SSD檢測網絡;所述深度學習網絡模型的訓練過程包括:使用虛擬動畫片或虛擬動畫電影中虛擬人物視頻截圖和標注數據包括圖片中虛擬人物的位置信息和類別信息,首先可以先訓練一個只用于檢測圖片中虛擬人物具體位置的深度學習網絡模型,該深度學習網絡模型中暫不考慮虛擬人物類別,模型結構為去分類的檢測算法;在所述深度學習網絡模型中,先通過backbone主干提取圖片特征,再通過提取backbone中多個不同尺度的特征圖,并對每一個特征圖各自接兩層卷積層,用于做線性回歸進而檢測圖片中的虛擬人物的具體位置;而后基于訓練好的去分類SSD用于提取視頻圖片中虛擬人物的位置信息,并利用提取出的位置信息將所有視頻圖片中只有虛擬人物的部分分割出來以摳出虛擬人物;
第二執行模塊,用于對所述摳出的虛擬人物圖像位置對應的虛擬人物執行第二預設檢測任務得到虛擬人物圖像分類;以及
融合模塊,用于融合所述虛擬人物圖像分類結果,得到虛擬人物圖像。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京陌上花科技有限公司,未經北京陌上花科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201810974781.2/1.html,轉載請聲明來源鉆瓜專利網。





