[發明專利]一種遮擋人臉識別方法及裝置有效
| 申請號: | 201910102357.3 | 申請日: | 2019-02-01 |
| 公開(公告)號: | CN109886167B | 公開(公告)日: | 2020-11-20 |
| 發明(設計)人: | 葛仕明 | 申請(專利權)人: | 中國科學院信息工程研究所 |
| 主分類號: | G06K9/00 | 分類號: | G06K9/00;G06K9/62;G06T5/00 |
| 代理公司: | 北京君尚知識產權代理有限公司 11200 | 代理人: | 邱曉鋒 |
| 地址: | 100093 *** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 遮擋 識別 方法 裝置 | ||
1.一種遮擋人臉識別方法,其特征在于,包括以下步驟:
利用帶身份標記的人臉圖像訓練一個深度神經網絡,作為人臉識別器;
利用帶身份標記的非遮擋人臉圖像、對應的遮擋人臉圖像、對應的人臉遮擋標記圖、對應的人臉語義分割圖、預先訓練好的人臉解析器,結合已經獲得的人臉識別器,在生成對抗網絡框架中訓練一個深度神經網絡作為人臉生成器,再訓練兩個深度神經網絡分別作為全局人臉判別器和局部人臉判別器;
利用獲得的人臉生成器對輸入的有遮擋的人臉圖像進行修復處理,獲得修復后的人臉圖像;
利用獲得的人臉識別器對修復后的人臉圖像進行特征提取或身份分類,獲得人臉特征或身份標記,利用獲得的人臉特征進行人臉識別,利用獲得的身份標記鑒別人臉的身份信息;
所述人臉生成器、所述全局人臉判別器和所述局部人臉判別器的訓練過程包括:
由訓練數據集獲得身份中心特征集;
隨機初始化人臉生成器和人臉判別器的網絡參數,然后以批次形式進行多輪迭代訓練;
從訓練數據集中隨機選擇一批人臉圖像對,形成訓練樣本批;
對訓練樣本批中的遮擋人臉圖像,隨機初始化圖像中的遮擋區域像素,得到輸入遮擋人臉圖像;同時,訓練樣本批中的非遮擋人臉圖像作為輸入非遮擋人臉圖像;
每幅輸入遮擋人臉圖像送入人臉生成器,得到當前的生成人臉圖像;
利用生成人臉圖像與對應的輸入非遮擋人臉圖像,獲得表觀修復損失和結構修復損失;
表觀修復損失和結構修復損失進行相加,組成總的修復損失;根據總的修復損失進行優化,更新人臉生成器的網絡參數;
每對生成人臉圖像與對應的輸入非遮擋人臉圖像,通過獲得全局人臉判別器獲得全局判別損失,通過局部人臉判別器獲得局部判別損失,通過人臉識別器獲得身份多樣性損失;
全局判別損失、局部判別損失和身份多樣性損失進行加權累加,得到判別損失,根據判別損失進行優化,更新人臉判別器的網絡參數;將基于更新后的人臉判別器的判別損失傳遞到人臉生成器,對人臉生成器進行優化,更新人臉生成器的網絡參數;
從剩下的訓練數據集中再隨機選擇一批人臉圖像對,形成訓練樣本批,重復上述的訓練操作;當訓練數據集中所有都被選擇后,完成一輪迭代;
進行下一輪迭代,直到迭代輪次達到預先設定的最大迭代輪數或者修復損失低于某個預先設定的閾值或者判別損失低于某個預先設定的閾值;
所述由訓練數據集獲得身份中心特征集,包括:
由訓練數據集中的非遮擋人臉圖像,結合其身份標簽,按身份標簽類別,每類分別送入人臉識別器,提取得到人臉身份特征,對人臉身份特征進行平均,得到該類的身份中心特征;
所有類的身份中心特征組成身份中心特征集;
所述獲得表觀修復損失和結構修復損失,包括:
生成人臉圖像與對應的輸入非遮擋人臉圖像進行差異計算,得到其中表觀修復損失;
每對生成人臉圖像與對應的輸入非遮擋人臉圖像,分別送入預先訓練好的人臉解析器中,得到相應的一對人臉語義分割圖像,進行人臉語義分割圖像的差異計算,得到結構修復損失;
所述全局判別損失、所述局部判別損失、所述身份多樣性損失采用以下方法獲得:
每對生成人臉圖像與對應的輸入非遮擋人臉圖像,分別送入全局人臉判別器,根據判別結果與真實標注結果的差異,得到該圖像對的全局判別損失;當前訓練樣本批中所有圖像對的全局判別損失累加得到全局判別損失;
截取每對生成人臉圖像與對應的輸入非遮擋人臉圖像中的修復區域,分別送入局部人臉判別器,根據判別結果與真實標注結果的差異,得到該圖像對的局部判別損失;當前訓練樣本批中所有圖像對的局部判別損失累加得到局部判別損失;
每對生成人臉圖像與對應的輸入非遮擋人臉圖像,分別送入人臉識別器,提取到人臉身份特征,與身份中心特征集進行計算,得到該圖像對的身份多樣性損失;當前訓練樣本批中所有圖像對的身份多樣性損失累加得到身份多樣性損失。
2.根據權利要求1所述的方法,其特征在于,所述人臉識別器直接采用預訓練好的一個人臉識別器,或者集成多個預訓練好的人臉識別器,或者重新訓練一個人臉識別器。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中國科學院信息工程研究所,未經中國科學院信息工程研究所許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201910102357.3/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:基于偏振特性的防偽方法和裝置
- 下一篇:一種基于層階的地面交通標志識別方法





