本發明涉及一種遮擋人臉識別方法及裝置。該方法利用帶身份標記的人臉圖像訓練人臉識別器；利用帶身份標記的非遮擋人臉圖像、對應的遮擋人臉圖像、對應的人臉遮擋標記圖、對應的人臉語義分割圖、預先訓練好的人臉解析器，結合人臉識別器，在生成對抗網絡框架中訓練人臉生成器、全局人臉判別器和局部人臉判別器；利用人臉生成器對輸入的有遮擋的人臉圖像進行修復處理，獲得修復后的人臉圖像；利用人臉識別器對修復后的人臉圖像進行特征提取或身份分類，獲得人臉特征或身份標記，利用人臉特征進行人臉識別，利用身份標記鑒別人臉的身份信息。本發明采用人臉生成器、人臉判別器和人臉識別器實現三方博弈，能夠同時實現遮擋人臉的修復和識別。

技術領域

本發明屬于計算機視覺和深度學習領域，尤其涉及一種針對遮擋條件下的人臉識別方法及裝置。

背景技術

在現實世界的應用如視頻監控、無人駕駛等，人臉識別常常受到遮擋問題的干擾。盡管當前以深度學習為代表的人臉識別模型已經在無遮擋情況下取得了很高的識別精度，但是這些模型在識別遮擋人臉的時候，性能往往會急劇下降。其原因在于，與無遮擋人臉不同，遮擋人臉由于不完整的視覺內容以及不充分的身份線索造成識別困難。盡管如此，遮擋人臉對于人類來說，在給定部分內容情況下仍然是可以識別的，這表明人類的神經系統具有從遮擋中修復損失的人臉線索的能力?；谶@一事實，人們提出了遮擋人臉識別方法，這些方法主要基于兩個思路：表達和重構。

基于表達的遮擋人臉識別方法采用特征提取器直接從部分人臉內容中表達遮擋人臉，這些特征提取器采用稀疏表達、卷積神經網絡、深度學習方法等來構造，其目標是使提取的人臉特征能夠對遮擋魯棒。通常地，這些方法在識別具有小遮擋的人臉時，能夠取得較好的性能。但是，當人臉遭遇較嚴重遮擋(如蒙面遮擋)時，由于難以恢復身份線索，從而獲得較低的識別精度。不同于基于表達的方法，基于重構的遮擋人臉識別方法在識別之前先修復損失的人臉內容。早期的處理方式是采用圖算法修復遮擋人臉然后再使用稀疏表達來提取人臉特征，從而提升遮擋人臉識別的精度。此外，傳統的基于樣例的方法應用紋理合成，可以有效的修復人臉內容損失部分。近年來，在深度學習尤其是生成對抗網絡的幫助下，很多人臉修復方法被提出，這些方法能夠較好地提取高層語義特征從而能夠對遮擋人臉修復，并得到具有真實感的結果。另外，這些方法的框架具有較好的靈活性，可以在框架中引入身份信息，從而修復的人臉圖像也能在一定程度上進一步提升識別精度。

盡管如此，這些現有的方法中，一方面基于表達的遮擋人臉識別方法難以找到一種較為魯棒的方案恢復失去的人臉線索，另一方面基于重構的遮擋人臉修復方法往往將修復與識別處理割裂開來，方法帶來的身份保留能力較為有限。遮擋人臉識別的一個關鍵是同時修復損失的人臉內容以滿足人類視覺感知需要，并使修復的結果滿足機器算法對人臉識別的需求，即達到人機共判的協同。

發明內容

為克服現有技術的不足，本發明提供了一種遮擋人臉識別方法及裝置，該方法采用生成對抗網絡框架將基于重構的方法與基于表達的方法進行結合，不同于傳統的生成對抗網絡采用生成器和判別器的兩方博弈訓練，本發明的網絡采用人臉生成器、人臉判別器和人臉識別器實現三方博弈，通過該網絡同時實現遮擋人臉的修復和識別。

為解決上述技術問題，本發明通過以下技術方案來實現。

一種遮擋人臉識別方法，其步驟包括：

利用帶身份標記的人臉圖像訓練一個深度神經網絡，作為人臉識別器；

利用帶身份標記的非遮擋人臉圖像、對應的遮擋人臉圖像、對應的人臉遮擋標記圖、對應的人臉語義分割圖、預先訓練好的人臉解析器，結合已經獲得的人臉識別器，在生成對抗網絡框架中訓練一個深度神經網絡，作為人臉生成器；再訓練兩個深度神經網絡，分別作為全局人臉判別器和局部人臉判別器；

利用獲得的人臉生成器對輸入的有遮擋的人臉圖像進行修復處理，獲得修復后的人臉圖像；

利用獲得的人臉識別器對修復后的人臉圖像進行特征提取或身份分類，獲得人臉特征或身份標記；