本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的高精度人臉關(guān)鍵點(diǎn)定位方法及系統(tǒng)，該定位方法包括步驟：S1、構(gòu)建多個(gè)區(qū)域關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)；S2、通過(guò)人像區(qū)域及各區(qū)域?qū)?yīng)的關(guān)鍵點(diǎn)樣本數(shù)據(jù)，分別對(duì)對(duì)應(yīng)的區(qū)域關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)進(jìn)行訓(xùn)練；S3、將待處理人臉圖像分割成人像區(qū)域；S4、基于人臉圖像的處理任務(wù)類型，選擇需要處理的人像區(qū)域分別輸入對(duì)應(yīng)的關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)，得到與所述處理任務(wù)對(duì)應(yīng)的關(guān)鍵點(diǎn)；S5、將與處理任務(wù)對(duì)應(yīng)的關(guān)鍵點(diǎn)與所述人臉圖像整合輸出。本發(fā)明將人臉?lè)譃槎鄠€(gè)區(qū)域獨(dú)立進(jìn)行關(guān)鍵點(diǎn)定位，當(dāng)其中一個(gè)或多個(gè)部分被遮擋時(shí)，不影響其他未被遮擋部分關(guān)鍵點(diǎn)的準(zhǔn)確性與穩(wěn)定性，可根據(jù)應(yīng)用場(chǎng)景自由組合相應(yīng)網(wǎng)絡(luò)，實(shí)現(xiàn)輸出臉部特定部位的關(guān)鍵點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及關(guān)鍵點(diǎn)定位領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的高精度人臉關(guān)鍵點(diǎn)定位系統(tǒng)及方法。

背景技術(shù)

人臉關(guān)鍵點(diǎn)定位是將人臉面部主要位置的點(diǎn)位找出來(lái)，比如眉毛、眼睛、鼻子、嘴巴以及眼部外輪廓點(diǎn)位等。人臉關(guān)鍵點(diǎn)的精確定位對(duì)許多現(xiàn)實(shí)應(yīng)用和科研課題有關(guān)鍵作用，例如，人臉姿態(tài)識(shí)別與矯正、表情識(shí)別、嘴型識(shí)別等。此外，人臉關(guān)鍵點(diǎn)在人臉特效、人臉變形以及人臉美顏等領(lǐng)域也有著重大意義，點(diǎn)位的準(zhǔn)確性直接影響最終的處理效果。因此，如何獲取高精度人臉關(guān)鍵點(diǎn)，一直以來(lái)都是計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域的熱門(mén)研究問(wèn)題。

人臉關(guān)鍵點(diǎn)定位是人臉對(duì)齊領(lǐng)域長(zhǎng)期以來(lái)關(guān)注的焦點(diǎn)，許多大公司都在研究自己的人臉對(duì)齊算法，關(guān)鍵點(diǎn)數(shù)量也不盡相同，但目前這些算法都存在一個(gè)相同的問(wèn)題，就是當(dāng)人臉某些區(qū)域被遮擋時(shí)，人臉其他部位的關(guān)鍵點(diǎn)出現(xiàn)抖動(dòng)或不準(zhǔn)確的現(xiàn)象，極大地影響基于關(guān)鍵點(diǎn)位做后續(xù)處理的功能。受到人臉姿態(tài)和遮擋等因素的影響，人臉關(guān)鍵點(diǎn)定位的研究也同樣富有挑戰(zhàn)。

公開(kāi)號(hào)為CN 107967456A公開(kāi)了一種基于人臉關(guān)鍵點(diǎn)的多神經(jīng)網(wǎng)絡(luò)級(jí)聯(lián)識(shí)別人臉?lè)椒ǎ韧ㄟ^(guò)MTCNN算法檢測(cè)出人臉圖像，然后利用仿射變換對(duì)人臉進(jìn)行旋轉(zhuǎn)、平移、縮放，以便后續(xù)處理。接下來(lái)利用卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)人臉輪廓關(guān)鍵點(diǎn)和人臉內(nèi)部關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，然后用主成分分析(Principal Components Analysis，PCA)算法進(jìn)行特征陣維。在進(jìn)行陣維的時(shí)候，可以根據(jù)不同的類別，采用基于類別模式的方法，可以克服傳統(tǒng)PCA算法不能有效利用類別間類別信息，在有光照和表情變化的情況下魯棒性差的問(wèn)題。

上述專利申請(qǐng)雖然在人臉關(guān)鍵點(diǎn)檢測(cè)和定位時(shí)采用兩個(gè)神經(jīng)網(wǎng)絡(luò)分別對(duì)輪廓關(guān)鍵點(diǎn)和內(nèi)部關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，一定程度上提高了在有光照和表情變化的情況下的魯棒性，但是其與現(xiàn)有的人臉關(guān)鍵點(diǎn)定位方法一樣，對(duì)于內(nèi)部關(guān)鍵點(diǎn)都是進(jìn)行統(tǒng)一的處理，不能根據(jù)功能或應(yīng)用場(chǎng)景，只給出某些部位關(guān)鍵點(diǎn)。比如一個(gè)美瞳的功能，主要關(guān)注眼睛關(guān)鍵點(diǎn)，如果對(duì)所有的關(guān)鍵點(diǎn)都進(jìn)行檢測(cè)，當(dāng)鼻子等部位被遮擋時(shí)，反而會(huì)影響眼睛關(guān)鍵點(diǎn)的定位。因此，如何根據(jù)不同的應(yīng)用場(chǎng)景實(shí)現(xiàn)人臉不同部位的關(guān)鍵點(diǎn)定位，是本領(lǐng)域亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的缺陷，提供了一種基于深度學(xué)習(xí)的高精度人臉關(guān)鍵點(diǎn)定位方法及系統(tǒng)。將人臉?lè)譃樽笱奂白竺济珔^(qū)域、右眼及右眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域、臉部外輪廓區(qū)域5個(gè)部分，當(dāng)其中一個(gè)或多個(gè)部分被遮擋時(shí)，不影響其他未被遮擋部分關(guān)鍵點(diǎn)的準(zhǔn)確性與穩(wěn)定性，通過(guò)模塊化設(shè)計(jì)，可根據(jù)應(yīng)用場(chǎng)景自由組合相應(yīng)模塊，實(shí)現(xiàn)輸出臉部特定部位的關(guān)鍵點(diǎn)。

為了實(shí)現(xiàn)以上目的，本發(fā)明采用以下技術(shù)方案：

一種基于深度學(xué)習(xí)的高精度人臉關(guān)鍵點(diǎn)定位方法，包括步驟：

S1、構(gòu)建左眼及左眉毛關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、右眼及右眉毛關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、鼻子關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、嘴巴關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、臉部外輪廓關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)；

S2、通過(guò)左眼及左眉毛區(qū)域、右眼及右眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域、臉部外輪廓區(qū)域及各區(qū)域?qū)?yīng)的關(guān)鍵點(diǎn)樣本數(shù)據(jù)，分別對(duì)左眼及左眉毛關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、右眼及右眉毛關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、鼻子關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、嘴巴關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)、臉部外輪廓關(guān)鍵點(diǎn)定位網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到關(guān)鍵點(diǎn)提取模型；