本發(fā)明公開了一種2D多人姿態(tài)估計網(wǎng)絡(luò)的對抗式訓(xùn)練方法、系統(tǒng)及介質(zhì)，其中方法包括：獲取人體圖像數(shù)據(jù)以及進行數(shù)據(jù)增強，將RGB圖片中三個通道的數(shù)值進行映射，對圖片中RGB三個通道進行歸一化處理；利用截斷的高斯分布，將圖片中人體的關(guān)鍵點的位置坐標(biāo)轉(zhuǎn)換成多通道的熱圖；構(gòu)建姿態(tài)判別器網(wǎng)絡(luò)，構(gòu)建以HRNet為主干的姿態(tài)網(wǎng)絡(luò)，進行Xavier初始化；根據(jù)訓(xùn)練后的姿態(tài)網(wǎng)絡(luò)，借助熱圖中最大值向次大值偏離四分之一的方式確定最終的關(guān)鍵點的位置坐標(biāo)。本發(fā)明將姿態(tài)網(wǎng)絡(luò)與姿態(tài)判別器網(wǎng)絡(luò)相互競爭地進行訓(xùn)練，該訓(xùn)該練方法能有效學(xué)習(xí)到人體的關(guān)鍵點特征，并在復(fù)雜的背景環(huán)境中具有良好的魯棒性，可廣泛應(yīng)用于圖像識別技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，尤其涉及一種2D多人姿態(tài)估計網(wǎng)絡(luò)的對抗式訓(xùn)練方法、系統(tǒng)及介質(zhì)。

背景技術(shù)

隨著人工智能的快速發(fā)展，人體的動作已經(jīng)能夠被識別。但是，在圖像采集過程中，由于人與物之間的交互產(chǎn)生的遮擋、光線與視角的變化、圖像形變?nèi)匀皇窃擃I(lǐng)域需要克服的重要難點。姿態(tài)估計在機器人與場景交互、動作識別、無人駕駛、動作預(yù)測中有巨大的應(yīng)用潛力。算法能夠?qū)θ梭w動作進行準(zhǔn)確的識別，能夠幫助理解人與物、人與人的交互關(guān)系。姿態(tài)估計技術(shù)的發(fā)展有利于實現(xiàn)更好的人機交互，并使得弱人工智能邁向強人工智能。

人體姿態(tài)估計(Human-Pose?Estimation)主要包括在圖像和視頻中確定人體關(guān)鍵部位的空間位置(比如頭部、肩膀、手腕、手肘的位置)，并確定人體的姿態(tài)的相關(guān)參數(shù)。其在基于視頻流的行為識別、行人路徑預(yù)測、人機交互、視頻監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用。姿態(tài)估計相關(guān)技術(shù)的發(fā)展對于推動對人體行為理解、邏輯分析具有重要作用。傳統(tǒng)的人體姿態(tài)估計方法通常借助硬件設(shè)備去捕捉關(guān)節(jié)點的空間位置，基于形變部件模型，并結(jié)合人體運動學(xué)的相關(guān)約束不斷優(yōu)化圖結(jié)構(gòu)模型來估計人體姿態(tài)。但是，傳統(tǒng)方法往往無法充分利用圖像信息，并且依賴專業(yè)的采集設(shè)備，成本較高，人體姿態(tài)數(shù)據(jù)的獲取過程復(fù)雜且困難，所以很難適用于所有的應(yīng)用場景。

近年來，深度學(xué)習(xí)在計算機視覺領(lǐng)域得到了成功的應(yīng)用。2012年，Hinton等人采用卷積神經(jīng)網(wǎng)絡(luò)模型在ImageNet比賽上取得了優(yōu)異的結(jié)果。隨后提出的殘差網(wǎng)絡(luò)使得網(wǎng)絡(luò)朝著更深的方向發(fā)展。基于深度學(xué)習(xí)網(wǎng)絡(luò)處理并提取人體姿態(tài)特征，相比于傳統(tǒng)方法，深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)能夠獲得不同感受野下多尺度多類型的人體關(guān)節(jié)點特征向量和特征的對應(yīng)的上下文信息，進而能夠更準(zhǔn)確預(yù)測人體姿態(tài)中各個關(guān)節(jié)點的位置，并建立更為準(zhǔn)確的人體姿態(tài)模型。Hourglass、CPN等網(wǎng)絡(luò)使用全卷積神經(jīng)網(wǎng)絡(luò)，對給定的RGB圖像，輸出人體關(guān)鍵點的精確像素位置坐標(biāo)，通過多尺度特征的融合，捕捉人體各關(guān)節(jié)點的空間位置信息。其中，hourglass網(wǎng)絡(luò)結(jié)構(gòu)形似沙漏狀，重復(fù)使用top-down或者bottom-up的結(jié)構(gòu)來處理圖像中的位置信息和空間信息。這些強大的模型極大的促進了姿態(tài)估計準(zhǔn)確程度的提高。盡管進展十分迅速，但在姿態(tài)估計任務(wù)中仍有許多挑戰(zhàn)需要克服。比如在日常生活中，由于人與人之間的交互、人與物之間的交互產(chǎn)生的遮擋，由于圖像捕捉設(shè)備產(chǎn)生的差異，復(fù)雜背景下定位精準(zhǔn)度的提高、光照的不充足導(dǎo)致位置信息捕捉與提取的難度極大的提高。

然而，在復(fù)雜的場景中仍然存在一些挑戰(zhàn)，一些需要捕捉的關(guān)節(jié)特征在圖像中尺寸大小不同，或者關(guān)節(jié)部位被遮擋，或者在圖像區(qū)域之外，導(dǎo)致關(guān)節(jié)點難以定位。但是，近年來，學(xué)術(shù)研究人員在精度方面取得了顯著進展，并在姿態(tài)估計任務(wù)中取得了先進的性能。如堆疊的沙漏形網(wǎng)絡(luò)、高分辨率網(wǎng)絡(luò)。現(xiàn)有的工作大多是通過定位人體部位或解剖關(guān)鍵點(包括頭部、肩膀、手腕等)來估計人體姿態(tài)。它們生成概率熱圖，并將最可能的位置確定為預(yù)測關(guān)節(jié)。大多數(shù)工作都使用卷積網(wǎng)絡(luò)來降低特征圖分辨率，以避免高昂的計算成本，并使用反卷積或者上采樣來生成高分辨率的特征圖，從而使得網(wǎng)絡(luò)具有更高的空間精度。另一方面，學(xué)者使用概率圖來直接關(guān)聯(lián)人體關(guān)節(jié)點的位置坐標(biāo)，以及建立端到端模型也被證明是有效的。