本發(fā)明實(shí)施例公開了一種基于部件引導(dǎo)圖卷積網(wǎng)絡(luò)的行人再識別方法，該方法包括：構(gòu)建特征提取模塊，得到訓(xùn)練行人圖像同一區(qū)域的局部特征；構(gòu)建圖卷積模塊，得到訓(xùn)練行人圖像同一區(qū)域的類間和類內(nèi)局部圖卷積特征；構(gòu)建特征嵌入模塊得到兩者的串聯(lián)特征及降維之后的最終特征；構(gòu)建損失計(jì)算模塊，利用損失值對于由上述模塊組成的行人再識別模型優(yōu)化，得到最優(yōu)行人再識別模型；利用最優(yōu)行人再識別模型計(jì)算查詢圖像和行人庫圖像的最終特征計(jì)算圖像之間的相似度，得到行人再識別結(jié)果。本發(fā)明充分利用卷積神經(jīng)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)的優(yōu)勢，學(xué)習(xí)行人圖像的類間局部關(guān)系和類內(nèi)局部關(guān)系，最終融合圖卷積特征來表示行人圖像，進(jìn)一步提高了行人再識別的匹配正確率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺、模式識別、人工智能領(lǐng)域，具體涉及一種基于部件引導(dǎo)圖卷積網(wǎng)絡(luò)的行人再識別方法。

背景技術(shù)

近年來，行人再識別廣泛應(yīng)用在人體行為分析，多目標(biāo)識別等領(lǐng)域，因此得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。它主要研究在不同攝像機(jī)下搜索相同行人的方法。然而由于真實(shí)場景中行人姿態(tài)、衣著、光照以及攝像機(jī)角度變化較大，使得行人再識別技術(shù)面臨巨大的挑戰(zhàn)。

最近，基于部件信息的行人再識別模型性能取得了顯著的提升，一些研究人員通過將行人圖像或者特征圖劃分為均勻區(qū)域來提取行人的結(jié)構(gòu)信息。Sun等人將特征圖劃分為一些均勻條并將其池化，從而獲得局部特征。Quan等人設(shè)計(jì)了一個區(qū)域-感知模塊來學(xué)習(xí)行人結(jié)構(gòu)信息，該方法首先將特征圖劃分為若干區(qū)域，然后采用注意力機(jī)制來學(xué)習(xí)更詳細(xì)的區(qū)域信息。然而，這些直接劃分策略容易造成匹配不精準(zhǔn)，因此，Wei等人借助姿態(tài)檢測技術(shù)定位人體四個關(guān)鍵點(diǎn)，然后將行人圖像分為三個區(qū)域，從而校準(zhǔn)局部區(qū)域。Guo等人利用人體分析模型來獲得語義區(qū)域掩膜，然后使用人體區(qū)域分支來提取區(qū)域?qū)R特征。除此之外，為了充分利用全局特征和局部特征的優(yōu)點(diǎn)，一些研究者將其融合來表示行人圖像。Li等人設(shè)計(jì)了聯(lián)合學(xué)習(xí)多損失卷積神經(jīng)網(wǎng)絡(luò)模型，從而提取全局和局部特征，然后利用聯(lián)合學(xué)習(xí)機(jī)制來學(xué)習(xí)局部和全局特征之間的互補(bǔ)信息。Zheng等人提出粗糙-精細(xì)金字塔，從而捕捉不同尺度的判別信息，并利用判別損失和三元組損失來學(xué)習(xí)全局和多尺度局部特征。

以上這些基于區(qū)域的行人再識別方法忽視了行人圖像間同一區(qū)域的類間局部關(guān)系和行人圖像內(nèi)不同區(qū)域的類內(nèi)局部關(guān)系，削弱了局部特征的表示能力。

發(fā)明內(nèi)容

本發(fā)明的目的是要解決行人圖像間同一區(qū)域的類間局部關(guān)系和行人圖像內(nèi)不同區(qū)域的類內(nèi)局部關(guān)系無法有效學(xué)習(xí)的技術(shù)問題，為此，本發(fā)明提供一種基于部件引導(dǎo)圖卷積網(wǎng)絡(luò)的行人再識別方法。

為了實(shí)現(xiàn)所述目的，本發(fā)明提出的一種基于部件引導(dǎo)圖卷積網(wǎng)絡(luò)的行人再識別方法包括以下步驟：

步驟S1，利用預(yù)訓(xùn)練深度學(xué)習(xí)模型構(gòu)建特征提取模塊，將訓(xùn)練行人圖像輸入所述特征提取模塊，得到所述訓(xùn)練行人圖像的同一區(qū)域的P個局部特征；

步驟S2，構(gòu)建圖卷積模塊，將所述訓(xùn)練行人圖像的同一區(qū)域的P個局部特征作為圖的節(jié)點(diǎn)，構(gòu)建類間局部圖、類間局部圖的鄰接矩陣、類內(nèi)局部圖和類內(nèi)局部圖的鄰接矩陣，利用所述圖卷積模塊對所述類間局部圖和類間局部圖的鄰接矩陣進(jìn)行圖卷積操作，得到所述訓(xùn)練行人圖像的同一區(qū)域的類間局部圖卷積特征，利用所述圖卷積模塊對所述類內(nèi)局部圖和類內(nèi)局部圖的鄰接矩陣進(jìn)行圖卷積操作，得到所述訓(xùn)練行人圖像的同一區(qū)域的類內(nèi)局部圖卷積特征；

步驟S3，構(gòu)建特征嵌入模塊，利用所述特征嵌入模塊將所述訓(xùn)練行人圖像的同一區(qū)域的類間局部圖卷積特征和類內(nèi)局部圖卷積特征進(jìn)行串聯(lián)操作得到串聯(lián)特征，并利用獨(dú)立的全連接層對于所述串聯(lián)特征進(jìn)行降維操作，得到所述訓(xùn)練行人圖像的P個最終特征；

步驟S4，構(gòu)建損失計(jì)算模塊，將所述訓(xùn)練行人圖像的P個最終特征輸入到所述損失計(jì)算模塊中，利用得到的損失值對于由所述特征提取模塊、圖卷積模塊、特征嵌入模塊和損失計(jì)算模塊組成的行人再識別模型進(jìn)行優(yōu)化，得到最優(yōu)行人再識別模型；