本發(fā)明公開了一種基于多任務(wù)協(xié)作的鏡子檢測方法，屬于目標(biāo)檢測領(lǐng)域。本發(fā)明針對單張RGB圖像，通過多任務(wù)協(xié)作實現(xiàn)鏡子檢測。本發(fā)明所述鏡子檢測網(wǎng)絡(luò)SemirNet包括共享編碼器和協(xié)作網(wǎng)絡(luò)，協(xié)作網(wǎng)絡(luò)包括鏡子分割網(wǎng)絡(luò)、鏡子邊界檢測網(wǎng)絡(luò)和深度預(yù)測網(wǎng)絡(luò)；通過深度預(yù)測網(wǎng)絡(luò)預(yù)測的深度和鏡子邊界檢測網(wǎng)絡(luò)的邊界信息，加強(qiáng)鏡子分割網(wǎng)絡(luò)對圖像域中不連續(xù)的特征的判別能力，從而對輸入的鏡子圖像生成最終的鏡子檢測結(jié)果。本發(fā)明解決了由于鏡子的存在所導(dǎo)致的復(fù)雜的場景理解的困難，幫助系統(tǒng)區(qū)分鏡子中的反射內(nèi)容和真實場景中的內(nèi)容，去除鏡子的干擾，產(chǎn)生精確的鏡子檢測結(jié)果；且適用于多種形狀、大小的鏡子及不同場景下的鏡子檢測。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺領(lǐng)域中的目標(biāo)檢測(Object Detection)領(lǐng)域，具體實現(xiàn)結(jié)果為鏡子的檢測，特別涉及一種真實環(huán)境中鏡子檢測的方法。

背景技術(shù)

目標(biāo)檢測任務(wù)主要是幫助計算機(jī)理解真實環(huán)境中的場景信息，根據(jù)用戶定義的檢測目標(biāo)，確定環(huán)境中該目標(biāo)的大小、形狀和位置等信息，具有巨大的實際應(yīng)用價值。隨著人工智能技術(shù)的快速發(fā)展，場景理解相關(guān)任務(wù)，例如目標(biāo)檢測、語義分割、深度估計、顯著性檢測、陰影檢測等，都獲得了顯著的性能提升。

但是場景中經(jīng)常會存在一些特殊的物體，比如鏡子，這類物體會對場景理解造成重要的影響，但卻沒有相關(guān)的研究來處理這類物體。場景中鏡子的存在會嚴(yán)重影響目前的計算機(jī)視覺系統(tǒng)，因為這些系統(tǒng)不能夠區(qū)分鏡子外真實的內(nèi)容和鏡子里反射的內(nèi)容，進(jìn)而使這些視覺系統(tǒng)失效，例如產(chǎn)生錯誤的深度估計或錯誤地將鏡子中反射的物體識別為真實的物體。而檢測場景中的鏡子是一個極具挑戰(zhàn)的任務(wù)，因為鏡子能夠反射周圍或者遠(yuǎn)處的場景，使鏡子中的內(nèi)容和鏡子外的內(nèi)容極其相似，難以區(qū)分，而且在鏡子內(nèi)部，反射內(nèi)容復(fù)雜多樣，使鏡子本質(zhì)上不同于普通的物體。

現(xiàn)有的場景理解方法主要包括語義分割、顯著物體檢測和陰影檢測等。

其中，語義分割旨在通過理解輸入圖像的語義信息，為圖像的每一個像素點分配一個語義標(biāo)簽。基于全卷積的編碼器-解碼器結(jié)構(gòu)是目前最常用的語義分割方法，通常利用多尺度的上下文信息聚合來學(xué)習(xí)并識別物體，并確定目標(biāo)的準(zhǔn)確邊界。具體而言，通過將低級編碼器特征與其相應(yīng)的解碼器特征組合在一起，使用擴(kuò)張卷積來擴(kuò)大感受域，以補(bǔ)償編碼器部分中丟失的細(xì)節(jié)信息。然而，將現(xiàn)有的語義分割方法應(yīng)用于鏡子分割(即將鏡子視為對象類別之一)時，不能從根本上解決鏡子分割問題，因為鏡子中反射的內(nèi)容也會被當(dāng)作真實場景進(jìn)行處理，檢測效果存在較大誤差。

顯著物體檢測(Salient Object Detection,SOD)旨在識別圖像中在視覺上最顯著的對象，即找出圖像中的顯著物體，同時檢測出它們的位置、大小和形狀，來到達(dá)場景理解的目的。傳統(tǒng)的SOD方法依賴于低級手工設(shè)計的特征(例如顏色和對比度)，而基于深度學(xué)習(xí)的SOD方法則考慮自下而上和自上而下的顯著性推斷。通過將局部像素顯著性估計和全局目標(biāo)搜索結(jié)合以進(jìn)行顯著性目標(biāo)檢測。但是，真實場景鏡子中反射的內(nèi)容不一定具有顯著性。即使是顯著的，也可能只有一部分是顯著的。因此，將現(xiàn)有的SOD方法應(yīng)用于鏡子檢測也無法解決該問題。

因此本發(fā)明基于對現(xiàn)有場景理解技術(shù)的調(diào)查與分析，通過多任務(wù)協(xié)作的方式，構(gòu)建了檢測場景中的鏡子的方法SemirNet。方法的輸入是包含鏡子的單張RGB圖像，輸出是鏡子掩膜圖像，其中鏡子區(qū)域的值為1，非鏡子區(qū)域的值為0。該方法能夠有效地檢測出不同場景下不同類型的鏡子，從而能夠幫助場景理解提升準(zhǔn)確度。

發(fā)明內(nèi)容

本發(fā)明的目的是針對單張RGB圖像，通過多任務(wù)協(xié)作實現(xiàn)鏡子檢測的方法SemirNet。SemirNet包括共享編碼器和協(xié)作網(wǎng)絡(luò)，所述的協(xié)作網(wǎng)絡(luò)包括鏡子分割網(wǎng)絡(luò)(S-Net)、鏡子邊界檢測網(wǎng)絡(luò)(B-Net)和深度預(yù)測網(wǎng)絡(luò)(D-Net)；本發(fā)明所述方法適用于多種形狀和大小的鏡子。

本發(fā)明的技術(shù)方案為：

一種基于多任務(wù)協(xié)作的鏡子檢測方法，該方法包括以下步驟：

步驟1選擇鏡子檢測數(shù)據(jù)集MSD