本發(fā)明公開了一種弱監(jiān)督可信代價傳播的視差估計方法，利用深度學(xué)習(xí)方法對傳統(tǒng)方法獲得的初始代價進(jìn)行優(yōu)化。通過結(jié)合，充分利用各自優(yōu)勢，解決了傳統(tǒng)方法中誤匹配、無紋理區(qū)域匹配難等問題，同時弱監(jiān)督的可信代價傳播方法避免了深度學(xué)習(xí)方法數(shù)據(jù)標(biāo)簽依賴的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理和計算機(jī)視覺領(lǐng)域，涉及雙目視差估計，并利用深度學(xué)習(xí)方法對傳統(tǒng)方法獲得的初始代價進(jìn)行優(yōu)化。具體涉及一種弱監(jiān)督可信代價傳播的視差估計方法。

背景技術(shù)

深度即目標(biāo)到觀察者的距離作為一種重要的空間信息，可用來提取目標(biāo)的一些重要屬性(如速度、三維位置)和關(guān)系(如遮擋、越界)，對于目標(biāo)跟蹤及行為感知具有重要意義。雙目深度感知利用立體匹配求出兩幅圖像對應(yīng)點間的視差，根據(jù)三角測量原理，用雙目相機(jī)內(nèi)外參求得場景內(nèi)相應(yīng)點的深度值。現(xiàn)有的雙目視差估計方法主要有三大類：第一類是傳統(tǒng)雙目視差估計方法，主要基于幾何約束，通常分為匹配代價計算、代價聚合、視差估計、視差優(yōu)化等過程。其中最經(jīng)典的是SGM(半全局匹配)算法，其特點是每個像素點的代價用其對應(yīng)位置八個方向路徑上的像素代價做優(yōu)化，在一定程度上解決了無紋理區(qū)域的匹配問題。傳統(tǒng)方法對稀疏視差估計較準(zhǔn)確，但估計稠密視差時局限性很大，如參數(shù)多，調(diào)參適配不同場景耗時耗力，特征設(shè)計難，能量傳播不充分，特別是在鏡面反射、低光、透明、無紋理區(qū)域仍存在較大缺陷。第二類是基于深度學(xué)習(xí)的視差估計方法，如用網(wǎng)絡(luò)得到的特征進(jìn)行搜索匹配，用左右一致性約束實現(xiàn)視差優(yōu)化、學(xué)習(xí)的監(jiān)督等。近兩年研究者提出用3D卷積實現(xiàn)能量傳播過程的方法，進(jìn)一步提高了網(wǎng)絡(luò)的可解釋性。為解決數(shù)據(jù)依賴問題，研究者提出了利用左右重建一致性的無監(jiān)督方法、基于域適應(yīng)思想的遷移學(xué)習(xí)方法等。上述基于數(shù)據(jù)驅(qū)動的學(xué)習(xí)的方法，可得到表達(dá)能力更強(qiáng)的特征模型，一方面能充分考慮語義信息，另一方面能學(xué)到像素間的更豐富的關(guān)系特征，因此最終視差圖較傳統(tǒng)方法結(jié)果更準(zhǔn)確、平滑，但存在著數(shù)據(jù)依賴強(qiáng)、場景泛化能力差的問題。第三類為深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合的估計方法。如針對SGM算法，利用網(wǎng)絡(luò)對不同場景、不同像素自動分配懲罰系數(shù)，可顯著提升SGM稠密視差估計效果。針對能量傳播，文獻(xiàn)利用網(wǎng)絡(luò)估計出每個像素點的置信度，根據(jù)置信度進(jìn)行能量傳播過程。這些深度學(xué)習(xí)與傳統(tǒng)方法結(jié)合的方法雖然可解釋性更強(qiáng)，但仍未充分利用兩類方法各自的優(yōu)勢，因此相對于端到端的學(xué)習(xí)方法未能在精度上體現(xiàn)出優(yōu)勢，而相較于稀疏匹配方法未在泛化能力及數(shù)據(jù)依賴程度上體現(xiàn)出優(yōu)勢。

本發(fā)明基于以上問題，提出一種將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合的雙目視差估計法，充分利用傳統(tǒng)方法與深度學(xué)習(xí)方法各自優(yōu)勢，利用弱監(jiān)督深度學(xué)習(xí)對傳統(tǒng)方法獲取的粗糙初始代價進(jìn)行優(yōu)化，獲得精確代價圖，解決真實視差數(shù)據(jù)標(biāo)簽難獲取、跨數(shù)據(jù)集泛化能力差、無紋理及重復(fù)紋理區(qū)域誤匹配等稠密視差圖獲取過程中的一系列難題。

發(fā)明內(nèi)容

本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，提供了弱監(jiān)督可信代價傳播視差估計方法，即將深度學(xué)習(xí)與傳統(tǒng)方法結(jié)合，利用弱監(jiān)督深度學(xué)習(xí)方法優(yōu)化傳統(tǒng)方法獲取的初始代價圖，有效利用傳統(tǒng)方法和深度學(xué)習(xí)方法各自的優(yōu)勢，得到更精確的視差圖。

具體方案包括下列步驟：

一種基于弱監(jiān)督可信代價傳播的雙目視差估計方法

第一步，采用傳統(tǒng)特征匹配方法即非深度學(xué)習(xí)方法，得到稀疏精確的初始代價圖；

第二步，進(jìn)行能量傳；采用三維卷積網(wǎng)絡(luò)對初始代價圖進(jìn)行優(yōu)化；

第三步，進(jìn)行視差回歸；利用優(yōu)化后的初始代價圖轉(zhuǎn)化為概率圖，所述概率圖為每個像素屬于每個視差的概率，再通過Soft Argmax得到亞像素視差，最終獲得稠密視差圖。

本發(fā)明的有益效果是：

本發(fā)明提出一種傳統(tǒng)視差估計與深度學(xué)習(xí)結(jié)合的雙目視差估計方法。通過結(jié)合，充分利用各自優(yōu)勢，解決了傳統(tǒng)方法中誤匹配、無紋理區(qū)域匹配難等問題，同時弱監(jiān)督的可信代價傳播方法避免了深度學(xué)習(xí)方法數(shù)據(jù)標(biāo)簽依賴的問題。

附圖說明

圖1為方案的整體流程圖；