[發(fā)明專利]一種基于多任務(wù)協(xié)作的鏡子檢測(cè)方法有效
| 申請(qǐng)?zhí)枺?/td> | 202010112812.0 | 申請(qǐng)日: | 2020-02-24 |
| 公開(公告)號(hào): | CN111339919B | 公開(公告)日: | 2022-10-14 |
| 發(fā)明(設(shè)計(jì))人: | 梅海洋;楊鑫;魏小鵬;尹寶才;劉圓圓 | 申請(qǐng)(專利權(quán))人: | 大連理工大學(xué) |
| 主分類號(hào): | G06V20/10 | 分類號(hào): | G06V20/10;G06V10/26;G06V10/44;G06V10/774;G06V10/82;G06N3/04 |
| 代理公司: | 大連理工大學(xué)專利中心 21200 | 代理人: | 溫福雪 |
| 地址: | 116024 遼*** | 國省代碼: | 遼寧;21 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 任務(wù) 協(xié)作 鏡子 檢測(cè) 方法 | ||
1.一種基于多任務(wù)協(xié)作的鏡子檢測(cè)方法,其特征在于,所述方法包括以下步驟:
步驟1選擇鏡子檢測(cè)數(shù)據(jù)集MSD
選擇一個(gè)鏡子檢測(cè)數(shù)據(jù)集MSD,該數(shù)據(jù)集包括鏡子的圖像和對(duì)應(yīng)的人工標(biāo)注的鏡子掩膜圖像;且該數(shù)據(jù)集涵蓋場(chǎng)景中的多種樣式的鏡子以及被實(shí)物遮擋的鏡子;將得到的MSD數(shù)據(jù)集中的圖像劃分為訓(xùn)練集和測(cè)試集;
步驟2共享編碼器提取特征
將步驟1構(gòu)建的MSD數(shù)據(jù)集中訓(xùn)練集的圖像輸入到共享編碼器中以收獲多級(jí)別的特征;所述的共享編碼器利用特征提取網(wǎng)絡(luò)實(shí)現(xiàn);
步驟3構(gòu)建協(xié)作網(wǎng)絡(luò)
所述的協(xié)作網(wǎng)絡(luò)包括三個(gè)并行的網(wǎng)絡(luò),分別為鏡子分割網(wǎng)絡(luò)S-Net、鏡子邊界檢測(cè)網(wǎng)絡(luò)B-Net和深度預(yù)測(cè)網(wǎng)絡(luò)D-Net;
所述的鏡子分割網(wǎng)絡(luò)S-Net用于檢測(cè)圖像域中的不連續(xù)性,鏡子分割網(wǎng)絡(luò)S-Net要求共享編碼器提供輸入圖像的高級(jí)語義信息,由此生成圖像內(nèi)容中的不連續(xù)性;因此,在帶有預(yù)訓(xùn)練的ResNet-101編碼器的PSP模塊上構(gòu)建鏡子分割網(wǎng)絡(luò)S-Net;
所述的深度預(yù)測(cè)網(wǎng)絡(luò)D-Net用于估計(jì)圖片的深度圖,并轉(zhuǎn)化為注意力圖,以引導(dǎo)網(wǎng)絡(luò)專注于深度域不一致的區(qū)域;所述的深度預(yù)測(cè)網(wǎng)絡(luò)D-Net使用跨連接方式連接六個(gè)卷積層實(shí)現(xiàn)深度預(yù)測(cè),通過將步驟2中共享編碼器得到的多級(jí)特征輸入到D-Net中,生成最終的深度注意力圖,并將深度注意力圖饋送到主網(wǎng)絡(luò)以增強(qiáng)空間上下文信息;所述深度預(yù)測(cè)網(wǎng)絡(luò)D-Net采用上采樣和下采樣模塊將步驟2中的共享編碼器提供的多級(jí)特征圖對(duì)齊到相同的空間分辨率;
所述的鏡子邊界檢測(cè)網(wǎng)絡(luò)B-Net通過顯式的提供鏡像邊界信息來增強(qiáng)上下文信息以進(jìn)行鏡子分割,作為預(yù)測(cè)鏡面區(qū)域的重要輔助;將步驟2共享編碼器中三個(gè)連續(xù)的卷積層產(chǎn)生的多級(jí)特征以跨連接的方式組合來檢測(cè)反射鏡的邊緣,來自最后一個(gè)卷積層的特征用于結(jié)構(gòu)上下文增強(qiáng);
步驟4形成鏡子檢測(cè)網(wǎng)絡(luò)SemirNet并輸出檢測(cè)結(jié)果
將步驟3中構(gòu)建的鏡子分割網(wǎng)絡(luò)S-Net、鏡子邊界檢測(cè)網(wǎng)絡(luò)B-Net和深度預(yù)測(cè)網(wǎng)絡(luò)D-Net均與步驟2中的共享編碼器連接,形成鏡子檢測(cè)網(wǎng)絡(luò)SemirNet;將步驟2中的共享編碼器生成的多級(jí)特征作為D-Net、B-Net和S-Net的輸入,通過利用D-Net預(yù)測(cè)的深度生成深度注意力圖和B-Net的邊界信息,加強(qiáng)S-Net對(duì)圖像域中不連續(xù)的特征的判別能力,從而對(duì)輸入的鏡子圖像生成最終的鏡子檢測(cè)結(jié)果;
步驟5驗(yàn)證SemirNet有效性
將SemirNet與SemirNet相關(guān)領(lǐng)域的方法進(jìn)行比較以驗(yàn)證SemirNet的有效性;所述SemirNet相關(guān)領(lǐng)域的方法均使用公開的代碼或帶有建議參數(shù)的設(shè)置,并且均在MSD訓(xùn)練集中進(jìn)行訓(xùn)練,在測(cè)試集上進(jìn)行測(cè)試。
2.根據(jù)權(quán)利要求1所述的一種基于多任務(wù)協(xié)作的鏡子檢測(cè)方法,其特征在于,步驟2中所述的特征提取網(wǎng)絡(luò)包括VGG16或ResNet50。
3.根據(jù)權(quán)利要求1或2所述的一種基于多任務(wù)協(xié)作的鏡子檢測(cè)方法,其特征在于,步驟5中所述的SemirNet相關(guān)領(lǐng)域的方法包括UNet、FCN、SegNet、ICNet、PSPNet、Mask RCNN和DSS。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于大連理工大學(xué),未經(jīng)大連理工大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010112812.0/1.html,轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 任務(wù)協(xié)作裝置及方法
- 用于量化任務(wù)價(jià)值的任務(wù)管理方法及裝置
- 用于運(yùn)行任務(wù)的系統(tǒng)、方法和裝置
- 一種分布式任務(wù)調(diào)度系統(tǒng)及方法
- 任務(wù)信息處理方法
- 一種同步任務(wù)異步執(zhí)行的方法和調(diào)度系統(tǒng)
- 數(shù)據(jù)處理方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)
- 一種自動(dòng)分配和推送的任務(wù)管理平臺(tái)及方法
- 程序執(zhí)行控制的裝置及方法、終端和存儲(chǔ)介質(zhì)
- 基于會(huì)話的任務(wù)待辦方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)
- 一種基于業(yè)務(wù)規(guī)則的跨部門流程協(xié)同方法
- 基站協(xié)作的動(dòng)態(tài)連接方法、基站和協(xié)作多輸入多輸出系統(tǒng)
- 一種協(xié)作多點(diǎn)傳輸系統(tǒng)的信號(hào)發(fā)送方法及其裝置
- 協(xié)作方法、網(wǎng)絡(luò)和用戶終端
- 應(yīng)用程序協(xié)作系統(tǒng)、應(yīng)用程序協(xié)作方法以及應(yīng)用程序協(xié)作程序
- 協(xié)作多點(diǎn)傳輸方法、裝置和系統(tǒng)
- 一種面向智能終端的內(nèi)容下載應(yīng)用激勵(lì)方法及其系統(tǒng)
- 一種協(xié)作多點(diǎn)傳輸調(diào)度方法及裝置
- 一種協(xié)作實(shí)現(xiàn)方法和裝置
- 一種區(qū)塊鏈及智能合約系統(tǒng)協(xié)作層設(shè)計(jì)





