[發(fā)明專利]一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法及裝置有效
| 申請(qǐng)?zhí)枺?/td> | 202010182948.9 | 申請(qǐng)日： | 2020-03-16 |
| 公開（公告）號(hào)： | CN111368856B | 公開（公告）日： | 2023-07-11 |
| 發(fā)明（設(shè)計(jì)）人： | 蔡君;劉高聯(lián);廖麗平;付鴻添;吳夢(mèng)瑩 | 申請(qǐng)（專利權(quán)）人： | 廣東技術(shù)師范大學(xué);廣東省星溪智能科技有限公司 |
| 主分類號(hào)： | G06V10/44 | 分類號(hào)： | G06V10/44;G06V10/24;G06V10/36;G06V10/82;G06N3/0464 |
| 代理公司： | 廣州高航知識(shí)產(chǎn)權(quán)代理有限公司 11530 | 代理人： | 趙永強(qiáng) |
| 地址： | 510630 廣東省*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 視覺 圖書 盤點(diǎn) 系統(tǒng) 書脊 提取 方法 裝置 | ||
1.一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，包括以下步驟：
步驟1，通過移動(dòng)機(jī)器人采集書脊圖像并對(duì)采集到的圖像做保邊濾波預(yù)處理，提高系統(tǒng)信噪比，再對(duì)采集圖像做形變矯正；
步驟2，對(duì)經(jīng)過預(yù)處理的圖像做書脊包圍框的標(biāo)注，獲得書脊位置的強(qiáng)監(jiān)督信息；
步驟3，構(gòu)建改造型MaskRCNN模型，獲得多個(gè)不同組件，按照預(yù)設(shè)的策略連接起來，命名為CMR模型；
步驟4，利用標(biāo)注過的圖像訓(xùn)練CMR模型，優(yōu)化該模型里面的參數(shù)；
步驟5，利用優(yōu)化好的CMR模型，對(duì)采集到的圖像做前向推斷，得到書脊掩碼；
步驟6，根據(jù)書脊掩碼擬合矩形框，將書脊提取出來。
2.如權(quán)利要求1所述的一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，所述步驟1進(jìn)一步包括：先對(duì)采集圖像做保邊濾波，提高系統(tǒng)信噪比，再對(duì)采集圖像做形變矯正。
3.如權(quán)利要求2所述的一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，在對(duì)采集書脊圖像做保邊濾波預(yù)處理的步驟中，先利用Canny算子標(biāo)記書脊文字、紋理和縫隙所在像素點(diǎn)，生成雙邊濾波器在該點(diǎn)對(duì)應(yīng)的截?cái)啻翱冢划?dāng)濾波器滑動(dòng)到書脊圖像銳利邊緣處，采用加窗雙邊濾波器；當(dāng)濾波器滑動(dòng)到書脊圖像平緩區(qū)域處，退化為高斯濾波器。
4.如權(quán)利要求2所述的一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，在所述對(duì)采集圖像做形變矯正的步驟中，采用透視變換實(shí)現(xiàn)形變矯正。
5.如權(quán)利要求4所述的一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，采用梯度下降算法來優(yōu)化CMR模型里面的參數(shù)。
6.如權(quán)利要求5所述的一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，所述步驟4進(jìn)一步包括：CMR模型的Backbone選用ResNeXt，其中，ResNeXt用一種平行堆疊相同拓?fù)浣Y(jié)構(gòu)的blocks代替?zhèn)鹘y(tǒng)ResNet三層卷積的block，CMR模型的優(yōu)化器選用小批量梯度下降算法。
7.如權(quán)利要求1所述的一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，其特征在于，所述步驟3進(jìn)一步包括：CMR模型包括Backbone模塊、RPN模塊、RoIAlign模塊、BBox模塊和Mask模塊，所述Backbone模塊、RPN模塊、RoIAlign模塊和Mask模塊相互連接；RoIAlign模塊連接兩個(gè)子模塊BBox模塊和Mask模塊，所述Backbone模塊進(jìn)一步連接所述RoIAlign模塊，其中Backbone為模型骨干網(wǎng)，負(fù)責(zé)書脊圖像的特征抽取；RPN為區(qū)域建議模塊，負(fù)責(zé)產(chǎn)生可疑的目標(biāo)矩形框；RoIAlign模塊從RPN模塊確定的ROI中導(dǎo)出像素一一對(duì)應(yīng)的特征圖；BBox為矩形框模塊，負(fù)責(zé)回歸出中間或最終目標(biāo)矩形框；Mask為語義分割模塊，負(fù)責(zé)對(duì)可疑ROI逐像素語義分割，得到最終的目標(biāo)掩碼。
8.一種電子裝置，其特征在于，包括：
處理器；以及，
存儲(chǔ)器，用于存儲(chǔ)所述處理器的可執(zhí)行指令；
其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于廣東技術(shù)師范大學(xué);廣東省星溪智能科技有限公司，未經(jīng)廣東技術(shù)師范大學(xué);廣東省星溪智能科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202010182948.9/1.html，轉(zhuǎn)載請(qǐng)聲明來源鉆瓜專利網(wǎng)。
- 倉庫盤點(diǎn)方法及倉庫盤點(diǎn)系統(tǒng)
- 高效盤點(diǎn)系統(tǒng)及方法
- 一種智能盤點(diǎn)裝置
- 一種智能盤點(diǎn)裝置
- 資產(chǎn)盤點(diǎn)方法以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
- 基于RFID系統(tǒng)的標(biāo)簽盤點(diǎn)方法及裝置
- 一種盤點(diǎn)后確認(rèn)商品庫存的方法及裝置
- 物品盤點(diǎn)、盤點(diǎn)統(tǒng)計(jì)方法、盤點(diǎn)機(jī)器人、服務(wù)器及系統(tǒng)
- 質(zhì)押物盤點(diǎn)方法、系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
- 核電站備件盤點(diǎn)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)
