本發(fā)明公開了一種視覺圖書盤點(diǎn)系統(tǒng)的書脊提取方法，包括：采集書脊圖像；對(duì)采集到的圖像做保邊濾波預(yù)處理；對(duì)經(jīng)過預(yù)處理的圖像做書脊包圍框的標(biāo)注，獲得書脊位置的強(qiáng)監(jiān)督信息；改造MaskRCNN模型，獲得多個(gè)不同組件，按照具體實(shí)施例中的策略連接起來，命名為CMR模型；利用標(biāo)注過的圖像訓(xùn)練CMR模型，優(yōu)化該模型里面的參數(shù)；利用優(yōu)化好的CMR模型，對(duì)采集到的圖像做前向推斷，得到書脊掩碼；根據(jù)書脊掩碼擬合矩形框，將書脊提取出來；利用本發(fā)明可以提高書脊圖像信噪比和書脊提取精度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖書自動(dòng)盤點(diǎn)技術(shù)領(lǐng)域，尤其涉及一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法及裝置。

背景技術(shù)

基于計(jì)算機(jī)視覺的圖書盤點(diǎn)系統(tǒng)主要應(yīng)用于大中型圖書館的圖書盤點(diǎn)工作。該系統(tǒng)通過圖像處理、深度學(xué)習(xí)等多種技術(shù)來識(shí)別移動(dòng)機(jī)器人拍攝的書脊圖像，可以完成圖書的自動(dòng)化盤點(diǎn)。

為了識(shí)別書脊，首先需要對(duì)圖像進(jìn)行書脊提取，然后再來識(shí)別書脊，最后獲取圖書信息。書脊提取的準(zhǔn)確率，從根本上影響盤點(diǎn)系統(tǒng)的準(zhǔn)確率，因此，書脊提取準(zhǔn)確率的提升，一直是基于視覺的圖書盤點(diǎn)系統(tǒng)的重點(diǎn)研究方向。

書脊提取前，有必要對(duì)采集到的原始圖像做預(yù)處理，主要目的是為了濾除噪聲；一般的預(yù)處理方法主要采用高斯算子實(shí)現(xiàn)低通濾波。高斯算子本質(zhì)上是一種按照二維高斯分布構(gòu)建的加權(quán)矩陣，離目標(biāo)像素越近的點(diǎn)對(duì)最終結(jié)果的貢獻(xiàn)越大，反之則越??；通過在原始書脊圖像上滑動(dòng)該加權(quán)矩陣即可將高頻噪聲濾除，效果非常不錯(cuò)；但由于高斯算子只考慮了空間分布，沒有考慮到像素值的差異，這樣就會(huì)導(dǎo)致在濾除高頻噪聲的同時(shí)，把書脊上灰度變化劇烈的地方，比如文字、紋理和縫隙等重要的高頻信號(hào)也濾除掉，圖像信噪比其實(shí)并不高。從肉眼上看，表現(xiàn)為整張圖像變模糊，顯然不利于盤點(diǎn)系統(tǒng)后續(xù)的書脊提取、文字識(shí)別和特征匹配等操作。

預(yù)處理后，一般進(jìn)行書脊提取。觀察拍攝所得圖像，可以發(fā)現(xiàn)書脊之間由縫隙隔開?？p隙本質(zhì)是一條直線，因此可通過檢測直線來提取書脊。若采用Hough變換檢測直線，由于Hough變換對(duì)算法參數(shù)十分敏感，所以針對(duì)不同的圖像，當(dāng)參數(shù)設(shè)置不對(duì)時(shí)，極易造成非書脊邊緣的誤檢，從而導(dǎo)致書脊提取失敗。而直線段檢測算法(Line?Segment?Detector，LSD)算法是基于圖像梯度處理的一種直線檢測算法，它能在線性的時(shí)間內(nèi)得出亞像素級(jí)精度的檢測結(jié)果；所以，目前在視覺圖書盤點(diǎn)系統(tǒng)中，普遍用LSD算法檢測直線，實(shí)現(xiàn)書脊提取。其特征在于，Sobel算子增強(qiáng)書脊縫隙后，先用LSD從圖像中檢出若干條直線，接著基于先驗(yàn)信息，設(shè)計(jì)一系列規(guī)則濾除誤檢直線，擬合出書脊包圍框，最后根據(jù)書脊包圍框?qū)固崛〕鰜怼?/p>

盡管LSD算法的精度和速度都優(yōu)于Hough變換，但同樣存在對(duì)噪聲敏感的問題，直線檢測或多或少都會(huì)存在錯(cuò)檢或漏檢，提取準(zhǔn)確率依舊不是很高。其原因在于，首先，圖像中的書脊具有尺度大，排布密集，方向旋轉(zhuǎn)，顏色多樣和透視畸變等特點(diǎn)，這就使得圖像充滿大量噪聲，最典型的干擾來自書脊上的文字；文字本來屬于書脊的重要特征，但直線檢測算法只能把握單一的縫隙特征，反而使得文字成為書脊提取的最大干擾?；谥本€檢測的方法無法全面把握書脊的各種特征，這是提取精度不高的核心原因。其次，移動(dòng)機(jī)器人在行進(jìn)過程中，鏡頭抖動(dòng)會(huì)導(dǎo)致書脊圖像光照不均甚至出現(xiàn)拖影，降低圖像質(zhì)量。所以，基于以上討論，不難發(fā)現(xiàn)，通過檢測書脊縫隙直線來提取書脊，是無法適應(yīng)書脊圖像復(fù)雜性的。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明公開了一種基于視覺的圖書盤點(diǎn)系統(tǒng)的書脊提取方法，包括以下步驟：

步驟1，通過移動(dòng)機(jī)器人采集書脊圖像并對(duì)采集到的圖像做保邊濾波預(yù)處理，提高系統(tǒng)信噪比，再對(duì)采集圖像做形變矯正；

步驟2，對(duì)經(jīng)過預(yù)處理的圖像做書脊包圍框的標(biāo)注，獲得書脊位置的強(qiáng)監(jiān)督信息；

步驟3，構(gòu)建改造型MaskRCNN模型，獲得多個(gè)不同組件，按照預(yù)設(shè)的策略連接起來，命名為CMR模型；

步驟4，利用標(biāo)注過的圖像訓(xùn)練CMR模型，優(yōu)化該模型里面的參數(shù)；