一種基于深度學習的移動機器人回環檢測方法。其包括構成航站樓實際場景數據集和航站樓實際場景增強數據集；獲得區域生成模型、全局描述模型和回環檢測模型；獲得回環候選幀；進行回環驗證，獲得最終的回環幀等步驟。本發明具有如下有益效果：本發明引入深度學習技術學習圖像幀局部區域的全局特征描述子，相比于人工設計的描述子，能學習到更深層次的語義信息，能更好地適應場景變化，并且結合了全局描述子和局部描述子的優點，在全局描述子本身具有的良好外觀不變性的基礎上，增強了描述子對于視點變化的魯棒性。

技術領域

本發明屬于視覺同步定位與建圖(Simultaneous Localization and Mapping，SLAM)技術領域，特別是涉及一種基于深度學習的移動機器人回環檢測方法。

背景技術

視覺SLAM是基于視覺傳感器的同步定位與建圖技術，在未知環境中，其通過跟蹤提取的圖像特征，求解相機幀之間的位姿及三維空間地圖，目前已被廣泛應用于機器人、無人機及自動駕駛汽車平臺上。

作為視覺SLAM的重要組成部分，回環檢測是通過圖像數據識別出曾經到達過的地方，是視覺SLAM技術中的重要組成部分。在長期工作過程中，視覺SLAM系統會不可避免存在累計誤差。正確識別回環后進行全局優化可消除累計誤差。一個真陽性回環(被預測為回環的真回環)能夠顯著降低系統的累積誤差，但一個假陽性回環(被預測為回環的假回環)可能會使整個優化算法收斂到完全錯誤的值。因此，正確識別回環對于整個視覺SLAM技術來說十分重要。

早期基于詞袋的回環檢測方法在穩定的環境下尚能正常運行，但在受諸如動態目標、光照變化、視角變化等因素影響的航站樓場景中，它的召回率和準確率都會產生下降，因此這就成為很多研究人員爭相解決的重要問題。隨著深度學習、圖像分類、語義分割等領域的迅速發展，使得使用這些技術來進行回環檢測成為可能。

發明內容

為了解決上述問題，本發明的目的在于提供了一種基于深度學習的移動機器人回環檢測方法。

為了達到上述目的，本發明提供的基于深度學習的移動機器人回環檢測方法包括按順序進行的下列步驟：

1)利用采集設備獲取航站樓場景中具有回環的序列原始圖像幀而構成航站樓實際場景數據集D；

2)對上述航站樓實際場景數據集D中的所有圖像幀進行包括旋轉、翻轉、縮放及光照強度改變在內的處理，以對圖像幀進行增強，獲得航站樓實際場景增強數據集D’；

3)將上述航站樓實際場景增強模數據集D’輸入區域生成網絡而對其進行訓練，獲得區域生成模型A；

4)將上述航站樓實際場景增強模數據集D’輸入NetVLAD網絡而對其進行訓練，獲得全局描述模型B；

5)將區域生成模型A和全局描述模型B連接而構成回環檢測模型C；

6)將待檢測原始圖像幀輸入上述回環檢測模型C中，得到待檢測原始圖像的局部區域全局描述子，然后計算上述局部區域全局描述子與關鍵幀數據庫中關鍵幀描述子的相似度，當相似度高于相似度閾值時，將關鍵幀作為回環候選幀Q，由所有的回環候選幀Q組成回環候選幀集Q_n；

7)對上述回環候選幀集Q_n進行回環驗證，若回環驗證成功，則判斷出現回環，獲得最終的回環幀。

在步驟1)中，所述利用采集設備獲取航站樓場景中具有回環的序列原始圖像幀而構成航站樓實際場景數據集D的方法是：

1.1)在航站樓室內區域選取包含回環的路線作為圖像采集環境；

1.2)將RGB-D相機安裝在移動平臺上作為采集設備，RGB-D相機的安裝方式為平視，安裝方向與移動平臺前進方向一致，RGB-D相機中軸線與移動平臺中軸線重合，允許安裝誤差分別為5°以內和2mm以內；