[發(fā)明專利]一種用于工件安裝關(guān)鍵工序視覺檢測與定位的方法及裝置在審
| 申請?zhí)枺?/td> | 202110365813.0 | 申請日： | 2021-04-06 |
| 公開（公告）號： | CN112861823A | 公開（公告）日： | 2021-05-28 |
| 發(fā)明（設(shè)計）人： | 梅雪;林榕;何毅;秦午陽;張啟航 | 申請（專利權(quán)）人： | 南京工業(yè)大學(xué) |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/62;G06Q10/06 |
| 代理公司： | 江蘇瑞途律師事務(wù)所 32346 | 代理人： | 蔣海軍 |
| 地址： | 211816 江*** | 國省代碼： | 江蘇;32 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 用于 工件 安裝 關(guān)鍵 工序 視覺 檢測 定位 方法 裝置 | ||
1.一種用于工件安裝關(guān)鍵工序視覺檢測與定位的方法，其特征在于，包括：
采集工件安裝過程視頻圖像，提取必要參照的圖像特征并進(jìn)行定位；
根據(jù)所定位的必要參照的圖像特征以及工件整個安裝工序所需的時間，截取工件安裝工序視頻；
將所截取的工件安裝工序視頻進(jìn)行特征提取，得到工件安裝過程的動作特征；
對所述動作特征進(jìn)行分類，根據(jù)分類結(jié)果判斷工件安裝工序是否合格。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取必要參照的圖像特征并進(jìn)行定位的方法包括：
以工件安裝過程中必經(jīng)步驟或必需工具作為必要參照，通過必要參照的顏色、輪廓及紋理中的一種或多種，提取出必要參照的圖像特征；
將必要參照的圖像特征框出定位。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所定位的必要參照的圖像特征以及工件整個安裝工序所需的時間，截取工件安裝工序視頻的方法包括：
將所定位的必要參照的圖像特征所在的視頻幀作為起始關(guān)鍵幀；
確定工件整個安裝工序所需時間；
以起始關(guān)鍵幀為節(jié)點(diǎn)，分別向前和向后截取若干分鐘長視頻，所述長視頻覆蓋工件整個安裝工序。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所截取的工件安裝工序視頻進(jìn)行特征提取，獲得工件安裝過程關(guān)鍵視頻序列的動作特征的方法包括：
將所截取的工件安裝工序視頻分別采用背景剪除法和稠密軌跡法獲得動作邊界信息和動作行為特征；
將所述動作邊界信息和動作行為特征進(jìn)行特征融合；
將融合后的特征送入特征提取網(wǎng)絡(luò)中進(jìn)行識別，得到工件安裝過程的動作特征。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所截取的工件安裝工序視頻進(jìn)行特征提取，獲得工件安裝過程關(guān)鍵視頻序列的動作特征的方法還包括：對特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練；訓(xùn)練方法包括：
收集工件安裝工序的視頻樣本；
根據(jù)工件安裝工序，對感興趣的視頻樣本進(jìn)行分割；
對分割后的視頻段進(jìn)行標(biāo)注，并作為用于訓(xùn)練特征提取網(wǎng)絡(luò)的訓(xùn)練樣本；
利用訓(xùn)練樣本對特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述特征提取網(wǎng)絡(luò)為C3D網(wǎng)絡(luò)，所述C3D網(wǎng)絡(luò)中的池化層Pool5的池化核大小為7×7，步長為7。
7.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，所述對動作特征進(jìn)行分類的方法包括：
利用Softmax分類器對動作特征進(jìn)行分類，并進(jìn)行回歸優(yōu)化。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)分類結(jié)果判斷操作工人是否按工序要求安裝工件的方法包括：
通過Softmax分類器，獲得每個操作工序的得分；
根據(jù)每個工序的得分與相應(yīng)工序的分?jǐn)?shù)閾值，判斷該工序是否合格。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括：在根據(jù)分類結(jié)果進(jìn)行判斷后，若合格，則將檢測完成的視頻歸檔；若不合格，則進(jìn)行預(yù)警提示，并提示對相應(yīng)工序進(jìn)行復(fù)檢。
10.一種用于工件安裝關(guān)鍵工序視覺檢測與定位的裝置，其特征在于，包括：
視頻圖像采集模塊，用于采集工件安裝過程視頻圖像；
參照定位模塊，用于提取必要參照的圖像特征并進(jìn)行定位；
工序視頻截取模塊，用于根據(jù)所定位的必要參照的圖像特征以及工件整個安裝工序所需時間，截取工件安裝工序視頻；
特征提取模塊，用于將所截取的工件安裝進(jìn)行特征提取，獲得工件安裝過程關(guān)鍵視頻序列的動作特征；
評估模塊，用于對所述動作特征進(jìn)行分類，根據(jù)分類結(jié)果判斷工件安裝工序是否合格。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于南京工業(yè)大學(xué)，未經(jīng)南京工業(yè)大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202110365813.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06K 數(shù)據(jù)識別；數(shù)據(jù)表示；記錄載體；記錄載體的處理
G06K9-00 用于閱讀或識別印刷或書寫字符或者用于識別圖形，例如，指紋的方法或裝置
G06K9-03 .錯誤的檢測或校正，例如，用重復(fù)掃描圖形的方法
G06K9-18 .應(yīng)用具有附加代碼標(biāo)記或含有代碼標(biāo)記的打印字符的，例如，由不同形狀的各個筆畫組成的，而且每個筆畫表示不同的代碼值的字符
G06K9-20 .圖像捕獲
G06K9-36 .圖像預(yù)處理，即無須判定關(guān)于圖像的同一性而進(jìn)行的圖像信息處理
G06K9-60 .圖像捕獲和多種預(yù)處理作用的組合
