[發明專利]基于卷積神經網絡識別單詞的方法和裝置有效
| 申請號： | 201910677804.8 | 申請日： | 2019-07-25 |
| 公開（公告）號： | CN110378342B | 公開（公告）日： | 2023-04-28 |
| 發明（設計）人： | 張韻東;黃發亮;劉小濤 | 申請（專利權）人： | 北京中星微電子有限公司 |
| 主分類號： | G06V20/62 | 分類號： | G06V20/62;G06V30/18;G06V10/82;G06V30/24;G06N3/0464;G06N3/08 |
| 代理公司： | 北京布瑞知識產權代理有限公司 11505 | 代理人： | 秦衛中 |
| 地址： | 100191 北京市海*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 卷積 神經網絡 識別 單詞 方法 裝置 | ||
1.一種基于卷積神經網絡識別單詞的方法，其特征在于，包括：
采用卷積神經網絡模型對原始圖像進行特征提取以輸出第一特征圖；
將所述第一特征圖在高度維度上切片以得到多個第二特征圖；
分別自上而下、自下而上對所述多個第二特征圖進行卷積和相加運算以得到第三特征圖；
將所述第三特征圖在寬度維度上切片以得到多個第四特征圖；
分別自左向右、自右向左對所述多個第四特征圖進行卷積和相加運算以得到第五特征圖；
通過平均池化和全連接的方式將所述第五特征圖映射到單詞相似性概率空間中以得到第一單詞語義空間特征圖；
采用時序分類算法求解所述第一單詞語義空間特征圖對應的最優的單詞序列。
2.如權利要求1所述的方法，其特征在于，所述第一特征圖的尺寸為C*H*W1，C為通道數，H為高度，W1為寬度，所述將所述第一特征圖在高度維度上切片以得到多個第二特征圖，包括：
將所述第一特征圖在高度維度上切片成第二特征圖1、第二特征圖2、第二特征圖3…第二特征圖H共H個單片的第二特征圖，
其中，所述分別自上而下、自下而上對所述多個第二特征圖進行卷積和相加運算以得到第三特征圖，包括：
將所述第二特征圖1作為輸入，自上而下對所述H個單片的第二特征圖進行卷積和相加運算以獲得新的第二特征圖1、新的第二特征圖2、新的第二特征圖3…新的第二特征圖H；
將所述新的第二特征圖H作為輸入，自下而上對所述新的第二特征圖1、新的第二特征圖2、新的第二特征圖3…新的第二特征圖H進行卷積和相加運算以得到所述第三特征圖。
3.如權利要求1所述的方法，其特征在于，所述通過平均池化和全連接的方式將所述第五特征圖映射到單詞相似性概率空間中以得到第一單詞語義空間特征圖之后，所述方法還包括：
對所述第一單詞語義空間特征圖進行Softmax計算以得到第二單詞語義空間特征圖，
其中，所述采用時序分類算法求解所述第一單詞語義空間特征圖對應的最優的單詞序列，包括：
采用時序分類算法求解所述第二單詞語義空間特征圖對應的最優的單詞序列。
4.如權利要求1中所述的方法，其特征在于，所述第一特征圖的尺寸為C*H*W1，C為通道數，H為高度，W1為寬度，所述通過平均池化和全連接的方式將所述第五特征圖映射到單詞相似性概率空間中以得到第一單詞語義空間特征圖，包括：
將所述第五特征圖在高度維度上進行平均池化以得到平均池化后的第五特征圖，所述平均池化后的第五特征圖的尺寸為C*1*W1；
采用全連接的方式將所述平均池化后的第五特征圖映射到單詞相似性概率空間以得到所述第一單詞語義空間特征圖，所述第一單詞語義空間特征圖的尺寸為W2*N，其中，W2為將所述平均池化后的第五特征圖映射到單詞相似性概率空間后輸出的特征圖的寬，N為單詞的類別數目。
5.如權利要求1-4中任一項所述的方法，其特征在于，所述時序分類算法包括連接時序分類算法或framewise分類算法。
6.如權利要求5中所述的方法，其特征在于，當所述時序分類算法為連接時序分類算法時，所述采用時序分類算法求解所述第一單詞語義空間特征圖對應的最優的單詞序列，包括：
采用所述連接時序分類算法對所述第一單詞語義空間特征圖進行指導訓練；
采用所述連接時序分類算法中的最優路徑解碼求解所述第一單詞語義空間特征圖對應的最優的單詞序列。
7.如權利要求1-4中任一項所述的方法，其特征在于，所述卷積神經網絡模型包括AlexNet模型或VGG模型。
8.如權利要求7所述的方法，其特征在于，所述VGG模型包括VGG11模型、VGG13模型、VGG16模型或VGG19模型。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京中星微電子有限公司，未經北京中星微電子有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201910677804.8/1.html，轉載請聲明來源鉆瓜專利網。
