[發(fā)明專利]一種圖像處理方法及系統(tǒng)有效
| 申請(qǐng)?zhí)枺?/td> | 201610322369.3 | 申請(qǐng)日: | 2016-05-16 |
| 公開(kāi)(公告)號(hào): | CN107391505B | 公開(kāi)(公告)日: | 2020-10-23 |
| 發(fā)明(設(shè)計(jì))人: | 張俊格 | 申請(qǐng)(專利權(quán))人: | 騰訊科技(深圳)有限公司;中國(guó)科學(xué)院自動(dòng)化研究所 |
| 主分類號(hào): | G06F16/583 | 分類號(hào): | G06F16/583;G06K9/62 |
| 代理公司: | 廣州三環(huán)專利商標(biāo)代理有限公司 44202 | 代理人: | 郝傳鑫;熊永強(qiáng) |
| 地址: | 518000 廣東省深圳*** | 國(guó)省代碼: | 廣東;44 |
| 權(quán)利要求書(shū): | 查看更多 | 說(shuō)明書(shū): | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 圖像 處理 方法 系統(tǒng) | ||
1.一種圖像處理方法,其特征在于,包括:
通過(guò)卷積神經(jīng)網(wǎng)絡(luò)CNN提取目標(biāo)圖像的圖像CNN特征,并基于所述圖像CNN特征生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義文本特征;
從所述語(yǔ)義文本特征中提取出第一空間結(jié)構(gòu)信息;
根據(jù)所述空間結(jié)構(gòu)信息分析所述圖像CNN特征,獲取所述圖像CNN特征中與所述第一空間結(jié)構(gòu)信息對(duì)應(yīng)的第二空間結(jié)構(gòu)CNN特征。
2.如權(quán)利要求1所述的方法,其特征在于,所述通過(guò)卷積神經(jīng)網(wǎng)絡(luò)CNN提取目標(biāo)圖像的圖像CNN特征,并基于所述圖像CNN特征生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義文本特征包括:
通過(guò)CNN模型對(duì)目標(biāo)圖像進(jìn)行編碼,生成圖像CNN特征;
通過(guò)長(zhǎng)短時(shí)記憶LSTM模型對(duì)所述圖像CNN特征進(jìn)行編碼,生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義特征,通過(guò)LSTM模型對(duì)所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義特征進(jìn)行解碼,生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義文本描述;其中,所述LSTM模型的每個(gè)門結(jié)構(gòu)的輸入信息包括當(dāng)前時(shí)刻的輸入、前一時(shí)刻的輸入、前一時(shí)刻的內(nèi)部隱層值以及層級(jí)語(yǔ)義信息。
3.如權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述空間結(jié)構(gòu)信息分析所述圖像CNN特征,獲取所述圖像CNN特征中與所述第一空間結(jié)構(gòu)信息對(duì)應(yīng)的第二空間結(jié)構(gòu)CNN特征,包括:
將所述圖像CNN特征映射到語(yǔ)義空間,得到全局語(yǔ)義特征;
將所述圖像CNN特征中所述第一空間結(jié)構(gòu)信息以外的所有特定CNN特征分別映射到語(yǔ)義空間,得到特定語(yǔ)義特征;
對(duì)所述全局語(yǔ)義特征和所述特定語(yǔ)義特征進(jìn)行向量運(yùn)算,得到所述圖像CNN特征中的空間結(jié)構(gòu)語(yǔ)義特征。
4.如權(quán)利要求1-3任一項(xiàng)所述的方法,其特征在于,針對(duì)多個(gè)不同的目標(biāo)圖像分別執(zhí)行所述通過(guò)CNN提取目標(biāo)圖像的圖像CNN特征,并基于所述圖像CNN特征生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義文本特征的步驟,分別獲取到多個(gè)第二空間結(jié)構(gòu)CNN特征;
將所述多個(gè)第二空間結(jié)構(gòu)CNN特征構(gòu)建成空間結(jié)構(gòu)語(yǔ)義空間。
5.如權(quán)利要求4所述的方法,其特征在于,所述將所述多個(gè)第二空間結(jié)構(gòu)CNN特征構(gòu)建成空間結(jié)構(gòu)語(yǔ)義空間之后,還包括:
當(dāng)對(duì)待測(cè)試圖像進(jìn)行測(cè)試時(shí),通過(guò)CNN提取所述待測(cè)試圖像的圖像CNN特征,并將所述待測(cè)試圖像的圖像CNN特征映射到語(yǔ)義空間,得到全局語(yǔ)義特征;
將所述全局語(yǔ)義特征與所述空間結(jié)構(gòu)語(yǔ)義空間進(jìn)行比較分析,從所述全局語(yǔ)義特征中獲取空間結(jié)構(gòu)語(yǔ)義特征;
將獲取到的所述空間結(jié)構(gòu)語(yǔ)義特征加入LSTM模型中進(jìn)行處理,生成所述待測(cè)試圖像的語(yǔ)義文本特征。
6.一種圖像處理系統(tǒng),其特征在于,包括:
提取生成模塊,用于通過(guò)卷積神經(jīng)網(wǎng)絡(luò)CNN提取目標(biāo)圖像的圖像CNN特征,并基于所述圖像CNN特征生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義文本特征;
信息提取模塊,用于從所述語(yǔ)義文本特征中提取出第一空間結(jié)構(gòu)信息;
結(jié)構(gòu)特征信息獲取模塊,用于根據(jù)所述空間結(jié)構(gòu)信息分析所述圖像CNN特征,獲取所述圖像CNN特征中與所述第一空間結(jié)構(gòu)信息對(duì)應(yīng)的第二空間結(jié)構(gòu)CNN特征。
7.如權(quán)利要求6所述的系統(tǒng),其特征在于,所述提取生成模塊包括:
編碼生成單元,用于通過(guò)CNN模型對(duì)目標(biāo)圖像進(jìn)行編碼,生成圖像CNN特征;
編碼單元,用于通過(guò)長(zhǎng)短時(shí)記憶LSTM模型對(duì)所述圖像CNN特征進(jìn)行編碼,生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義特征;
解碼單元,用于通過(guò)LSTM模型對(duì)所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義特征進(jìn)行解碼,生成所述目標(biāo)圖像對(duì)應(yīng)的語(yǔ)義文本描述;其中,所述LSTM模型的每個(gè)門結(jié)構(gòu)的輸入信息包括當(dāng)前時(shí)刻的輸入、前一時(shí)刻的輸入、前一時(shí)刻的內(nèi)部隱層值以及層級(jí)語(yǔ)義信息。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于騰訊科技(深圳)有限公司;中國(guó)科學(xué)院自動(dòng)化研究所,未經(jīng)騰訊科技(深圳)有限公司;中國(guó)科學(xué)院自動(dòng)化研究所許可,擅自商用是侵權(quán)行為。如果您想購(gòu)買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請(qǐng)聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201610322369.3/1.html,轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。
- 彩色圖像和單色圖像的圖像處理
- 圖像編碼/圖像解碼方法以及圖像編碼/圖像解碼裝置
- 圖像處理裝置、圖像形成裝置、圖像讀取裝置、圖像處理方法
- 圖像解密方法、圖像加密方法、圖像解密裝置、圖像加密裝置、圖像解密程序以及圖像加密程序
- 圖像解密方法、圖像加密方法、圖像解密裝置、圖像加密裝置、圖像解密程序以及圖像加密程序
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序以及圖像解碼程序
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序
- 圖像形成設(shè)備、圖像形成系統(tǒng)和圖像形成方法
- 圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法及圖像解碼程序
- 圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法及圖像解碼程序
- 一種數(shù)據(jù)庫(kù)讀寫(xiě)分離的方法和裝置
- 一種手機(jī)動(dòng)漫人物及背景創(chuàng)作方法
- 一種通訊綜合測(cè)試終端的測(cè)試方法
- 一種服裝用人體測(cè)量基準(zhǔn)點(diǎn)的獲取方法
- 系統(tǒng)升級(jí)方法及裝置
- 用于虛擬和接口方法調(diào)用的裝置和方法
- 線程狀態(tài)監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)
- 一種JAVA智能卡及其虛擬機(jī)組件優(yōu)化方法
- 檢測(cè)程序中方法耗時(shí)的方法、裝置及存儲(chǔ)介質(zhì)
- 函數(shù)的執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)





