本發明實施例公開了一種圖像處理方法，包括：通過卷積神經網絡CNN提取目標圖像的圖像CNN特征，并生成所述目標圖像對應的語義文本特征；從所述語義文本特征中提取出第一空間結構信息；根據所述空間結構信息分析所述圖像CNN特征，獲取所述圖像CNN特征中與所述第一空間結構信息對應的第二空間結構CNN特征。本發明還公開一種圖像處理系統，采用本發明，可以直接從圖像CNN特征中獲得空間結構信息，從而幫助人們進一步理解CNN特征，可以使圖像文本交叉檢索、圖像標注、物體檢測、零樣本學習、視覺問答系統等應用受益。

技術領域

本發明涉及計算機領域，尤其涉及一種圖像處理方法及系統。

背景技術

近年來，在圖像與語義文本的交叉領域，例如零樣本學習(Zero-Shot Learning)、圖像描述生成(Image to Text)、視覺問答系統(Visual QA)，出現了很多令人印象深刻的新方法和優秀的工作。

圖像標注技術可以自動生成圖像的文本描述。使用卷積神經網絡(ConvolutionalNeural Networks，CNN)提取圖像特征，將圖像特征映射到一個由圖像特征和本文特征共同構建的子空間當中，得到映射子空間特征，再使用長短時記憶(Long Short-Term Memory，LSTM)模型作為解碼器，將映射子空間特征轉換為文本特征，進一步轉換為自然語言。

視覺問答系統是在圖像標注的基礎上，進一步融合計算機視覺和自然語言處理的一項工作。此項技術的目標并不是直接生成圖像的文本描述，而是對一張圖片和一句與圖片相關的問題文本，系統可以自動理解圖像和文本的內容，并給出一句對應的文本回答。

零樣本學習，即在圖像的測試集中，包含某一些在訓練集中沒有出現的類別，將訓練集中出現過的類別稱為seen class，將訓練集中沒有出現過的類別稱為unseen class。在訓練模型時，我們不僅通過圖像訓練集來訓練模型，而且要學習一些“輔助知識”，并通過對“輔助知識”的學習并遷移，讓模型獲得對unseen class分類的經驗。經常使用的“輔助知識”有圖像類別屬性和語義文本，通過語義文本學習“輔助知識”可以較為輕松地取得較好的效果，首先目前存在著大量高質量的各個類別的描述文本，例如維基百科等，其次，這些文本中包含著大量的本類別和其他類別的相關描述，為知識的遷移學習提供了極大的便利。

上述技術都使用了CNN對圖像進行編碼。CNN對圖像有著強大的表征能力，但是目前人們對于CNN特征到底“是什么”的理解并不充分，上述技術中對CNN的利用也僅限于提取圖像特征，也就是說，是將CNN當作一個“黑盒子”來使用的；若不充分研究和理解CNN特征中的信息，會給后續的工作帶來很大的不便，例如在區域卷積神經網絡RCNN網絡中，要首先對圖像提取非常多的小的圖像塊，然后對每一個圖像塊提取CNN特征，這一過程非常耗時。

發明內容

本發明實施例所要解決的技術問題在于，提供一種圖像處理方法及圖像處理系統，可以直接從圖像CNN特征中獲得空間結構信息，從而幫助人們進一步理解CNN特征，可以使圖像文本交叉檢索、圖像標注、物體檢測、零樣本學習、視覺問答系統等應用受益。

為了解決上述技術問題，本發明實施例第一方面公開了一種圖像處理方法，包括：

通過卷積神經網絡CNN提取目標圖像的圖像CNN特征，并生成所述目標圖像對應的語義文本特征；

從所述語義文本特征中提取出第一空間結構信息；

根據所述空間結構信息分析所述圖像CNN特征，獲取所述圖像CNN特征中與所述第一空間結構信息對應的第二空間結構CNN特征。

結合第一方面，在第一種可能的實現方式中，所述通過卷積神經網絡CNN提取目標圖像的圖像CNN特征，并生成所述目標圖像對應的語義文本特征包括：

通過CNN模型對目標圖像進行編碼，生成圖像CNN特征；