提供了一種圖像處理方法、裝置、設備及其訓練方法，該訓練方法包括：獲取樣本圖像集，該樣本圖像集包括第一數量的樣本圖像；基于該樣本圖像集構建圖像特征集，該圖像特征集包括分別從該樣本圖像集中的每個樣本圖像提取的至少一個圖像特征；獲取訓練圖像集，該訓練圖像集包括第二數量的訓練圖像，該訓練圖像集與該樣本圖像集完全相同、部分相同或完全不同，該第一數量和該第二數量相同或不同；基于該訓練圖像集和該圖像特征集構建多個訓練圖像對；以及基于該多個訓練圖像對對該圖像處理模型進行訓練。該訓練方法利用無標記的真實圖像作為訓練輸入，使得經訓練的神經網絡可以處理低分辨率圖像中的模糊/噪聲問題，生成更清晰/干凈的高分辨率圖像。

技術領域

本發明涉及圖像處理技術，更具體地，涉及一種圖像處理方法、裝置、設備及其訓練方法。

背景技術

圖像在形成、記錄、處理和傳輸過程中，由于成像系統、記錄設備、傳輸介質和處理方法的不完善，導致圖像質量的下降，這種現象叫做圖像退化。真實世界中的圖像的退化方式往往是未知的，從而需要正確地對其進行估計，以恢復出原始高清圖像。通過圖像處理算法或神經網絡將低分辨率圖像放大為高分辨率圖像的過程被稱為超分辨率處理過程。然而，目前的超分辨率算法都是基于干凈且清晰的訓練圖像來訓練神經網絡的。這些方法通過雙三次(bicubic)算子將高分辨率圖像進行縮小，從而得到低分辨率圖像，并且基于由此構造的成對訓練圖像，訓練能夠處理干凈且清晰圖像的神經網絡。然而，通過bicubic算子構造的低分辨率圖像無法保留真實圖像退化場景下的低分辨率圖像的噪聲或模糊度特征，因此，目前的超分辨率算法在理想的干凈圖像數據上效果穩定，但對于具有一定噪聲和模糊度的真實圖像，處理效果欠佳。目前的超分辨率算法還存在以下不足：1)使用特定的bicubic算子構造訓練數據，不符合真實圖像的退化過程；2)僅僅實現了分辨率的放大，無法處理低分辨率圖像中的模糊/噪聲問題；3)生成的高分辨率圖像紋理細節不夠豐富，無法重建逼真的紋理信息。

基于此，需要一種新穎的圖像處理模型訓練方法，其不需要成對的訓練圖像，僅利用無標記的真實圖像作為訓練輸入，使得經訓練的神經網絡可以處理低分辨率圖像中的模糊/噪聲問題，生成更加清晰/干凈的高分辨率圖像。

發明內容

本發明的實施例提供了一種圖像處理模型的訓練方法，包括：獲取樣本圖像集，所述樣本圖像集包括第一數量的樣本圖像；基于所述樣本圖像集構建圖像特征集，所述圖像特征集包括分別從所述樣本圖像集中的每個樣本圖像提取的至少一個圖像特征；獲取訓練圖像集，所述訓練圖像集包括第二數量的訓練圖像，所述訓練圖像集與所述樣本圖像集完全相同、部分相同或完全不同，所述第一數量和所述第二數量相同或不同；基于所述訓練圖像集和所述圖像特征集構建多個訓練圖像對；以及基于所述多個訓練圖像對對所述圖像處理模型進行訓練。

根據本發明的實施例，其中，所述至少一個圖像特征包括模糊度特征和噪聲特征，其中，基于所述樣本圖像集構建圖像特征集包括：提取所述樣本圖像集中的每個樣本圖像的模糊度特征和噪聲特征；以及基于所述每個樣本圖像的模糊度特征和噪聲特征來構建所述圖像特征集。

根據本發明的實施例，其中，每個訓練圖像對包括一個訓練目標圖像和一個訓練輸入圖像，所述訓練目標圖像的分辨率高于所述訓練輸入圖像的分辨率，其中，基于所述訓練圖像集和所述圖像特征集構建多個訓練圖像對包括：對于所述訓練圖像集中的至少一部分訓練圖像中的每一個，對該訓練圖像進行圖像增強，以獲取所述訓練目標圖像；以及基于所述訓練目標圖像和所述圖像特征集獲取與所述訓練目標圖像相對應的訓練輸入圖像。

根據本發明的實施例，其中，對該訓練圖像進行圖像增強，以獲取所述訓練目標圖像包括：對所述訓練圖像進行去噪聲和/或去模糊處理，以獲取所述訓練目標圖像，其中所述訓練目標圖像的模糊度和/或噪聲低于所述訓練圖像的模糊度和/或噪聲。

根據本發明的實施例，其中，對該訓練圖像進行圖像增強，以獲取所述訓練目標圖像包括：對所述訓練圖像進行雙三次插值下采樣處理，以獲取所述訓練目標圖像。