技術領域

本發明屬于人工神經網絡領域，尤其涉及一種卷積神經網絡的優化方法和裝置。

背景技術

卷積神經網絡(英文全稱為Convolutional Neural Network，英文簡稱為CNN)是人工神經網絡的一種，目前已成為語音分析和圖像識別領域的研究熱點。卷積神經網絡的權值共享網絡結構，類似于生物神經網絡，有效的降低了網絡模型的復雜度，減少了權值的數量。

隨著CNN網絡的發展，特別是VGG(英文全稱為visual geometry group，中文全稱為：視覺幾何組)卷積神經網絡的提出，使得網絡層數的增加成為卷積神經網絡的一個重要研究方向。但是，隨著網絡層數的增加，會出現明顯的梯度的消失，或者梯度的爆炸，會導致訓練不能有效的收斂，卷積神經網絡的參數數量迅速增加，影響系統的預測精度和預測速度。

發明內容

本發明的目的在于提供一種卷積神經網絡的優化方法，以解決現有技術由于網絡層數增加，導致卷積神經網絡的參數數量迅速增加，影響系統的預測精度和預測速度的問題。

第一方面，本發明實施例提供了一種卷積神經網絡的優化方法，所述方法包括：

在所述卷積神經網絡所增加的層上設置捷徑連接，通過學習獲取所述捷徑連接對應的殘差映射；

根據所述殘差映射確定所述捷徑連接對應的期望映射；

將所述期望映射代替所述捷徑連接對應的層，進行卷積神經網絡模型預測。

結合第一方面，在第一方面的第一種可能實現方式中，所述根據所述殘差映射確定所述捷徑連接對應的期望映射步驟包括：

判斷所述期望映射H(X)為非線性映射，且映射變量X與期望映射H(X)具有相同維數時，所述期望映射H(X)＝F(X)+X，其中F(X)為殘差映射；

判斷所述期望映射H(X)為非線性映射，則映射變量X與期望映射H(X)維數不相同時，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)為殘差映射，w為神經網絡的權重。

結合第一方面，在第一方面的第二種可能實現方式中，所述方法還包括：

對所述卷積神經網絡歸一化初始化和中間層的歸一化訓練。

結合第一方面，在第一方面的第三種可能實現方式中，所述方法還包括：

采用N×N卷積核對所述卷積神經網絡的層進行卷積運算，其中2<N<7。

結合第一方面，在第一方面的第四種可能實現方式中，所述方法還包括下述步驟中的一種或者多種：

在所述卷積神經網絡的最后的卷積層之后，加入最大池化層，所述最大池化層的采樣滑動窗口為C*C，步長為1，其中C與圖像經全部卷積層處理后的圖像塊的邊長相同；

先在樣本數據庫上訓練卷積神經網絡模型，然后在標注準確的數據庫上更新中間卷積層與全連層的參數，對所述卷積神經網絡進行微調；

在保持原圖像長寬比的基礎上，降低輸入圖像的尺寸；

減少卷積層的通道數。

第二方面，本發明實施例提供了一種卷積神經網絡的優化裝置，所述裝置包括：

捷徑連接設置單元，用于在所述卷積神經網絡所增加的層上設置捷徑連接，通過學習獲取所述捷徑連接對應的殘差映射；

期望映射獲取單元，用于根據所述殘差映射確定所述捷徑連接對應的期望映射；

代替單元，用于將所述期望映射代替所述捷徑連接對應的層，進行卷積神經網絡模型預測。

結合第二方面，在第二方面的第一種可能實現方式中，所述期望映射單元包括：

第一計算子單元，用于判斷所述期望映射H(X)為非線性映射，且映射變量X與期望映射H(X)具有相同維數時，所述期望映射H(X)＝F(X)+X，其中F(X)為殘差映射；

第二計算子單元，用于判斷所述期望映射H(X)為非線性映射，則映射變量X與期望映射H(X)維數不相同時，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)為殘差映射，w為神經網絡的權重。

結合第二方面，在第二方面的第二種可能實現方式中，所述裝置還包括：

歸一化訓練單元，用于對所述卷積神經網絡歸一化初始化和中間層的歸一化訓練。

結合第二方面，在第二方面的第三種可能實現方式中，所述裝置還包括：

卷積運算單元，用于采用N×N卷積核對所述卷積神經網絡的層進行卷積運算，其中2<N<7。

結合第二方面，在第二方面的第四種可能實現方式中，所述裝置還包括下述單元中的一個或者多個：