技術領域

本發明屬于神經網絡領域，應用于人工智能、機器學習、智能算 法、模式識別、數據挖掘和語音識別等領域，尤其涉及一種基于多局 部搜索的神經網絡進化方法。

背景技術

人工神經網絡已經被廣泛地應用于許多科學問題，例如模式識別， 分類、聚類和回歸等問題。人工神經網絡的性能很大程度上依賴于網 絡的框架，網絡框架過大可能導致對訓練集的過適應，這是因為網絡 框架越大則處理信息的能力越強，另一方面，網絡框架過小可能導致 對數據訓練不充足，這是因為網絡框架越小則處理信息的能力越弱。 這兩種情況都將降低神經網絡的泛化能力。因此，設計合適的網絡框 架來解決不同的問題是必要的。

Backpropagation(BP)算法是最為傳統的神經網絡訓練算法，通 過信息的反饋不斷調節結點間的權值。然而，它只能訓練固定框架的 神經網絡，并且對初始化的權值很敏感，所以BP算法往往會陷入局部 最優空間內搜索。此外，構造法和修剪法也被用于設計神經網絡。構 造法先是初始化一個小的網絡框架，在訓練過程中增加結點和權值， 直到條件符合。然而，修剪法先是初始化一個大的網絡框架，在訓練 過程中刪除多余的結點和權值，直到條件符合。最近幾年，有研究人 員提出了混合訓練法，將構造法和修剪法進行結合，在訓練過程既可 以增加結點和權值，又能刪除結點和權值，目的是能根據不同問題和 訓練過程，自適應地調節網絡的框架。然而，構造法、修剪法和混合 訓練法的結合都是基于爬山算法，所以也將陷入局部最優。

為了避免陷入局部最優解，很多研究者提出了使用進化算法 (EvolutionaryAlgorithm)來優化神經網絡，包括網絡中的權值、 框架和學習規則。這是因為進化算法有很強的全局搜索能力，能找到 全局最優或近似最優的神經網絡個體。基于進化算法的方法可大致分 為兩類：第一類是只依賴進化算法來優化神經網絡框架，另一類是在 使用進化算法的同時加入了一些局部搜索算法，加快搜索進程。然而， 對于復雜問題的優化，例如神經網絡的優化，加入單一的局部搜索算 法并不能取得很好的效果。此外，傳統的進化算法往往會容易過早收 斂。

發明內容

為了克服已有神經網絡進化方法的容易過早收斂、計算速度較慢 的不足,本發明提供了一種有效避免過早收斂、計算速度較快的基于多 局部搜索的神經網絡進化方法。

本發明解決其技術問題所采用的技術方案是：

一種基于多局部搜索的神經網絡進化方法，包括如下步驟：

步驟1、生成一個M層神經網絡的種群，每個網絡個體使用實數 編碼，網絡個體中隱結點的個數和權值被隨機初始化，M≥3，且為自 然數；

步驟2、計算每個網絡個體的適應度值；

步驟3，根據網絡個體的適應度從高到低選擇個體生成新的種群；

步驟4、每個網絡個體進行突變操作，突變的概率基于個體的的 適應度在種群中的排序；

步驟5、每個網絡個體進行多局部搜索機制來調節網絡中的隱結 點個數和權值；

步驟6、使用一次迭代的BP算法來調整權值；

步驟7、計算子代個體的適應度值，并且將父代和子代合并成一 個種群；

步驟8、使用精英策略選擇個體生成新的種群

步驟9、判斷停止標準是否滿足，如果不滿足，返回步驟3，如 果滿足，選擇最優網絡個體，并對測試集進行分類預測。

本發明的有益效果主要表現在：在進化過程中，引入了多個局部 搜索操作，并且設計了一種自適應地方法促進局部搜索操作間相互競 爭和合作，能快速有效地調整網絡個體的框架。此外，應用了一種新 的突變策略，能有利于避免陷入種群過早地收斂。本發明的最終目的 是能加快進搜索全局最優個體或近似最優個體。

附圖說明

圖1是本發明優化神經網絡的流程圖。

圖2是本發明中網絡框架示意圖。

圖3是本發明中個體編碼方式示意圖。

具體實施方式

下面結合附圖對本發明作進一步描述。

參照圖1～圖3，一種基于多局部搜索的神經網絡進化方法，包括 如下步驟：

步驟1、生成一個M層神經網絡的種群，每個網絡個體使用實數 編碼，網絡個體中隱結點的個數和權值被隨機初始化，M≥3，且為自 然數；

步驟2、計算每個網絡個體的適應度值；