本發(fā)明涉及一種基于GA?PSO雜交算法的深度信念網(wǎng)絡(luò)參數(shù)優(yōu)化方法，包括以下步驟：1)初始化產(chǎn)生一個(gè)種群，包括3N個(gè)個(gè)體；2)采用適應(yīng)度函數(shù)計(jì)算個(gè)體的適應(yīng)度值；3)提取適應(yīng)度值較優(yōu)的2N個(gè)個(gè)體和適應(yīng)度值較差的N個(gè)個(gè)體；4)采用GA算法對(duì)適應(yīng)度值較優(yōu)的2N個(gè)個(gè)體執(zhí)行尋優(yōu)過程，計(jì)算尋優(yōu)后的2N個(gè)個(gè)體的適應(yīng)度值，并輸出個(gè)體適應(yīng)度值較優(yōu)的前N個(gè)個(gè)體和適應(yīng)度值最優(yōu)的個(gè)體；5)根據(jù)步驟4)中個(gè)體適應(yīng)度值較優(yōu)的前N個(gè)個(gè)體和適應(yīng)度值最優(yōu)的個(gè)體，采用PSO算法對(duì)步驟3)中適應(yīng)度值較差的N個(gè)個(gè)體執(zhí)行尋優(yōu)過程；6)采用適應(yīng)度函數(shù)對(duì)步驟4)和步驟5)中尋優(yōu)后的2N個(gè)個(gè)體和尋優(yōu)后的N個(gè)個(gè)體進(jìn)行適應(yīng)度值的計(jì)算，確定適應(yīng)度值最優(yōu)的個(gè)體。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于GA-PSO雜交算法的深度信念網(wǎng)絡(luò)參數(shù)優(yōu)化方法。

背景技術(shù)

2006年，Hinton等人提出了一種深度信念網(wǎng)絡(luò)(Deep Belief Nets,DBN深度信念網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)引入深度學(xué)習(xí)階段。一個(gè)深度信念網(wǎng)絡(luò)模型由若干個(gè)受限玻爾茲曼機(jī)堆疊而成，利用原始輸入數(shù)據(jù)訓(xùn)練底層受限玻爾茲曼機(jī)，將底層受限玻爾茲曼機(jī)抽取的特征作為上層受限玻爾茲曼機(jī)的輸入?yún)⒘浚傻偷礁咧貜?fù)上述過程以至全部受限玻爾茲曼機(jī)訓(xùn)練完成。由于受限玻爾茲曼機(jī)訓(xùn)練過程可通過比散度(Contrastive Divergence,CD)算法快速實(shí)現(xiàn)，將其化簡(jiǎn)為多個(gè)受限玻爾茲曼機(jī)的訓(xùn)練問題，避免了從整體上訓(xùn)練深度信念網(wǎng)絡(luò)的高復(fù)雜度。Hinton建議，經(jīng)過這種方式訓(xùn)練以后，可以通過傳統(tǒng)的反向傳播算法(BackPropagation，BP)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，從而使得模型收斂到局部最優(yōu)解。上述思想成為至今為止深度學(xué)習(xí)算法的主要框架，為高效和深層次學(xué)習(xí)開辟了新的道路。由深度信念網(wǎng)絡(luò)結(jié)構(gòu)可知，輸入層節(jié)點(diǎn)個(gè)數(shù)與輸入故障特征維數(shù)相對(duì)應(yīng)，輸出節(jié)點(diǎn)個(gè)數(shù)與已知故障類別數(shù)相對(duì)應(yīng)，但中間隱含層的節(jié)點(diǎn)難以確定，目前大多根據(jù)經(jīng)驗(yàn)公式設(shè)置隱含層節(jié)點(diǎn)個(gè)數(shù)，主觀性較強(qiáng)。與此同時(shí)，預(yù)訓(xùn)練過程中每個(gè)受限玻爾茲曼機(jī)模型中的學(xué)習(xí)率、動(dòng)量項(xiàng)以及調(diào)優(yōu)過程中兩層之間的學(xué)習(xí)率、動(dòng)量項(xiàng)也需在利用故障特征集數(shù)據(jù)訓(xùn)練深度信念網(wǎng)絡(luò)之前給出。上述參數(shù)設(shè)定過程中，若依據(jù)經(jīng)驗(yàn)選擇多組參數(shù)人工輸入深度信念網(wǎng)絡(luò)中，根據(jù)分類效果確定最終參數(shù)，那將是一個(gè)極其耗費(fèi)時(shí)間的任務(wù)。

DBN深度信念網(wǎng)絡(luò)中的參數(shù)設(shè)置問題可嘗試采用參數(shù)尋優(yōu)算法解決。目前，常用的尋優(yōu)算法主要有GA算法、PSO算法。然而兩者中均存在一些缺陷，如：GA算法中經(jīng)過交叉和變異操作，父代染色體將全部丟失；PSO算法僅具有局部搜索能力，容易陷入局部最優(yōu)解。上述缺陷最終將影響算法的優(yōu)化速度。

發(fā)明內(nèi)容

本發(fā)明為了解決上述問題，提出了一種基于GA-PSO雜交算法的深度信念網(wǎng)絡(luò)參數(shù)優(yōu)化方法，能夠快速地實(shí)現(xiàn)深度信念網(wǎng)絡(luò)參數(shù)的尋優(yōu)，并且得到高質(zhì)量的優(yōu)化參數(shù)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下方案：

一種基于GA-PSO雜交算法的深度信念網(wǎng)絡(luò)參數(shù)優(yōu)化方法，包括以下步驟：

1)初始化產(chǎn)生一個(gè)種群，并設(shè)置總尋優(yōu)次數(shù)，所述種群包括3N個(gè)個(gè)體，所述個(gè)體為一組深度信念網(wǎng)絡(luò)參數(shù)；

2)采用適應(yīng)度函數(shù)計(jì)算所述每個(gè)個(gè)體的適應(yīng)度值，所述適應(yīng)度值用來表示個(gè)體優(yōu)劣程度；

3)提取步驟2)中適應(yīng)度值較優(yōu)的2N個(gè)個(gè)體和適應(yīng)度值較差的N個(gè)個(gè)體；

4)采用GA算法對(duì)步驟3)中適應(yīng)度值較優(yōu)的2N個(gè)個(gè)體執(zhí)行尋優(yōu)過程，得到尋優(yōu)后的2N個(gè)個(gè)體；采用適應(yīng)度函數(shù)計(jì)算所述尋優(yōu)后的2N個(gè)個(gè)體的適應(yīng)度值，并輸出個(gè)體適應(yīng)度值較優(yōu)的前N個(gè)個(gè)體和適應(yīng)度值最優(yōu)的個(gè)體；

5)根據(jù)步驟4)中個(gè)體適應(yīng)度值較優(yōu)的前N個(gè)個(gè)體和適應(yīng)度值最優(yōu)的個(gè)體分別作為PSO算法中的所有粒子的個(gè)體極值和種群的全局極值，然后采用PSO算法對(duì)步驟3)中適應(yīng)度值較差的N個(gè)個(gè)體執(zhí)行尋優(yōu)過程，得到尋優(yōu)后的N個(gè)個(gè)體。