[發(fā)明專利]用于水質(zhì)參數(shù)預(yù)測的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練方法在審
| 申請?zhí)枺?/td> | 202010914340.0 | 申請日: | 2020-09-03 |
| 公開(公告)號(hào): | CN112149799A | 公開(公告)日: | 2020-12-29 |
| 發(fā)明(設(shè)計(jì))人: | 夏文澤;劉杰;林甲;馮驍;許雪喬 | 申請(專利權(quán))人: | 北京首創(chuàng)股份有限公司;北京華展匯元信息技術(shù)有限公司 |
| 主分類號(hào): | G06N3/04 | 分類號(hào): | G06N3/04;G06N3/08;G06Q50/26 |
| 代理公司: | 北京凱特來知識(shí)產(chǎn)權(quán)代理有限公司 11260 | 代理人: | 鄭立明;付久春 |
| 地址: | 100044 北京市*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 用于 水質(zhì) 參數(shù) 預(yù)測 聯(lián)合 神經(jīng)網(wǎng)絡(luò) 模型 及其 訓(xùn)練 方法 | ||
1.一種用于水質(zhì)參數(shù)預(yù)測的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型,其特征在于,包括:
若干個(gè)RNN類神經(jīng)網(wǎng)絡(luò),分別部署在污水處理全流程的不同測量點(diǎn);
處于前后兩端的RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端只與相鄰一側(cè)的RNN類神經(jīng)網(wǎng)絡(luò)中間層的輸出端相連接;
前后兩端之間的任一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端同時(shí)與兩側(cè)相鄰的兩個(gè)RNN類神經(jīng)網(wǎng)絡(luò)中間層的輸出端相連接;
前后兩端的RNN類神經(jīng)網(wǎng)絡(luò)的一側(cè)各對應(yīng)設(shè)置一個(gè)高斯函數(shù)模塊和一個(gè)乘法模塊;
前后兩端之間的任一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的兩側(cè)都對應(yīng)設(shè)置一個(gè)高斯函數(shù)模塊和一個(gè)乘法模塊;
每個(gè)高斯函數(shù)模塊的輸入端與對應(yīng)的RNN類神經(jīng)網(wǎng)絡(luò)的輸入端相連接,該高斯函數(shù)模塊的輸出端與對應(yīng)的乘法模塊的一個(gè)輸入端相連接,所述乘法模塊的另一個(gè)輸入端與對應(yīng)的所述RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸出端相連接,該乘法模塊的輸出端與相鄰的RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連接。
2.根據(jù)權(quán)利要求1所述的用于水質(zhì)參數(shù)預(yù)測的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型,其特征在于,所述模型中,每個(gè)高斯函數(shù)模塊的輸入端與對應(yīng)的RNN類神經(jīng)網(wǎng)絡(luò)的輸入端相連接的對應(yīng)的RNN類神經(jīng)網(wǎng)絡(luò)是指:該高斯函數(shù)模塊所屬的RNN類神經(jīng)網(wǎng)絡(luò);
所述乘法模塊的輸出端與相鄰的RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連接是:處于中間的RNN類神經(jīng)網(wǎng)絡(luò)的兩側(cè)的乘法模塊的輸出端與中間的RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連;最前端的RNN類神經(jīng)網(wǎng)絡(luò)的乘法模塊的輸出端與該RNN類神經(jīng)網(wǎng)絡(luò)后一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連;最后端RNN類神經(jīng)網(wǎng)絡(luò)的乘法模塊的輸出端與該RNN類神經(jīng)網(wǎng)絡(luò)前一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連。
3.根據(jù)權(quán)利要求1或2所述的用于水質(zhì)參數(shù)預(yù)測的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型,其特征在于,所述模型中,前后兩端之間的任一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的中間層的輸入包括:
該RNN類神經(jīng)網(wǎng)絡(luò)當(dāng)前的輸入、該RNN類神經(jīng)網(wǎng)絡(luò)的中間層上一時(shí)刻的輸出、相鄰的前一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的中間層上一時(shí)刻的輸出與對應(yīng)高斯函數(shù)模塊輸出的高斯系數(shù)和對應(yīng)系數(shù)矩陣的乘積、相鄰的后一個(gè)RNN類神經(jīng)網(wǎng)絡(luò)的中間層上一時(shí)刻的輸出與對應(yīng)高斯函數(shù)模塊輸出的高斯系數(shù)和對應(yīng)系數(shù)矩陣的乘積。
4.根據(jù)權(quán)利要求1或2所述的用于水質(zhì)參數(shù)預(yù)測的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型,其特征在于,所述RNN類神經(jīng)網(wǎng)絡(luò)采用RNN神經(jīng)網(wǎng)絡(luò)、LSTM神經(jīng)網(wǎng)絡(luò)、GRU門控循環(huán)神經(jīng)網(wǎng)絡(luò)、deepRNN深度循環(huán)神經(jīng)網(wǎng)絡(luò)中的至少一種。
5.一種用于水質(zhì)參數(shù)預(yù)測的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法,其特征在于,用于權(quán)利要求1至4任一項(xiàng)所述的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型,包括以下步驟:
步驟1,將所有需要訓(xùn)練的參量隨機(jī)初始化;
步驟2,將所有歷史數(shù)據(jù)送入所述聯(lián)合神經(jīng)網(wǎng)絡(luò)模型;
步驟3,通過損失函數(shù)計(jì)算總的網(wǎng)絡(luò)損失,所述損失函數(shù)的數(shù)學(xué)表達(dá)式為:該式中,為第i個(gè)RNN類神經(jīng)網(wǎng)絡(luò)在t時(shí)刻的預(yù)測輸出;為第i個(gè)RNN類神經(jīng)網(wǎng)絡(luò)在t時(shí)刻的真實(shí)輸出;T為訓(xùn)練集數(shù)據(jù)時(shí)間長度;N為RNN類神經(jīng)網(wǎng)絡(luò)的數(shù)量;
步驟4,計(jì)算所有需要訓(xùn)練的參量相對于總網(wǎng)絡(luò)損失的梯度值,所有參量的梯度值計(jì)算公式為:
其中,T為訓(xùn)練集數(shù)據(jù)時(shí)間長度,t為時(shí)間序號(hào),N為RNN子模塊的數(shù)量,i和j為子模塊的序號(hào),L為訓(xùn)練集總誤差,L(t)為對應(yīng)第t時(shí)刻的訓(xùn)練集總誤差,L(t)i/j為對應(yīng)第t時(shí)刻和第i/j個(gè)子模塊的訓(xùn)練集總誤差,Ui、Wi、PRi-1、PLi+1、Vi、bi和ci為對應(yīng)第i個(gè)子模塊的權(quán)重參數(shù),均為可訓(xùn)練參數(shù),為對應(yīng)第t時(shí)刻和第j個(gè)子模塊的中間層輸出值;
步驟5,利用所述步驟4計(jì)算得到的梯度值更新所有參量;
步驟6,判斷所有參量的值是否發(fā)生改變或者達(dá)到最大迭代次數(shù),若否,則重復(fù)進(jìn)行所述步驟2至所述5步驟,若是,則結(jié)束訓(xùn)練。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京首創(chuàng)股份有限公司;北京華展匯元信息技術(shù)有限公司,未經(jīng)北京首創(chuàng)股份有限公司;北京華展匯元信息技術(shù)有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010914340.0/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 圖像編碼裝置、圖像編碼方法、圖像譯碼裝置、圖像譯碼方法、程序以及記錄介質(zhì)
- 圖像編碼裝置、圖像編碼方法、圖像譯碼裝置、圖像譯碼方法
- 圖像編碼裝置、圖像編碼方法、圖像譯碼裝置、圖像譯碼方法
- 基于時(shí)間序列預(yù)測模型適用性量化的預(yù)測模型選擇方法
- 圖像編碼裝置、圖像編碼方法、圖像譯碼裝置、圖像譯碼方法
- 分類預(yù)測方法及裝置、預(yù)測模型訓(xùn)練方法及裝置
- 幀內(nèi)預(yù)測的方法及裝置
- 圖像預(yù)測方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)
- 文本預(yù)測方法、裝置以及電子設(shè)備
- 模型融合方法、預(yù)測方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)





