[發明專利]基于判別式多模態深度置信網多模態數據融合方法和系統有效
| 申請號: | 201410064933.7 | 申請日: | 2014-02-25 |
| 公開(公告)號: | CN103838836A | 公開(公告)日: | 2014-06-04 |
| 發明(設計)人: | 王亮;譚鐵牛;王威;黃巖 | 申請(專利權)人: | 中國科學院自動化研究所 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30 |
| 代理公司: | 中科專利商標代理有限責任公司 11021 | 代理人: | 宋焰琴 |
| 地址: | 100190 *** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 基于 判別式 多模態 深度 置信 網多模態 數據 融合 方法 系統 | ||
1.一種基于判別式多模態深度置信網的多模態數據融合方法,其特征在于,該方法包括以下步驟:
步驟1、建立判別式多模態深度置信網,并設置網絡的層數和節點數;
步驟2、對于多個模態數據對應的深度置信網,分別把相鄰的兩層結構看作一個限制的波爾茲曼機,采用無監督地自底向上的逐層訓練方法來訓練網絡,獲得多個模態數據對應的深度置信網優化后的網絡權重;
步驟3、把多個模態數據對應的深度置信網中的隱含層處理結果輸入到判別式多模態玻爾茲曼機中進行數據融合,并采用交替優化的策略來最小化該玻爾茲曼機的目標函數來獲得優化后的玻爾茲曼機權重,從而得到最終的判別式多模態深度置信網模型;
步驟4、向所述判別式多模態深度置信網模型輸入待融合的多模態數據,得到對應的融合結果。
2.根據權利要求1所述的方法,其特征在于,所述判別式多模態深度置信網為多層網絡結構。
3.根據權利要求1所述的方法,其特征在于,所述判別式多模態深度置信網包括多個模態,并設置網絡的層數和節點數對應的深度置信網和一個判別式波爾茲曼機。
4.根據權利要求1所述的方法,其特征在于,所述判別式多模態深度置信網的輸入層為訓練多模態數據,輸出層表示訓練多模態數據的融合結果,所述判別式多模態深度置信網具有網絡權重,以根據當前層節點值獲得下一層節點值。
5.根據權利要求1所述的方法,其特征在于,所述判別式多模態玻爾茲曼機是由多模態數據的最高隱含層、共享隱含層和類別層組成的三層網絡結構。
6.根據權利要求1所述的方法,其特征在于,所述玻爾茲曼機的目標函數包括兩項內容:真實類別與錯誤類別的條件概率之間差值的合頁損失,和多模態數據及其類別的負對數似然函數。
7.一種基于判別式多模態深度置信網的多模態數據融合系統,其特征在于,所述系統包括:網絡建立模塊、網絡權重優化模塊和數據融合模塊,其中:
所述網絡建立模塊,用于建立判別式多模態深度置信網,并設置網絡的層數和節點數;
所述網絡權重優化模塊,用于對于多個模態數據對應的深度置信網,分別把相鄰的兩層結構看作一個限制的玻爾茲曼機,采用無監督的自底向上的逐層訓練方法來訓練網絡,以獲得多個模態數據對應的深度置信網優化后的網絡權重;對于判別式多模態玻爾茲曼機,采用交替優化的策略來最小化該玻爾茲曼機的目標函數來獲得優化后的玻爾茲曼機權重,從而得到最終的判別式多模態深度置信網模型;
所述數據融合模塊,用于向所述判別式多模態深度置信網模型輸入待融合的多模態數據,得到輸出層節點值,即為多模態數據融合結果。
8.根據權利要求7所述的系統,其特征在于,所述判別式多模態深度置信網為多層網絡結構。
9.根據權利要求7所述的系統,其特征在于,所述判別式多模態深度置信網包括多個模態,并設置網絡的層數和節點數對應的深度置信網和一個判別式波爾茲曼機。
10.根據權利要求7所述的系統,其特征在于,所述判別式多模態深度置信網的輸入層為訓練多模態數據,輸出層表示訓練多模態數據的融合結果,所述判別式多模態深度置信網具有網絡權重,以根據當前層節點值獲得下一層節點值。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中國科學院自動化研究所,未經中國科學院自動化研究所許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201410064933.7/1.html,轉載請聲明來源鉆瓜專利網。





