技術領域

本發明涉及模式識別與機器學習領域，特別涉及一種基于判別式多模態深度置信網的多模態數據融合方法和系統。

背景技術

一個概念或者內容通常可以被多個模態數據來表示，例如，圖像和其相應的文字注釋是表示相同內容的兩種模態數據；當人們在閱讀時，嘴唇的動作和相應的聲音也是兩種對應的模態數據。大量的工作已經證實，與單個模態數據相比，多個模態數據可以為概念提供更為全面的描述，從而可以潛在地幫助一些常見的模式識別問題，例如分類和檢索。多模態數據融合的一般做法是將多模態數據融合為同一個表達，然后這個共同表達可以進一步用于后續的分類或者檢索任務。

現有的多模態數據融合工作可以大致分為兩類：第一類是利用“淺”層的融合模型，即模型只包括輸入和共同表達這兩層結構。實際上，由于各個模態都包含其模態相關的特性，會對數據融合過程帶來負面的影響，從而會很大程度上降低最后數據融合的質量；另外一類工作是使用“深”層模型進行數據融合，雖然這些模型可以很好的處理多模態數據的復雜特性，但是現有大量的模型都是生成式的模型，并不能很好的適用于判別性的任務，例如分類和檢索。

發明內容

本發明的目的是提供一種基于判別式多模態深度置信網的多模態數據融合方法和系統。為了增強多模態數據融合結果的判別性，本發明在傳統無監督多模態玻爾茲曼機的基礎上引入有監督的類別信息，使得融合結果更適用于分類和檢索等判別型的任務。

根據本發明的一方面，本發明提出了一種基于判別式多模態深度置信網的多模態數據融合方法，該方法包括以下步驟：

步驟1、建立判別式多模態深度置信網，并設置網絡的層數和節點數；

步驟2、對于多個模態數據對應的深度置信網，分別把相鄰的兩層結構看作一個限制的波爾茲曼機，采用無監督地自底向上的逐層訓練方法來訓練網絡，獲得多個模態數據對應的深度置信網優化后的網絡權重；

步驟3、把多個模態數據對應的深度置信網中的隱含層處理結果輸入到判別式多模態玻爾茲曼機中進行數據融合，并采用交替優化的策略來最小化該玻爾茲曼機的目標函數來獲得優化后的玻爾茲曼機權重，從而得到最終的判別式多模態深度置信網模型；

步驟4、向所述判別式多模態深度置信網模型輸入待融合的多模態數據，得到對應的融合結果。

根據本發明的另一方面，本發明還提出了一種基于判別式多模態深度置信網的多模態數據融合系統，所述系統包括：網絡建立模塊、網絡權重優化模塊和數據融合模塊，其中：

所述網絡建立模塊，用于建立判別式多模態深度置信網，并設置網絡的層數和節點數；

所述網絡權重優化模塊，用于對于多個模態數據對應的深度置信網，分別把相鄰的兩層結構看作一個限制的玻爾茲曼機，采用無監督的自底向上的逐層訓練方法來訓練網絡，以獲得多個模態數據對應的深度置信網優化后的網絡權重；對于判別式多模態玻爾茲曼機，采用交替優化的策略來最小化該玻爾茲曼機的目標函數來獲得優化后的玻爾茲曼機權重，從而得到最終的判別式多模態深度置信網模型；

所述數據融合模塊，用于向所述判別式多模態深度置信網模型輸入待融合的多模態數據，得到輸出層節點值，即為多模態數據融合結果。

由于本發明通過推廣無監督多模態深度模型適以最大間隔方式來解決多模態數據融合，從而可以使得融合結果更具判別性。同時在訓練多個模態相關的置信網權重階段，還可以利用大量無類別標簽的模態數據。

附圖說明

圖1是本發明基于判別式多模態深度置信網的多模態數據融合方法流程圖。

圖2是本發明一實施例的解決圖像和文本融合問題的模型圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明自，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。

根據本發明的一方面，提出一種基于判別式多模態深度置信網的多模態數據融合方法，能夠廣泛地應用于多模態數據的分類和檢索問題。

圖1示出了本發明提出的基于判別式多模態深度置信網的多模態數據融合方法的流程圖，如圖1所示，所述方法包括以下步驟：

步驟1、建立判別式多模態深度置信網，并設置網絡的層數和節點數；