本發明公開了一種基于混合神經網絡的腦電時空特征學習與情感分類方法，步驟有：采集多個通道的腦電信號；從多個通道的腦電信號中提取PSD功率譜密度特征；并轉為二維網狀矩陣序列；然后分為若干個片段P_j；建CASC_CNN_LSTM模型和CASC_CNN_CNN模型，通過CASC_CNN_LSTM模型從每個片段P_j中聯合提取腦電信號的深層空間特征和時間特征，CASC_CNN_LSTM模型提取的深層空間特征和時間特征輸入CASC_CNN_LSTM模型對應的softmax層進行情感類別預測；通過CASC_CNN_CNN模型從每個片段P_j中聯合提取腦電信號更深層次的深層空間特征；將CASC_CNN_CNN模型提取的更深層次的深層空間特征輸入CASC_CNN_CNN模型對應的softmax層進行情感類別預測。本發明的情感分類更準確。

技術領域

本發明屬于深度學習應用技術領域，具體屬于一種基于混合神經網絡的腦電時空特征學習與情感分類方法。

背景技術

情感在人類生活中起著至關重要的作用，積極的情緒可能有助于提高我們日常工作的效率，而消極的情緒可能會影響我們的決策、注意力等等。隨著人工智能技術的發展，情感識別已經成為情感計算和模式識別研究領域的一個熱點。

首先，EEG信號具有很低的信噪比，容易受到多種噪聲的干擾，其次，人們往往只對特定大腦活動相關的EEG信號感興趣，但是卻很難從背景中將這個信號分離出來。因此，為了確定和提取EEG信號中與特定大腦活動或情感相關的部分，需要復雜的EEG信號分析與處理技術，既要考慮EEG信號空間的相關性，也要考慮時間上的相關性。

在處理EEG情感識別問題時，通常會遇到兩大技術挑戰，一個是如何從腦電信號中提取更具判別性的情感特征，另一個是如何開發更有效的用于情感特征識別的計算模型。盡管近年來腦電情感識別方法層出不窮，但為了進一步提高腦電情感識別的性能，仍有一些重要問題需要研究：一是如何從原始腦電信號中選擇并提取更有效的腦電特征并對特征進行表示使其具有更明顯的時空相關性和判別性；二是如何構建有效的機器學習的模型，從輸入的腦電特征中挖掘更深層情感相關性特征，提高情感識別的能力。

發明內容

為了解決現有技術中存在的問題，本發明提供一種基于混合神經網絡的腦電時空特征學習與情感分類方法，解決目前存在的如何從原始腦電信號中選擇并提取更有效的腦電特征并對特征進行表示使其具有更明顯的時空相關性和判別性以及如何構建有效的機器學習的模型，從輸入的腦電特征中挖掘更深層情感相關性特征，提高情感識別的能力。

為實現上述目的，本發明提供如下技術方案：一種基于混合神經網絡的腦電時空特征學習與情感分類方法，包括以下步驟：

步驟1：采集多個通道的腦電信號；

步驟2：從多個通道的腦電信號中提取PSD功率譜密度特征；

步驟3：將PSD功率譜密度特征的向量序列轉換為二維網狀矩陣序列；

步驟4：應用滑動窗將二維網狀矩陣序列劃分為若干個片段P_j；

步驟5：構建CASC_CNN_LSTM模型和CASC_CNN_CNN模型，通過CASC_CNN_LSTM模型從每個片段P_j中聯合提取腦電信號的深層時空特征，將CASC_CNN_LSTM模型提取的深層時空特征輸入CASC_CNN_LSTM模型對應的softmax層進行情感類別預測；

通過CASC_CNN_CNN模型從每個片段P_j中聯合提取腦電信號更深層次的深層空間特征；將CASC_CNN_CNN模型提取的更深層次的深層空間特征輸入CASC_CNN_CNN模型對應的softmax層進行情感類別預測。

進一步的，所述步驟1的具體步驟如下：