技術領域

本發明涉及智能服務技術領域，具體地說，涉及一種基于情感體系的人機交互方法、裝置和交互系統。

背景技術

智能問答機器人屬于人工智能和自然語言處理的交叉領域，可以通過自然語言的方式與用戶交流，并通過表情、動作等方式展示機器人的情感。情感是人對客觀事物是否滿足自己的需要而產生的體驗態度，是人機對話過程中傳遞的重要信息。人機交互過程中，情感識別是交互系統的重要部分。情感狀態影響著信息表達的方式和信息傳遞的效果。

情感表達的模態包括言語、文字、面部表情和肢體動作等等。其中，面部表情通過采集人臉圖像獲得，語言情感從帶有情感的語音信號中提取，肢體動作較直接地表達了人們的情感。有研究認為，在人機交互過程中面部表情的作用最大，其對情感表達的貢獻超過五成；語言表達情感的作用次之，貢獻大概不到四成。

現有的情感識別技術通常是單一模態的表情情感識別或者語音情感識別，不能對多種模態識別到的情感進行融合處理。因此，問答機器人不能同時識別用戶輸入的語音、表情和肢體動作，不能準確辨識用戶情感。

因此，亟需一種能夠在問答過程中同時識別多種模態情感特征，并進行反饋的人機交互方法和裝置。

發明內容

本發明的目的之一在于解決現有的人機問答系統不能同時識別用戶輸入的語音、表情和肢體動作中的情感特征的技術缺陷。

本發明的實施例首先提供

一種基于情感體系的人機交互方法，包括以下步驟：

采集語音情感參數、表情情感參數和肢體情感參數；

根據所述語音情感參數計算獲得待定語音情感，從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量；

根據所述表情情感參數計算獲得待定表情情感，從預設表情情感中選擇與待定表情情感最接近的作為表情情感分量；

根據所述肢體情感參數計算獲得待定肢體情感，從預設肢體情感中選擇與待定肢體情感最接近的作為肢體情感分量；

對所述語音情感分量、表情情感分量和肢體情感分量進行融合確定情感識別結果；

針對所述情感識別結果輸出多模態的反饋信息。

優選地，在從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量的步驟中包括：

采用PCA方法對語音樣本進行建模獲得投影矩陣，以該投影矩陣為基礎，從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量。

優選地，在從預設表情情感中選擇與待定表情情感最接近的作為表情情感分量的步驟中包括：

將預設表情情感映射到特征臉空間，在特征臉空間中計算待定表情情感與預設表情情感之間的距離，選擇距離最小的預設表情情感作為表情情感分量。

優選地，在所述對所述語音情感分量、表情情感分量和肢體情感分量進行融合確定情感識別結果的步驟中包括：

對所述語音情感分量、表情情感分量和肢體情感分量分別賦予權重，依據權重對所述語音情感分量、表情情感分量和肢體情感分量進行加權處理確定所述情感識別結果。

優選地，在針對所述情感識別結果輸出多模態的反饋信息的步驟中包括：

根據所述情感識別結果在語音反饋信息、表情反饋信息和肢體反饋信息中選擇至少一種進行輸出。

一種基于情感體系的人機交互裝置，包括：

參數采集單元，其配置為采集語音情感參數、表情情感參數和肢體情感參數；

語音情感識別單元，其配置為根據所述語音情感參數計算獲得待定語音情感，從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量；

表情情感識別單元，其配置為根據所述表情情感參數計算獲得待定表情情感，從預設表情情感中選擇與待定表情情感最接近的作為表情情感分量；

肢體情感識別單元，其配置為根據所述肢體情感參數計算獲得待定肢體情感，從預設肢體情感中選擇與待定肢體情感最接近的作為肢體情感分量；

融合單元，其配置為對所述語音情感分量、表情情感分量和肢體情感分量進行融合確定情感識別結果；

反饋單元，其配置為針對所述情感識別結果輸出多模態的反饋信息。

優選地，所述語音情感處理單元具體用于：

采用PCA方法對語音樣本進行建模獲得投影矩陣，以該投影矩陣為基礎，從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量。

優選地，所述表情情感處理單元具體用于：

將預設表情情感映射到特征臉空間，在特征臉空間中計算待定表情情感與預設表情情感之間的距離，選擇距離最小的預設表情情感作為表情情感分量。