[發明專利]一種基于情感體系的人機交互方法、裝置和交互系統在審
| 申請號: | 201610040503.0 | 申請日: | 2016-01-21 |
| 公開(公告)號: | CN105739688A | 公開(公告)日: | 2016-07-06 |
| 發明(設計)人: | 劉佳亮 | 申請(專利權)人: | 北京光年無限科技有限公司 |
| 主分類號: | G06F3/01 | 分類號: | G06F3/01 |
| 代理公司: | 北京聿宏知識產權代理有限公司 11372 | 代理人: | 朱繪;李心穩 |
| 地址: | 100000 北京市石景山區石景山*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 基于 情感 體系 人機交互 方法 裝置 交互 系統 | ||
1.一種基于情感體系的人機交互方法,其特征在于,包括以下步驟:
采集語音情感參數、表情情感參數和肢體情感參數;
根據所述語音情感參數計算獲得待定語音情感,從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量;
根據所述表情情感參數計算獲得待定表情情感,從預設表情情感中選擇與待定表情情感最接近的作為表情情感分量;
根據所述肢體情感參數計算獲得待定肢體情感,從預設肢體情感中選擇與待定肢體情感最接近的作為肢體情感分量;
對所述語音情感分量、表情情感分量和肢體情感分量進行融合確定情感識別結果;
針對所述情感識別結果輸出多模態的反饋信息。
2.如權利要求1所述的人機交互方法,其特征在于,在從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量的步驟中包括:
采用PCA方法對語音樣本進行建模獲得投影矩陣,以該投影矩陣為基礎,從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量。
3.如權利要求1所述的人機交互方法,其特征在于,在從預設表情情感中選擇與待定表情情感最接近的作為表情情感分量的步驟中包括:
將預設表情情感映射到特征臉空間,在特征臉空間中計算待定表情情感與預設表情情感之間的距離,選擇距離最小的預設表情情感作為表情情感分量。
4.如權利要求1所述的人機交互方法,其特征在于,在所述對所述語音情感分量、表情情感分量和肢體情感分量進行融合確定情感識別結果的步驟中包括:
對所述語音情感分量、表情情感分量和肢體情感分量分別賦予權重,依據權重對所述語音情感分量、表情情感分量和肢體情感分量進行加權處理確定所述情感識別結果。
5.如權利要求1所述的人機交互方法,其特征在于,在針對所述情感識別結果輸出多模態的反饋信息的步驟中包括:
根據所述情感識別結果在語音反饋信息、表情反饋信息和肢體反饋信息中選擇至少一種進行輸出。
6.一種基于情感體系的人機交互裝置,其特征在于,包括:
參數采集單元,其配置為采集語音情感參數、表情情感參數和肢體情感參數;
語音情感識別單元,其配置為根據所述語音情感參數計算獲得待定語音情感,從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量;
表情情感識別單元,其配置為根據所述表情情感參數計算獲得待定表情情感,從預設表情情感中選擇與待定表情情感最接近的作為表情情感分量;
肢體情感識別單元,其配置為根據所述肢體情感參數計算獲得待定肢體情感,從預設肢體情感中選擇與待定肢體情感最接近的作為肢體情感分量;
融合單元,其配置為對所述語音情感分量、表情情感分量和肢體情感分量進行融合確定情感識別結果;
反饋單元,其配置為針對所述情感識別結果輸出多模態的反饋信息。
7.如權利要求6所述的人機交互裝置,其特征在于,所述語音情感處理單元用于:
采用PCA方法對語音樣本進行建模獲得投影矩陣,以該投影矩陣為基礎,從預設語音情感中選擇與待定語音情感最接近的作為語音情感分量。
8.如權利要求6所述的人機交互裝置,其特征在于,所述表情情感處理單元用于:
將預設表情情感映射到特征臉空間,在特征臉空間中計算待定表情情感與預設表情情感之間的距離,選擇距離最小的預設表情情感作為表情情感分量。
9.如權利要求6所述的人機交互裝置,其特征在于,所述融合單元用于:
對所述語音情感分量、表情情感分量和肢體情感分量分別賦予權重,依據權重對所述語音情感分量、表情情感分量和肢體情感分量進行加權處理確定所述情感識別結果。
10.如權利要求6所述的人機交互裝置,其特征在于,所述反饋單元用于:
根據所述情感識別結果在語音反饋信息、表情反饋信息和肢體反饋信息中選擇至少一種進行組合輸出所述多模態的反饋信息。
11.一種人機交互系統,其特征在于,包括:
語音傳感裝置,其用于采集語音信號;
視覺傳感裝置,其用于采集表情信號和肢體信號;
如權利要求6-10中任一項所述的人機交互裝置,其用于識別語音信號、表情信號和肢體信號表達的情感,并輸出所述多模態的反饋信息;
輸出驅動裝置,其用于根據所述多模態的反饋信息驅動表情單元、語音單元以及/或者動作單元進行動作。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京光年無限科技有限公司,未經北京光年無限科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201610040503.0/1.html,轉載請聲明來源鉆瓜專利網。





