[發明專利]一種基于說話人嵌入空間的競爭說話人數量估計方法及系統有效
| 申請號： | 202010009945.5 | 申請日： | 2020-01-06 |
| 公開（公告）號： | CN111179959B | 公開（公告）日： | 2022-08-05 |
| 發明（設計）人： | 曲天書;吳璽宏;彭超 | 申請（專利權）人： | 北京大學 |
| 主分類號： | G10L21/0216 | 分類號： | G10L21/0216;G10L21/0272;G10L21/0208;G10L25/30;G10L25/45 |
| 代理公司： | 北京君尚知識產權代理有限公司 11200 | 代理人： | 司立彬 |
| 地址： | 100871 北*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 說話 嵌入 空間 競爭 人數 估計 方法 系統 | ||
1.一種基于說話人嵌入空間的競爭說話人數量估計方法，其步驟包括：
1)利用麥克風陣列采集多說話人的混合多通道信號；
2)提取所述混合多通道信號的多通道幅度信息和多通道相位信息；其中，多通道幅度信息包括麥克風陣列中參考麥克風的幅度譜和麥克風陣列中其他麥克風與該參考麥克風間的幅度差，多通道相位信息包括該參考麥克風的相位譜和其他麥克風與該參考麥克風間的相位差；其中，其他麥克風與參考麥克風之間的幅度差定義為參考麥克風的對數幅度譜加其他麥克風與參考麥克風之間的相位差定義為參考麥克風的相位譜加FIPD＝cos(∠Xt,f,p-∠Xt,f,q)；Xt,f,p為麥克風p在時間t和頻率f的信號的短時傅里葉系數，Xt,f,q是麥克風q在時間t和頻率f的信號的短時傅里葉系數；
3)利用深度神經網絡分別估計所述多通道幅度信息的嵌入空間和多通道相位信息的嵌入空間；其中，所述深度神經網絡為BLSTM，所述深度神經網絡的損失函數為V為所述深度神經網絡輸出的D維深度嵌入特征，矩陣矩陣A＝YYT，Y∈RN×C是時頻點的one-hot表示形式，代表標簽信息，C是源的數量，N是時頻點的個數；
4)利用全連接層將兩所述嵌入空間映射到說話人嵌入空間；其中，所述多通道幅度信息的嵌入空間、多通道相位信息的嵌入空間和說話人嵌入空間均為相同維度的嵌入空間；
5)估計所述說話人嵌入空間中的嵌入向量的平均協方差矩陣；
6)對所述平均協方差矩陣做特征值分解，將得到的秩的個數判定為說話人的數量；其中，估計的說話人數量n(*)是計算說話人數量的運算，t為設定閾值，λi為所述平均協方差矩陣Re的第i個特征值，D為所述說話人嵌入空間的維度。
2.如權利要求1所述的方法，其特征在于，在所述嵌入空間中，對于由同一說話者主導的時頻點，嵌入矢量在同一方向上平行，而對于由不同說話者主導的時頻點則為正交。
3.如權利要求1所述的方法，其特征在于，V＝fθ(X)∈RN×D；X為輸入所述深度神經網絡的語音信號特征，fθ(*)是一個映射函數；當X為多通道幅度信息時，V為多通道幅度信息的嵌入空間；當X為多通道相位信息時，V為多通道相位信息的嵌入空間。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京大學，未經北京大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/202010009945.5/1.html，轉載請聲明來源鉆瓜專利網。
