[發明專利]一種戲曲合成方法、裝置和計算機可讀存儲介質在審
| 申請號： | 201810516868.5 | 申請日： | 2018-05-25 |
| 公開（公告）號： | CN108766409A | 公開（公告）日： | 2018-11-06 |
| 發明（設計）人： | 靳聰;陳小森;周幟;趙薇;李中仝;侯聰聰;李高玲;孫圓圓;張一民;王雪婷;帖云 | 申請（專利權）人： | 中國傳媒大學 |
| 主分類號： | G10H1/36 | 分類號： | G10H1/36;G10H1/00;G10L21/013 |
| 代理公司： | 北京超凡志成知識產權代理事務所(普通合伙) 11371 | 代理人： | 畢翔宇 |
| 地址： | 100000 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 合成 計算機可讀存儲介質 目標語音 音色特征 疊加 匹配 獲取目標 聲音合成 生成模型 音色轉換 申請 語音 轉換 延伸 | ||
1.一種戲曲合成方法，其特征在于，包括：
獲取目標語音和源戲曲唱段；
按照所述目標語音的音色特征，將所述源戲曲唱段進行音色轉換，得到與所述目標語音的音色特征匹配的轉換后的目標戲曲唱段；
基于所述目標戲曲唱段，以及預先訓練好的配樂生成模型，生成與所述目標戲曲唱段匹配的配樂；
將所述目標戲曲唱段與生成的所述配樂進行疊加，得到以生成的所述配樂為背景樂的目標戲曲。
2.根據權利要求1所述的方法，其特征在于，按照所述目標語音的音色特征，將所述源戲曲唱段進行音色轉換，得到與所述目標語音的音色特征匹配的轉換后的目標戲曲唱段，包括：
分別從所述目標語音中提取基頻特征和聲道譜特征，以及從所述源戲曲唱段中提取基頻特征和聲道譜特征；
基于所述目標語音中的基頻特征和聲道譜特征，以及所述源戲曲唱段中的基頻特征和聲道譜特征，生成所述目標戲曲唱段。
3.根據權利要求2所述的方法，其特征在于，基于所述目標語音中的基頻特征和聲道譜特征，以及所述源戲曲唱段中的基頻特征和聲道譜特征，生成所述目標戲曲唱段，包括：
將所述目標語音中的基頻特征，以及所述源戲曲唱段中的基頻特征，輸入預先訓練好的音色控制模型，得到轉換后的基頻特征；以及，
將所述目標語音中聲道譜特征，以及所述源戲曲唱段中的聲道譜特征，輸入預先訓練好的音色控制模型，得到轉換后的聲道譜特征；
將轉換后的基頻特征和聲道譜特征進行合成，得到所述目標戲曲唱段。
4.根據權利要求3所述的方法，其特征在于，根據以下方式訓練得到所述音色控制模型：
采集多個模型訓練樣本；其中每個模型訓練樣本包括目標語音樣本、源戲曲唱段樣本以及目標戲曲唱段樣本；
將所述源戲曲唱段樣本和所述目標語音樣本中的基頻特征和聲道譜特征作為混合高斯模型GMM的輸入特征，將目標戲曲唱段樣本的基頻特征和聲道譜特征作為所述GMM的輸出特征，訓練得到所述GMM的映射規則，將該GMM的映射規則作為所述音色控制模型。
5.根據權利要求3所述的方法，其特征在于，將所述目標語音中聲道譜特征，以及所述源戲曲唱段中的聲道譜特征，輸入預先訓練好的音色控制模型，得到轉換后的聲道譜特征，包括：
通過梅爾頻率倒譜系數MFCC特征提取算法，提取所述目標語音的聲道譜特征中的唱腔特征和所述源戲曲唱段的聲道譜特征中的唱腔特征；
將所述目標語音中的唱腔特征和所述源戲曲唱段中的唱腔特征輸入所述音色控制模型，得到轉換后的唱腔特征；
將所述轉換后的唱腔特征通過所述MFCC特征提取算法進行逆變換，得到所述轉換后的聲道譜特征。
6.根據權利要求1所述的方法，其特征在于，基于所述目標戲曲唱段，以及預先訓練好的配樂生成模型，生成與所述目標戲曲唱段匹配的配樂，包括：
基于所述目標戲曲唱段，獲取配樂數據集，所述配樂數據集中包括根據所述目標戲曲唱段選取的多種配樂；
將所述配樂數據集輸入所述預先訓練好的配樂生成模型，生成與所述目標戲曲唱段匹配的配樂。
7.根據權利要求1所述的方法，其特征在于，根據以下方式訓練得到所述配樂生成模型：
采集多個模型訓練樣本，其中，每個模型訓練樣本包括：與戲曲唱段樣本對應的配樂數據集樣本，以及與該戲曲唱段樣本匹配的目標配樂；
將所述配樂數據集樣本輸入生成式對抗網絡GAN中的生成器，生成待測配樂；
將所述待測配樂以及期望生成器生成的所述目標配樂分別輸入所述GAN中的判別器；
基于所述判別器識別出的所述待測配樂與所述目標配樂之間的差別信息，對所述GAN中的生成器進行調整，并返回所述將所述配樂數據集樣本輸入生成式對抗網絡GAN中的生成器，生成待測配樂的步驟，直到所述待測配樂與所述目標配樂之間的差別信息滿足預設條件，將最后得到的生成器作為所述配樂生成模型。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國傳媒大學，未經中國傳媒大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201810516868.5/1.html，轉載請聲明來源鉆瓜專利網。
