语音信号处理_第十一章_语音转换.pptVIP

第11章11.1~11.5 语音转换 第11章11.1~11.5 语音转换 11.1 语音转换的原理和应用 11.2 常用语音转换的方法 11.3 语音分析模型和语音库的选择 11.4 应用GMM的语音转换 11.5 语音转换的研究方向 11.1 语音转换的原理和应用 语音信号包含了很多信息，除了最为重要的语义信息外，还有说话人的个性特征（或者说身份信息）、情感特征、说话人的态度以及说话场景信息等 语音转换（Voice Conversion）：将A话者的语音转换为具有B话者发音特征的语音，而保持语音内容不变 11.1 语音转换的原理和应用 要完成一个说话人语音转换，一般包含两个阶段：训练阶段和转换阶段 训练阶段：首先提取源说话人和目标说话人的个性特征参数，然后根据某种匹配规则建立源说话人和目标说话人之间的匹配函数 转换阶段：利用训练阶段获得的匹配函数，对源说话人的个性特征参数进行转换，最后利用转换后的特征参数合成出接近目标说话人的语音 11.1 语音转换的原理和应用 语音转换的应用 应用于文语合成系统 多媒体娱乐：外语电影 用于语言翻译系统：同步翻译 语音识别 通信领域中极低速率语音编码方案 医学领域中语音增强系统 说话人伪装身份通信 11.2 常用语音转换的方法 11.2.1 频谱特征参数转换 11.2.2 基音周期转换 11.2.3 韵律信息转换 11.2.1 频谱特征参数转换 11.2.1 频谱特征参数转换 1.矢量量化法：主要分为训练阶段和转换阶段 训练阶段 转换阶段 11.2.1 频谱特征参数转换 2.线性多变量回归法 训练阶段转换方程可表示为 转换阶段，首先对源特征矢量进行归一化处理，然后对其进行量化归类，确定所用的转移矩阵，再将归一化之后的特征矢量乘以转移矩阵，再对得到的矢量进行解归一化，即得到转换后的频谱特征参数 11.2.1 频谱特征参数转换 3.神经网络法 4.多说话人插值法 根据预先存储的多个说话人频谱包络进行插值得到目标的频谱包络，频谱包络通过慢变化的插值率来进行平滑的转换 5.高斯混合模型法 11.2.2 基音周期转换 11.2.3 韵律信息转换 在表征说话人信息的特征参数中，除了表示声道信息的特征参数外，还包括说话人的韵律信息，它同样能丰富的反映说话人的个人信息，韵律信息包括：说话人的说话时长、能量、基音频率等等 目前的研究中，主要是对基音周期和时长进行统计匹配，按照它们的平均值求出响应的比例因子，然后在合成语音时按比例的增加或者减少帧间叠加的样本点数目，或者通过复制或者删除一定的残差信号，实现基音周期平均值和音素时长平均值的转换 11.3 语音分析模型和语音库的选择 11.3.1 语音分析模型 11.3.2 语音库的设计 11.3.1 语音分析模型 STRAIGHT（speech transformation and representation and interpolation using weighted spectrogram ）即自适应加权谱内插，是针对语音参数的修改和恢复而提出的一种非常优秀的语音模型 在时—频域重建语音信号 精准地提取f0参数：Gabor滤波器 人为构造最小相位系统恢复源信号 STRAIGHT的主要组成部分 1.去除周期影响的谱估计 去除时间轴上的周期性：采用基音同步并叠加补偿窗的方法来计算频谱，并在时域上平滑 去除频率轴上的周期性：通过对线谱卷积三角窗，并进行频率轴上的平滑，得到最终的谱包络 STRAIGHT的主要组成部分 2. 平滑可靠的基频轨迹的提取 STRAIGHT的主要组成部分 3. 合成器的实现 合成时需要使用基音同步叠加和最小相位冲激响应的方法，可以实现对时长、基频和谱特征参数的调整 STRAIGHT分析的合成过程 11.3.2 语音库的设计 11.4 应用GMM的语音转换 训练阶段 进行特征参数的提取，包括基音周期和频谱特征参数的提取 对源说话人和目标说话人的混合频谱特征参数运用DTW方法进行对齐 对经过时间对齐后的混合特征参数进行GMM模型的建模，运用LBG方法和EM方法训练出一个有效的GMM模型。分别获得源说话人和目标说话人特征参数的均值、方差和混合协方差，获得频谱转换函数 分别对源说话人和目标说话人的平均基音周期F0，求出平均基音周期转换率 11.4 应用GMM的语音转换 转换阶段 运用训练获得的频谱转换函数进行频谱特征参数的转换，运用基音周期转换函数对基音周期进进行转换 对转换后的频谱特征参数和基音周期运用语音分析合成模型进行合成 11.4 应用GMM的语音转换 假设源特征矢量和目标特征矢量符合联合高斯概率分布，利用高斯混合模型对混合频谱参数进行建模，得到 11.4 应用GMM的语音转换 利用EM算法可得到各