听觉注意模型的语谱图语音情感识别方法-信号处理.PDF

第３２卷　第９期 信 号 处 理 Ｖｏｌ．３２　Ｎｏ．９ ２０１６年９月 ＪＯＵＲＮＡＬＯＦＳＩＧＮＡＬＰＲＯＣＥＳＳＩＮＧ Ｓｅｐ．２０１６ 文章编号：１００３－０５３０（２０１６）０９－１１１７－０９ 听觉注意模型的语谱图语音情感识别方法 １ １ ２ １ １ 张昕然　查　诚 　宋　鹏 　陶华伟　赵　力 （１．东南大学水声信号处理教育部重点实验室，江苏南京２１００９６；２．烟台大学计算机与控制工程学院，山东烟台２６４００５） 摘　要：在语音情感识别技术中，由于噪声环境、说话方式和说话人特质原因，造成特征向量空间分布不匹配的 情况。从语音学上分析，该问题多存在于跨数据库情感识别实验。训练的声学模型和用于测试的语句样本之间 的错位，会使语音情感识别性能剧烈下降。语谱图的特征能从图像的角度对现有情感特征进行有效的补充。本 文据此所研究的听觉选择性注意模型，模拟人耳听觉特性，能有效探测语谱图上变化的情感特征。同时，利用 时频原子对模型进行改进，取得频率特性信号匹配的优势，从时域上提取情感信息。选择注意机制使模型能提 取跨语音数据库中的显著性特征，提高语音情感识别系统的情感辨识能力。实验结果表明，利用文章所提方法 在跨库情感样本上进行特征提取，再通过典型的分类器，识别性能提高了约９个百分点，从而验证了该方法对 不同数据库具有更好的鲁棒性。 关键词：语音情感识别；跨数据库；语谱图特征；听觉注意机制；时频原子 中图分类号：ＴＮ９１２．３４　　　文献标识码：Ａ　　　ＤＯＩ：１０．１６７９８／ｊ．ｉｓｓｎ．１００３０５３０．２０１６．０９．１５ ＳｐｅｃｔｒｏｇｒａｍＳｐｅｅｃｈＥｍｏｔｉｏｎＲｅｃｏｇｎｉｔｉｏｎＭｅｔｈｏｄＢａｓｅｄ ｏｎＡｕｄｉｔｏｒｙＡｔｔｅｎｔｉｏｎＭｏｄｅｌ １ １ ２ １ １ ＺＨＡＮＧＸｉｎｒａｎ　ＺＨＡＣｈｅｎｇ　ＳＯＮＧＰｅｎｇ　ＴＡＯＨｕａｗｅｉ　ＺＨＡＯＬｉ （１．ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＵｎｄｅｒｗａｔｅｒＡｃｏｕｓｔｉｃＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇｏｆＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ， Ｊｉａｎｇｓｕ２１００９６，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，ＹａｎｔａｉＵｎｉｖｅｒｓｉｔｙ，Ｙａｎｔａｉ，Ｓｈａｎｄｏｎｇ２６４００５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｈｅｎｔｈｅｒｅｅｘｉｓｔｓｍｉｓｍａｔｃｈｂｅｔｗｅｅｎｔｈｅｔｒａｉｎｅｄａｃｏｕｓｔｉｃｍｏｄｅｌｓａｎｄｔｈｅｔｅｓｔｕｔｔｅｒａｎｃｅｓｄｕｅｔｏｎｏｉｓｅｃｏｎｄｉｔｉｏｎｓ， ｓｐｅａｋｉｎｇｓｔｙｌｅｓａｎｄｓｐｅａｋｅｒｔｒａｉｔｓ，ｕｎｍａｔｃｈｅｄｆｅａｔｕｒｅｓｍａｙａｐｐｅａｒｉｎｃｒｏｓｓｃｏｒｐｕｓ．Ｔｈｅｒｅｓｕｌｔｉｎｇｉｓｔｈｅｄｒａｓｔｉｃｄｅｇｒｅｓｓｉｏｎ ｉｎｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｓｐｅｅｃｈｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｈｅｎｃｅ，ｔｈｅａｕｄｉｔｏｒｙａｔｔｅｎｔｉｏｎｍｏｄｅｌｉｓｆｏｕｎｄｔｏｂｅｖｅｒｙｅｆｆｅｃｔｉｖｅｆｏｒｖａｒｉ ａｔｉｏｎａｌｅｍｏｔｉｏｎｆｅａｔｕｒｅｓｄｅｔｅｃｔｉｏｎｉｎｏｕｒｗｏｒｋ．Ｔｈｅａｕｄｉｔｏｒｙｍｏｄｅｌｏｆｓｅｌｅｃｔｉｖｅａｔｔｅｎｔｉｏｎｓｉｍｕｌａｔｉｎｇｔｏｔｈｅｈｕｍａｎｅａｒｈｅａｒｉｎｇ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｃａｎｅｆｆｅｃｔｉｖｅｌｙｄｅｔｅｃｔｔｈｅｃｈａｎｇｅｓｏｆｅｍｏｔｉｏｎａｌｆｅａｔｕｒｅｓｉｎｓｐｅｃｔｒｏｇｒａｍ．Ｍｅａｎｗｈｉｌｅ，Ｃｈｉｒｐｌｅｔｈａｓｂｅｅｎ ａｄｏｐｔｅｄｔｏｏｂｔａｉｎｔｈｅａｄｖａｎｔａｇｅｓｏｆｆｒ