基于局部声学信息的语音关键词检索算法的改进的研究.pdfVIP

音频声学 基于局部声学信息的语音关键词检索算法的改进研究 王旭阳，张鹏远，潘接林，颜永红 语言声学与内容理解重点实验室 摘要：本文针对汉语语音关键词检索任务中的集外词检索提出了一种基于局部声学信 息的改进算法。在汉语语音识别和语音关键词检索任务中，由于集外词可以由词典内部 的字词组合而成，因而通常认为不存在类似英文等语言中的集外词检索的问题。然而， 由于数据稀疏问题，集外词在语言模型上建模不够充分，导致解码过程中难以存留下包 含集外词的路径。本文根据深度神经网络在声学模型上建模的准确性，提出了在解码过 程中利用令牌保存的局部声学信息以保留那些局部声学概率高而即将被剪枝掉的令牌， 从而在词图中保留下来包含集外词的路径，提高集外词检索的召回率；然后再利用关键 词置信度重估技术提高集外词检索的精度。实验表明，利用解码过程中的局部声学信息 可以提高集外词检索的性能，召回率相对于基线系统有10％的绝对提高；在高精度区， 使用置信度重估后本文提出的方法同样取得显著提高。 关键词：语音关键词检索集外词令牌传递置信度重估 1、引言 随着人工智能技术的发展，人们对于自动处理信息的需求也随之增加。语音 关键词检索(STD)正是这样一种能够在若干语音文件中有哪些信誉好的足球投注网站用户输入的一个关 键词的确切时间点的技术。目前最为成功的语音关键词检索技术都是基于大词汇 的最优候选存在着识别错误，因此使用词网格或者由词网格生成的混淆网络(CN) 【I】进行关键词检索可以有更好的容错性。相对于词网格，混淆网络有着线性结构 的特点和优势，该特点对于减少有哪些信誉好的足球投注网站时间有益，因此我们的系统使用基于混淆网 络的检索方法。 尽管使用基于混淆网络的系统能够取得较高的召回率，但对于集外词(OOV) 的检索一直效果不佳。造成该现象的主要原因是集外词不在识别字典内，因此无 法作为一个整体存在在词网格或者混淆网络中。因此，集外词只能使用子词单元 进行检索。一般常用的子词单元包括：字，音节和音素。对于汉语语音关键词检 索任务，集外词检索相对于英语等其他语言略有区别。由于汉语的所有词汇均由 单字组成，且发音一般较为确定，因而基本不存在英文中对于集外词发音估计的 问题。尽管如此，因为数据稀疏的问题，汉语的集外词在训练语料中出现很少， 造成集外词的语言模型概率依旧很低，因此在解码过程中包含集外词的路径往往 由于使用剪枝(pruning)策略而被剪掉，从而造成了集外词的漏识。为了解决 ．．293．． 这个问题，一般均是将子词单元引入到解码和检索过程中。 近年来，深度神经网络(DNN)[21被广泛应用在语音识别领域，并取得了巨 大的进步。与使用混合高斯模型(GMM)相比，使用深度神经网络可以使字错 误率(WER)相对降低20％以上。本文提出一种方法，在解码过程中应用由深 度神经网络得到的局部声学信息来纠正集外词语言模型概率低的缺陷，进而提高 集外词的检索性能。实验表明，本文提出的方法有效地提高了集外词的检索性能。 2 基线系统 2．1全局描述 基线系统主要由以下三个模块组成：解码模块，索引建立模块和检索模块。 下面我们分别介绍三个模块。 解码模块的声学模型使用的是深度神经网络，解码器输出的是词网格，然后 将之转为音节混淆网络(SCN)。索引建立模块就是根据音节混淆网络建立正排 和倒排索引。检索模块使用的是两阶段检索方式，第一阶段根据正排索引检索较 长的关键词(一般指四字及四字以上词汇)，根据倒排索引检索较短的关键词， 在检索过程中使用音节混淆矩阵提高召回率；第二阶段使用声学模型对第一阶段 得到的关键词候选进行重估，最后将两个得分融合，计算公式如下： 最妒=口木皇咖+(1一口)卑匕 (1) 其中，口是融合系数，E垆是最终得分，l。是混淆网络上的后验概率，‰是重 估后的得分。 2．2剪枝策略 声学剪枝(Acoustic