聋儿发音的唇形检测与分析.PDFVIP

聋儿发音的唇形检测与分析 聋儿发音的唇形检测与分析 孙威 房昭菊 王岚 摘 要  视觉语言具有许多潜在的应用,通过机器的自动唇语识别，即唇读技术近年来成为一个备受关注的研究领域。唇形 检测都是唇读技术实现的关键，目前已成为热门的研究课题。聋儿发音的唇形检测是把唇读技术作为一个模块与语音识别 系统结合应用于语言残疾者的康复工程中。 关键词  变形模板；唇部特征；阈值分割 1 引言 运用了图像中所有的数据。但是同时带来了其分类 近年来，语音识别技术迅猛发展，自动语音 器的学习过程中对一般的二维或者三维的平移、旋 识别系统有了长足的进步，出现了为数众多的实用 转、放缩、光照变化以及说话人的变化都十分敏感 语音识别系统。但是所有的系统都有着抗干扰能力 的缺点，另外其特征向量的高维度和高冗余度也是 较差的缺点。但是应用到实际环境中时，在有背景 一大缺点。 噪声或者交叉说话人的条件下，它们的性能都会大 目前主流的基于像素的方法是特征唇(主成分分 大下降，同时这样的环境又是非常常见而不可避免 析)法[1][2]。特征唇法是指把整个唇部区域作为一个向 的。语音识别系统在仅仅利用听觉特性的情况下， 量，通过大量的样本进行主成分分析(PCA)，通过主 使得系统在噪声环境或者多说话人条件下得识别率 成分分析，从大规模口型序列图像数据中，迅速提 大大降低，限制了其在实际环境下得应用。同时语 取最具代表性的信息。采用主成分分析的可以实现 言的视觉信息有着不会受到污染的特性，将视觉信 在信息损失最小的条件下，对高维数据进行降维， 息与语音信息相融合可以有效的改善自动语音系统 改善高维度的缺点。这种方法的优点主要是保留了 的识别率，特别在噪声环境下，效果更为明显。 唇部的大部分信息，对边缘特性的要求不高。但是 由于该系统是面向聋儿这个特殊人群，该人群 依然没有改善对变形、旋转非常敏感的问题，而且 在发音时有着在视觉方面的特征更为明显的特点。 没有直观的中间处理结果，这样就不能实时检验定 因此在该系统中利用聋儿发音时口型饱满、发音持 位、跟踪的结果。 续时间长等较明显的视觉信息将自动唇形识别与语 所谓基于模型的方法，其主要思想就是对唇部 音识别融合，能够在检测聋儿发音时大大提高检测 区域的轮廓建立一个模型，通过一个小的参数集合 准确率。 来描述唇形轮廓。这类方法的优点在于重要的特征 本文的结构安排如下。第二节介绍唇形检测 可以被低维量的数据表示，并且通常不会被变形、 的研究现状；第三节简单介绍唇部区域的定位与追 旋转、放缩、光照的变化影响。其缺点就是独特的 踪；第四节重点介绍唇部特征点的初始化；第五节 模型有可能不能包涵所有相关的信息。 介绍利用可变形模板提取特征点；第六节阐述实验 [3] 基于模型的