一种稳健的基于Visemic LDA的口形动态特征及听视觉语音识别.pdfVIP

第27卷第l期 电子与信息学报 、b1．27No．1 2005年1月 Jo啪alofElec仃onicsInf-0mation Jan．2005 TechnoIo蹦 一种稳健的基于ⅥsemicLDA的口形动态特征及听视觉语音识别 谢磊 付中华 蒋冬梅 赵荣椿 wemerVerhelst．HichemSaIlli+ JanConlenis+ (西北工业大学计算机学院西安710072) ·(DeptofETRO，FreeUniVerSity LDA的口形动态 摘要：视觉特征提取是听视觉语音识别研究的热点问题。文章引入了一种稳健的基于’visemic 特征，这种特征充分考虑了发音时口形轮廓的变化及视觉Viseme划分。文章同时提出了一种利用语音识别结果进 行LDA训练数据自动标注的方法。这种方法免去了繁重的人工标注工作，避免了标注错误。实验表明，将Visemic LDA视觉特征引入到听视觉语音识别中，可以大大地提高噪声条件下语音识别系统的识别率；将这种视觉特征与 多数据流HMM结合之后，在信噪比为lOdB的强噪声情况下，识别率仍可以达到80％以上。 关键词： 语音识别，听视觉语音识别，ASM，Line甜DiscriminantAnalysismDA)，Ⅵseme 中图分类号：TP391．42文献标识码：A 文章编号：1009．5896(2005)Ol-00“-05 AR0bust M0uthFeatureBasedonⅥsemicLDAfor Dynamic AudioⅥsual Speechl沁cOgnitiOn xieLei Fu Zhao Zhong-huaJi柚gDong-mei Rong-chull wemer、7erhelst’Hichemsahlj．JanConl∞is‘ ∞矗oD，Q厂CD叩“研＆砌cP，ⅣDmw船f绷PD纱础玎泐，踟m，朋’册710072，凸㈣ Brussets，Pleintncm ’(pept谚ETRo，FreeUniversily 2。B-、oso，BrtIssels，Belgiu确 arobuStvisual basedonVisemicLDAforaudioVisual AbstractThis feature paperpresents speech contourinfomlationandrenectsthevisemeclassesofvisual alsoin仃oduces锄 capturesdynamiclip speech．Thepaper the resultSforLDA aVoidsthetedious automaticmethod data，which 1abeling usingspeechrecognition n．aining manually workaIld