端到端流式语音识别研究综述.pdfVIP

222023，59（2）ComputerEngineeringandApplications计算机工程与应用

端到端流式语音识别研究综述

1121

王澳回，张珑，宋文宇，孟杰

1.天津师范大学计算机与信息工程学院，天津300387

2.广州华立科技职业学院计算机信息工程学院，广州511325

摘要：语音识别是实现人机交互的一种重要途径，是自然语言处理的基础环节，随着人工智能技术的发展，人机交

互等大量应用场景存在着流式语音识别的需求。流式语音识别的定义是一边输入语音一边输出结果，它能够大大

减少人机交互过程中语音识别的处理时间。目前在学术研究领域，端到端语音识别已经取得了丰硕的研究成果，而

流式语音识别在学术研究以及工业应用中还存在着一些挑战与困难，因此，最近两年，端到端流式语音识别逐渐成

为语音领域的一个研究热点与重点。从端到端流式识别模型与性能优化等方面对近些年所展开的研究进行全面的

调查与分析，具体包括以下内容：（1）详细分析和归纳了端到端流式语音识别的各种方法与模型，包括直接实现流式

识别的CTC与RNN-T模型，以及对注意力机制进行改进以实现流式识别的单调注意力机制等方法；（2）介绍了端到

端流式语音识别模型提高识别准确率与减少延迟的方法，在提高准确率方面，主要有最小词错率训练、知识蒸馏等

方法，在降低延迟方面，主要有对齐、正则化等方法；（3）介绍了流式语音识别一些常用的中英文开源数据集以及流

式识别模型的性能评价标准；（4）讨论了端到端流式语音识别模型的未来发展与展望。

关键词：人机交互；语音识别；端到端；流式；延迟

文献标志码：A中图分类号：TN912.34doi：10.3778/j.issn.1002-8331.2206-0306

ReviewofEnd-to-EndStreamingSpeechRecognition

1121

WANGAohui,ZHANGLong,SONGWenyu,MENGJie

1.CollegeofComputerandInformationEngineering,TianjinNormalUniversity,Tianjin300387,China

2.CollegeofComputerInformationEngineering,GuangzhouHualiVocationalCollegeofScienceandTechnology,Guangzhou

511325,China

Abstract：Speechrecognitionisanimportantwaytorealizehuman-computerinteractionandthebasiclinkofnaturallan-

guageprocessing.Withthedevelopmentofartificialintelligencetechnology,streamingspeechrecognitionisrequiredina

largenumberofapplicationscenariossuchashuman-computerinteraction.Streamingspeechrecognitionisdefinedasinput

speechandoutputresult.Itcangreatlyreducetheprocessingtimeofspeechrecognitioninhuman-computerinteraction.

Atpresent,end-to-endspeechrecognitionhasachievedfruitfulresearchachievementsintheacademicresearchfield,

whilestreamingspeechrecognitionstillhassomechallengesanddifficultiesinacademicresearchandindustrialappl