使用Conformer增强的混合CTC_Attention端到端中文语音识别.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2023，59（4）97

使用Conformer增强的混合CTC/Attention端到端中文语音识别

陈戈，谢旭康，孙俊，陈祺东

江南大学人工智能与计算机学院，江苏无锡214122

摘要：最近，基于自注意力的Transformer结构在不同领域的一系列任务上表现出非常好的性能。探索了基于

Transformer编码器和LAS（listen，attendandspell）解码器的Transformer-LAS语音识别模型的效果，并针对Transformer

不善于捕捉局部信息的问题，使用Conformer代替Transformer，提出Conformer-LAS模型。由于Attention过于灵活

的对齐方式，使得在嘈杂环境中的效果急剧下降，采用连接时序分类（connectionisttemporalclassification，CTC）辅

助训练以加快收敛，并加入音素级别的中间CTC损失联合优化，提出了效果更好的Conformer-LAS-CTC语音识别模

型。在开源中文普通话Aishell-1数据集上对提出来的模型进行验证，实验结果表明，Conformer-LAS-CTC相对于采

用的基线BLSTM-LAS和Transformer-LAS模型在测试集上的字错率分别相对降低了22.58%和48.76%，模型最终字

错误率为4.54%。

关键词：端到端；语音识别；Conformer；LAS；连接时序分类

文献标志码：A中图分类号：TN912.34doi：10.3778/j.issn.1002-8331.2111-0462

HybridCTC/AttentionEnd-to-EndChineseSpeechRecognitionEnhancedbyConformer

CHENGe,XIEXukang,SUNJun,CHENQidong

SchoolofArtificialIntelligenceandComputerScience,JiangnanUniversity,Wuxi,Jiangsu214122,China

Abstract：Recently,theTransformerstructurebasedonself-attentionhasshownverygoodperformanceonaseriesof

tasksindifferentfields.Firstly,theeffectofspeechrecognitionmodelTransformer-LASbasedonTransformerencoder

andLAS（listen，attendandspell）decoderisexplored.AndinviewoftheproblemthatTransformerisnotgoodatcapturing

localinformation,aConformer-LASmodelthatusesConformerinsteadofTransformerisproposedforautomaticspeech

recognition.Secondly,duetotheexcessivelyflexiblealignmentofAttention,itseffectinanoisyenvironmentwilldrop

sharply,theconnectionisttemporalclassification（CTC）isusedtoassisttrainingtospeeduptheconvergence,thejoint

optimizationoftheintermediateCTClossatthephonemelevelisjoined,andabetterConformer-LAS-CTCspeechrecog-

nitionmodelisproposed.F