恢复节奏：使用 Transformer 模型为低资源语言孟加拉语进行标点符号恢复-计算机科学-深度学习-变换模型-自然语言处理.pdfVIP

恢复节奏：使用Transformer模型为低资源语言孟

加拉语进行标点符号恢复

MdObyedullahilMamun,MdAdyelullahilMamun,

ArifAhmad,andMd.ImranHossainEmu

BangladeshArmyInternationalUniversityofScienceandTechnology(BAIUST),

Cumilla,Bangladesh

{obyedullahilmamun,mdihemu}@

BRACUniversity,Dhaka,Bangladesh

md.adyelullahil.mamun@g.bracu.ac.bd

本NorthEastUniversityBangladesh(NEUB),Sylhet,Bangladesh

译arif@.bd

中

1摘要标点恢复增强了文本的可读性，并且对于自动语音识别（ASR）中的

v

8后处理任务至关重要，特别是对于孟加拉语这样的低资源语言。在这项研

4究中，我们探讨了基于变压器模型的应用，具体是XLM-RoBERTa-large，

4

8用于自动恢复未加标点符号的孟加拉语文本中的标点符号。我们的重点是

1在各种文本领域内预测四种标点符号—句号、逗号、问号和感叹号。为了

.

7应对标注资源稀缺的问题，我们构建了一个大而多样的训练语料库，并应

0用了数据增强技术。在使用倍数的数据扩增因子训练的最佳模

5

2型，在新闻测试集上达到了97.1%的准确率，在参考集中达到91.2%，在

:

vASR集合中则为90.2%。结果显示对参考和ASR转录的良好泛化，证明

i了该模型在现实世界、嘈杂场景中的有效性。这项工作建立了孟加拉语标

x

r点恢复的强大基线，并提供了公共可用的数据集和代码以支持未来低资源

a

NLP研究。

Keywords:标点恢复·标点符号·深度学习·变换模型·自然语言

处理。

1介绍

标点恢复是提高ASR生成文本可读性和实用性的关键后处理步骤，支

持诸如翻译、摘要和情感分析等下游自然语言处理(NLP)任务[10][16]。

缺乏适当的标点符号会导致句子间的语义界限模糊，进而导致歧义并降低

NLP流水线的有效性。

早期模型使用词汇特征和统计方法，如条件随机场（CRF）[15][26]，在

大规模语料库上进行训练。深度学习的发展引入了更为有效的技术，如长短

时记忆（LSTM）网络、卷积神经网络（CNNs），以及最近的基于转换器的

模型[4][8]