一种基于BERT的多级连贯性文本分割方法.pdfVIP

第４１卷第１０期计算机应用与软件Ｖｏｌ４１Ｎｏ．１０

２０２４年１０月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＯｃｔ．２０２４

一种基于ＢＥＲＴ的多级连贯性文本分割方法

赵怡博蒋峰李培峰

（苏州大学计算机科学与技术学院江苏苏州２１５００６）

摘要文本分割是自然语言处理（ＮＬＰ）领域的一项重要任务。现有的工作大多是只关注文章整体信息或只

着重于局部文本信息的模型，不能同时兼顾整体和局部的信息，因此，该文提出一种基于ＢＥＲＴ的多级连贯性文

本分割模型（ＨＡＣＢＥＲＴ）。该模型能够通过对整体信息和局部信息分别建模，并通过权重相加的方式，同时关注

局部信息和整体信息，从而取得更好的性能。在大规模文本分割语料上进行训练，并在多个不同领域的文本分割

数据集上进行测试，实验结果表明，该文提出的模型有良好的性能和领域适应能力。

关键词文本分割自然语言处理神经网络ＢＥＲＴ

中图分类号ＴＰ１８１文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２４．１０．０３９

ＡＢＥＲＴＢＡＳＥＤＨＩＥＲＡＲＣＨＩＣＡＬＡＤＪＡＣＥＮＴＣＯＨＥＲＥＮＣＥＴＥＸＴＳＥＧＭＥＮＴＡＴＩＯＮＭＥＴＨＯＤ

ＺｈａｏＹｉｂｏＪｉａｎｇＦｅｎｇＬｉＰｅｉｆｅｎｇ

（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ２１５００６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＴｅｘｔｓｅｇｍｅｎｔａｔｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔｔａｓｋｏｆｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ（ＮＬＰ）．Ｈｏｗｅｖｅｒ，ｍｏｓｔｏｆｔｈｅ

ｅｘｉｓｔｉｎｇｗｏｒｋｓｏｎｌｙｆｏｃｕｓｏｎｔｈｅｏｖｅｒａｌｌｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅａｒｔｉｃｌｅｏｒｏｎｌｙｆｏｃｕｓｏｎｔｈｅｌｏｃａｌｔｅｘｔｉｎｆｏｒｍａｔｉｏｎａｎｄｃａｎｎｏｔ

ｃｏｎｓｉｄｅｒｔｈｅｇｌｏｂａｌａｎｄｌｏｃａｌｉｎｆｏｒｍａｔｉｏｎａｔｔｈｅｓａｍｅｔｉｍｅ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａＢＥＲＴｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌａｄｊａｃｅｎｔ

ｃｏｈｅｒｅｎｃｅｔｅｘｔｓｅｇｍｅｎｔａｔｉｏｎｍｏｄｅｌ（ＨＡＣＢＥＲＴ），ｗｈｉｃｈｃａｎｍｏｄｅｌｔｈｅｏｖｅｒａｌｌｉｎｆｏｒｍａｔｉｏｎａｎｄｌｏｃａｌｉｎｆｏｒｍａｔｉｏｎ

ｓｅｐａｒａｔｅｌｙｔｈｒｏｕｇｈａｄｄｉｎｇｗｅｉｇｈｔｓｗｈｉｌｅｐａｙｉｎｇａｔｔｅｎｔｉｏｎｔｏｂｏｔｈｐａｒｔｉａｌｉｎｆｏｒｍａｔｉｏｎａｎｄｏｖｅｒａｌｌｉｎｆｏｒｍａｔｉｏｎｔｏａｃｈｉｅｖｅ

ｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅ．ＨＡＣＢＥＲＴｗａｓｔｒａｉｎｅｄｏｎｌａｒｇｅｓｃａｌｅｔｅｘｔｓｅｇｍｅｎｔａｔｉｏｎｃｏｒｐｕｓａｎｄｔｅｓｔｅｄｏｎｍｕｌｔｉｐｌｅｔｅｘｔ

ｓｅｇｍｅｎｔａｔｉｏｎｄａｔａｓｅｔｓｉｎｄｉｆｆｅｒｅｎｔｆｉｅｌｄｓ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｏｄｅｌｈａｓｇｏｏｄｐｅｒｆｏｒｍａｎｃｅ

ａｎｄｄｏｍａｉｎａｄａｐｔａｂｉｌｉｔｙ．

ＫｅｙｗｏｒｄｓＴｅｘｔｓｅｇｍｅｎｔａｔｉｏｎＮａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇＮｅｕｒａｌｎｅｔｗｏｒｋｓＢＥＲＴ

［１］

检索、问答系统、摘要生成等任务中。

０引言

［Ｔ１］ＦｒｕｃｔｏｓｅｌｅｖｅｌＦｒｕｃｔｏｓｅｌｅｖｅｌｉｎｔｈｅｓｅｍｅｎｍａｙｂｅａｎａ

ｌｙｓｅｄｔｏｄｅ