文本相似度计算方法综述.pdfVIP

综述论文第50卷第9期/2024年9月/计算机工程

文本相似度计算方法综述

魏鬼1，丁香香1,郭梦星²,杨钊,刘辉1

（1.西安理工大学计算机科学与工程学院，陕西西安710048；2.山东开放大学直属学院，山东济南250014）

摘要：文本相似度计算是自然语言处理的一部分，用来计算两个词、句子及文本之间的相似程度，具有多种应

用场景，文本相似度计算的研究对于人工智能的发展有着重要作用。文本相似度计算起初基于字符串表面，随着

词向量的提出，文本相似度计算可进行基于统计以及深度学习的建模与计算，也可与预训练模型相结合。首先，

将文本相似度计算方法分为基于字符串、基于词向量、基于预训练模型、基于深度学习、其他方法5类，并对这些

方法进行简要介绍。然后，根据不同文本相似度计算方法的原理，具体介绍了编辑距离、汉明距离、词袋模型、向

量空间模型（VSM)、深度结构语义模型（DSSM)、句子嵌人的简单对比学习（SimCSE)等常见方法。最后，对文本

相似度计算常用的数据集以及评价标准进行整理和分析，并对文本相似度计算的未来发展进行展望。

关键词：文本相似度；字符串；词向量；预训练模型；深度学习

中图分类号：TP391.1文献标志码：AD0I:10.19678/j.issn.1000-3428.0068086

ReviewofTextSimilarityCalculationMethods

WEIWei,DINGXiangxiang,GUOMengxing’,YANGZhao,LIUHui

(1.SchoolofComputerScienceandEngineering,XianUniversityofTechnology,Xian710048,Shaanxi,China;

2.AffiliatedCollege,ShandongOpenUniversity,Jinan250014,Shandong,China)

[Abstract)Textsimilaritycalculationisapartofnaturallanguageprocessingandisusedtocalculatethesimilarity

betweentwowords,sentences,ortextsinmanyapplicationscenarios.Researchontextsimilaritycalculationplays

animportantroleinthedevelopmentofartificialintelligence.Textsimilaritycalculationhasconventionallybeen

basedoncharacterstringsurfaces.Withtheintroductionofwordvectors,textsimilaritycalculationcanbemodeled

andcalculatedbasedonstatisticsanddeeplearning,inadditiontocombiningitwithpre-trainedmodels.First,text

similaritycalculationmethodscanbedividedintofivecategories:characterstring-based,wordvector-based,pre-

trainedmodel-based,deeplearning-based,andothermethods.Eachcategoryisbrieflyintroduced.Subsequently,

accordingtotheprinciplesofthedifferenttextsimilaritycalculationmethods,common