一种改进的基于句子相似度的检测算法① - 计算机系统应用.pdf

计 算 机 系 统 应 用 2010 年 第 19卷 第 2 期 ① 一种改进的基于句子相似度的检测算法 邢长征 孙 伟 (辽宁工程技术大学 电信学院 辽宁 葫芦岛 125105) 摘 要： 基于句子相似度的文档复制检测算法在抓住了文档的全局特征的同时又兼顾文档的结构信息，在该算 法的基础上对相似度算法进行了改进，解决了人工设定阈值的问题，并提高了检测精度。实验证明， 该算法是可行的，并减少了响应时间。 关键词： 文档复制检测；句子相似度；指纹；词频统计 An Improved Detection Algorithm for Document Reproduction XING Chang-Zheng, SUN Wei (Liaoning Technical University, Huludao 125105, China) Abstract: The document copy detection algorithm based on the similarity of the sentences cannot only emphasize on the whole document, but also on the structure of the document. This paper improves the similarity algori- thm based on it, solves the artificial problem of threshold setting and improves the detection accuracy. The result of experiments shows that it is feasible and the running time is reduced. Keywords: document copy detection; sentence similarity; fingerprints; frequency statistics 文档复制检测( Document Copy Detection) 就 用于文档复制检测的方法大致分为两种:基于词频统 [2] 是判断一个文件的内容是否抄袭、剽窃或者复制于另 计的方法和基于字符串比较的方法 。 外一个或者多个文件, 剽窃不仅仅是原封不动地照搬, 还包括对原文内容的移位交换、同义词替换、说法重 1 现有的面向文档的检测算法 述等。文档复制检测技术可以应用在数字图书馆、互 1.1 基于字符串比较的方法 联网、网上论文提交系统等来发现重复文本。文本、 这一类方法的主要思想是：从文档中选取一些字 图像、音频、视频等是数字产品的表现形式, 其中文