中文地名数据清洗中的重复字段匹配-应用科学学报.pdfVIP

第 31 卷 第 2 期 应 用 科 学 学 报 Vol. 31 No. 2 2013年3月 JOURNAL OF APPLIED SCIENCES — Electronics and Information Engineering Mar. 2013 DOI: 10.3969/j.issn.0255-8297.2013.02.017 中文地名数据清洗中的重复字段匹配 1 1,2 1 叶 鸥 ， 张 璟 ， 李军怀 1. 西安理工大学 计算机科学与工程学院，西安 710048 2. 西安交通大学 机械制造系统工程 国家重点实验室，西安 710048 摘摘摘 要要要：：： 为了提高中文地名字段匹配的准确度，提 出中文地名的相似重复检测与清洗策略和矩阵相似重复匹配方 法. 该清洗策略采用矩阵相似重复匹配方法，通过矩阵运算计算 中文地名数据之 间相 同字符或者词语 出现 的频率， 利用频率计算两者之 间的语义相似度和结构相似度，然后将语义和结构相似性有机结合，作为相似性判断和重复 数据清洗 的依据. 实验验证 了该方法的可行性和有效性. 结果表 明，该方法对于中文地名字段匹配在查准率和召回 率方面优于 已有的其他算法. 关键词：数据清洗 ；字段匹配；矩阵相似重复匹配；中文地名；语义相似度 ；结构相似度 中图分类号：TP311 文章编号：0255-8297(2013)02-0212-09 Duplicate Field Matching for Data Cleaning of Chinese Placenames YE Ou1 , ZHANG Jing1,2 , LI Jun-huai1 1. School of Computer Science and Engineering, Xi’an University of Technology, Xi’an 710048, China 2. State Key Laboratory for Manufacturing Systems Engineer, Xi’an Jiaotong University, Xi’an 710048, China Abstract: To improve accuracy of field matching of Chinese placenames, an approximate duplicate detection and cleaning strategy and a matrix approximate duplicate matching method are proposed. In the strategy, a matrix approximate duplicate matching method is used. Frequencies of the same Chinese characters or words between two Chinese placenames can first be calculated with a matrix operation. Semantic similarity and structure similarity can be calculated using the frequencies. By combining semantic and structure similarities, they are considered as the basis of duplicate detection and data cleaning. Simulation experiments are conducted to prov