西方姓名译名的自动识别研究.pdfVIP

第21卷 第8期 计 算 机 仿 真 2004年8月 文章编号：1006—9348(2004)08—0145—04 西方姓名译名的自动识别研究 孔祥龙 ，卢鹏 ，陆汝占 ，刘绍明 (1．上海交通大学计算机科学与工程系，上海200030；2．富士施乐公司研究本部，日本) 摘要：西方姓名译名的自动识别为汉语自动分词不可或缺的组成部分。该文以西方姓名译名用字信息为基础，充分利用标 准词表来限制西方姓名译名的过度生长能力，并使用首尾逼近和局部频率等方法来进一步改善识别效果，并且针对西方姓 名译名的特点进行了有针对性的处理。对真实语料进行测试，正确率达到96．87％，召回率达到97．20％。 关键词 ：西方姓名译名；专名识别；标准词表 ；局部频率 中图分类号 ：TP391．43 文献标识码 ：A ResearchonAutomaticTransliteratedPersonNamesIdentification KONGXiang—long ，LUPeng ，LU Ru—zhan ，LIU Shao—ming (1．Dept，ofComputerScienceandEngineering，ShanghaiJiaoTongUniv．，Shanghai200030，China； 2．CorporateResearchGroup，fujiXerox，Co．，Ltd．，Japan) ABSTRACT：TrnasliteratedpersonnamesidentificationisthenecessarypartofChinesewordsegmentation．Basedon hteinformationofcharacterhtattrnasliteratedpersonnamesused，htispapermakesgooduseofhtestandardlexicon tolimittheabilityoftrnasliteratednma estogrow，anduseshtemehtod，suchasmodifyingpotentialnma esbasedon htechraacterusedbyhteheadnadtailoftransliteratednames，local~equeneynadsoon，tofurtherimprovehtere- sult，alsodoessomespecial processingintemr softheuniquefeatureofrtansliteratedpersonnall_les．Aftertestedon real coprus，hteprecisionratenadrecallrateraerespectively96．87％ nad97．02％ ． KEYW ORDS：Transliteratedpersonnma es；Nma esentityidentification；Standardlexicon；Local freuqency 1 概述 上下文等来限制其生成能力，力度显然不够，从而造成大量译 汉语 自动分词是中文信息处理的基础。困扰汉语 自动 名的误识别，译名识别的正确率偏低。文献[2]中西方姓名译 分词的一个主要难题就是专有名词(未登录词)的识别。一 名的正确率为63％，利用同样的方法文献[5]的正确率为 般说来，专有名词包括：中国人名、中国地名、译名、组织机构 72％。两个结果同样显示采用这种方法的正确率偏低。 名、事件名、时间数量名和商标名等 。根据我们对455万 本文在上述研究方法的基础上，充分利用标准词表来限 字的人民日报语料统计结果显示：西方姓名译名 占0，73％。 制姓名译名的过度生长能力，并且采用局部频率以及规则的 可见西方姓名译名占有一定比重，更由于西方姓名译名用字