面向中文陌生文本的人机交互式分词方法.pdfVIP

面向中文陌生文本的人机交互式分词方法 李斌，陈小荷 (南京，I|i范大学文学院．南京210097) 摘要： 本文提出了面向中文陌生文本的人机交互式分词方法．在没有分词底表和训练语料等语言知识的条件下，由系统自 动地发现来登录词，提交给用户进行增删，不断重复此过程．反复获取文本中的词语，最后进行最人匹配法分词。四个4；I叫语 料的实验显示，在没有人机交互的条件下．可以得到72％(F值)左右的分词精度。经过较少的人机交互，可以使分词F值提 高12％以上。随着用户工作量的增加，系统还能够进一步提高分词效果。 关键词： 陌生文奉；人机交互：自动分词；朱避录词识别；中文信息处理 AHCIWord Method to SegmentationAdapting ChineseUnknownTexts LI Xiaohe Bin，CHEN and Normal (SchoolofChinese Literature，Nanjing 210097) Language Universi他Nanjing Abstract：This anovelmethod oolexiconorhand-craftedircsonrcc．Ituaadealwithvarioustextsand paperproposed requiring linguistic to standards candidatesasword extractedfromthe can differentWS Interaction(1ICU text, adapt ThroughHuman—Computer recursively textis andthen oa4differenttexts andeditedtheoser．Thus．alexiconofthe to the a∞judged by gained appliedsegmenttext．Experiments can showthatwithoutHCl．F·scoreofour reachesasmuch∞72％．andbe 12％withamountofworkdonetheus．eL by by system prompted Withtheincreaseintheworkloadofthe isabletoachievebetterresults． user,the system words：unknown Interaction；word word Information key text；Human-Computersegmentation；onknowarecognition；Chinese Processing 1引言 自动分词是中文信息处理的基础课题之一。随着中文电子文本数簧的日益增加，文本的领域呈多样性发展． 语料库的加一明要求也有所不同。ZhongjianWang