支持语言监测的海量数据处理技术 Technology on Processing the Massive Data for Language Monitoring.pdfVIP

‘术语标准化与信息技术)2010年第2期 ·计算语言学· 支持语言监测的海量数据处理技术 ◇杨尔弘(北京语言大学) 摘 要：基于大规模语料库进行语言监测是近年来国家语言资源监测与研究中心实施的一个 项目，其目的是对语言使用的实际状况进行记录、调查，调查的内容包括年度字词语的使用情况、年 度流行语、新词语等。本文介绍了支持这些调查项目的海量数据的处理技术，包括语料的获取方法。 年度字、词语表的提取，流行语、新词语的提取技术。最后对语言监测中存在的问题和需要继续深入 的研究进行了探讨。 关键词：语言监测；海量数据处理；字、词语表；流行语、新词语 on theMassiveDatafor TechnologyProcessing LanguageMonitoring YANG Erhong Oil based scale isa research Abstract：Language monitoring large corpus projectperformed theNational Resource andResearchCenter．Itsisto and by Language Monitoring goal investigate trackthe statusofcurrentChinesein media．The of include language general subjectsinvestigation characters，words，buzzwords，newwords，etc．This a briefintroductionofthe papergives inthe data technologyapplied languagemonitoring，including ofthe ofthe in buzzwordsandnewwords．Andinthe frequency word，strategiesdetecting conclusion discusssome difficultiesaboutdata part，we technological processing． data andwords Keywords：languagemonitoring；massiveprocessing；charactershst；buzzwords， newwords 点，目前实施的语言监测项目中，年度的用字用词 一、引 言 用语、新词语、流行语等，是在媒体语料上实施。 中国语言生活绿皮书B系列——中国语言生 语言承载着丰富、厚重的社会文化信息。语言 活状况报告已经由国家语委发布了四次，该系列 生活状况的调查，就是对海量的语言数据进行实 每一部报告分为上下篇。上篇以专家调研的方式，