文本主题分割技术地研究进展.pdfVIP

第三届全国信息检索与内容安全学术会议 文本主题分割技术的研究进展 钟茂生1’2 (1．华东交通大学信息工程学院，南昌330013；2．上海交通大学计算机科学与工程系，上海200240) 摘要： 文本主题分割足提高信息检索效果和实现文本自动摘要的一个重要预处理步骤，如 何建立分割模型、设计分割算法和提高分割算法的性能成为很多研究人员的研究焦点。文章对 当前主要的文本分割技术和评价方法进行了综述，然后分析了中文文本主题分割的研究现状。 关键词： 文本分割；算法评价；研究进展 ofResearchonText Progress mao zhongshen91，2 ofInformation China Jiaotong (1．School Engineering,East ofCompute Scienceand JiaotongUniversity,ShangHai200240) Engineering,Shanghai onthe isa for Abstract：Textbased the segmentation topic veryimportantpreprocessingstep improving and theautomatictext effectoftheinformationretrieval research realizing summarization．Therefore，many menfocusedonhowto fortext to the fortext and modelingsegmentation，howdesignalgorithmsegmentation howto the ofthe summarizessomemain fortext improveperformancealgorithm．Thispaper techniques thestatusissuesofChinese andthemethodsof measure．and text segmentation performance analyzes segmentation． text measure；research segmentation；performanceprogress 1 引言 一个文本通常会包括若干个主题，一个主题又可能包括若干个子主题。将一个文本按照 主题或子主题相关的原则划分成若干个文本单元块的任务，或者说，递归的“将文本中属于 同一个子主题的相邻段落合并为一个语义段落”【l】的任务，称为文本分割。文本分割后得到 的一个文本单元块或语义段落简称为一个“分割单元”(segmentunit，简称segment)。 文本分割最初是为了文本语篇结构的建模研究而提出的，是文本结构分析与构造的首要 任务中，特别是新闻广播文本数据和语音数据中的主题检测与话题跟踪【4】f51。随着Internet网 基金资助：江西省教育厅科技计划项目(No．【2006]178)，华东交通大学科研基金资助项目