中文图书自动标引与自动分类实验研究.pdfVIP

中文图书自动标引与自动分类实验+ 顾燕萍王晓红申卫国 兰锦生夏海明 南京农业大学信息管理系近年来开发了基于《中图法》知识库的网页和期刊论文的中文 信息自动标引和自动分类系统。本文重点介绍利用该系统进行图书的自动标引和自动分类的 实验方案和结果。实验确定图书自动标引的标引源为题名、内容提要、目次、参考文献，并对这 些标引源的主题表述能力进行了测试。实验表明，该系统用于图书的自动标引与自动分类是 可行的。 目前，中文文献标引大多采用手工标引和计算机辅助标引，面对每年巨大的文献出版量， 手工标引逐渐暴露其缺点，诸如：检索效率低，标引不一致，标引深度小，大面积重复劳动，耗费 大量的人力物力，严重影响我国文献数据库建设的进展。因此，国内不少学者正在开发中文信 息自动标引和自动分类的系统，以提高标引褥量，降低标引成本，提高建库速度；目前，国内新 闻出版总署等单位研究的ECIP(电子在版编目)已经取得了进展，但图书的主题标引和分类的 自动化问题仍未解决。南京农业大学信息管理系近年来开发基于《中图法》知识库的中文信 息自动标引和自动分类系统，此前已有薛鹏军”o、仲云云‘“、赵妍”o等人进行；i网页、期刊论 文等方面应用的研究。我们利用上述系统，进行了图书的自动标引和自动分类的实验，以测试 该系统对图书的适用性，并确定图书自动标引的标引源和标引方案，以便进一步改进该系统。 1 基于《中图法》知识库的自动标引和自动分类系统介绍 该系统是一个基于《中图法》知识库的自动标引和自动分类系统，其中知识库是一个基于 《中图法》的专家知识组织系统，包括了中图法库、汉表库、分类号一主题词对照库、同义词库 等数据库，在此知识库的基础上，可以实现分类语言、主题语言和自然语言标引和检索的一体 化，实现自动标引和自动分类。 系统的技术路线是在确定基本信息标引源的基础上，运用基于词频的统计加权法，通过与 分类号一主题词对应库主题词串的词面相似度计算，进而完成中文信息的分类标引。其具体 实施步骤…：(1)文本信息提取，即提取作为标引源的文本信息并放人数据库的不同字段备 用；(2)词切分，即利用停用词库或半停用词库，将长字符串分割成若干较短的子串；(3)提取 关键词，即进行关键词抽词，抽词按正向最大匹配法进行分词，从而保证词长较大、专指的词汇 t本文得到南京农业大学SRT项目和南京农业大学信息科技学院研究项目的资助，在侯汉清教授指导 下完成。 129 能够优先抽出；(4)确定主题词，即将标引词由关键词转化为主题词，同时进行标引词的词频 权值统计、排序，从而完成主题标引；(5)在分类号一主题词对照库的作用下，采用词面相似度 算法，将主题词(或词串)转化为相应的分类号，从而完成分类标引。 2测试方案设计 2．1测试的总体设计及其目标 首先分析中文图书选取标引源，并确定某一类图书为测试对象，同时收集所需的各项数 据；其次拟定各标引源的权值及测试方案，然后利用自动标引与自动分类系统进行自动标引分 类；最后对测试结果作统计分析。本次测试的目标是确定中文图书的标引源及其主题表达能 力，确定标引方案，测试系统对中文图书的适用性并评价系统的性能，提出一些改进建议。 2．2标引源的选取及图书电子数据的收集 由于图书不同于报纸、期刊论文，它的篇幅通常比较长，至少百页以上，因而不宜将图书正 文选作标引源。除正文外，一般图书还包括题名、目次、内容提要、前言(序言)、后记、参考文 献等，因此我们经过调查分析，选取比较有代表性的几项——一目次、题名、内容提要、参考文献 作为标引源。我们确定以经济类图书作为测试对象，通过随机抽取，获得500本各琨数据完备 的经济类国书，通过人王输入的方式，将所需的磊蹶数据录入数据表中对应的字段，建成一个 access数据库以备测试使用。 2．3标引权值及标引方案韵确定 将题名、内容提要、目次、参考文献确定为标引源后，我们先分析计算这些标引源的主题表 达能力，进行权值确定时，借鉴赵妍等人在中文期刊论文自动标引加权设计中的加权方案，考 虑图书本身的特点，将各标引源的权值设为5：4：4：3。然后拟定待测试的标引方案，即单个标 引方案和组合标引方案。其中，单个标引方案是选取单个标引源进行标引测试，组合标引方案 是同时选取几个标引源进行测试。后者采用了3