基于《中国分类主题词表》的WWW科技信息资源自动标引设计方案.pdfVIP

基于《中国分类主题词表》的www科技信息资源 自动标引设计方案 肖 明(北京师范大学信息技术与管理学系) 一、引 言 Internet已经成为当今世界上最大的信息资源库，并且成了全球最主要的信息传播渠道， 其中以WwW的发展最为迅速。同时，Imernet又是开放型的全球性分布式网络，其资源分布 非常分散，网上信息资源也没有统一的管理和结构，这样就给网上信息资源有哪些信誉好的足球投注网站带来极大不 便。目前，大多数Internet用户在面对爆炸性增长趋势的网上信息资源时普遍感到不知所措。 因此，如何行之有效地对Internet上的各类信息资源进行合理的组织和标引(即对其进行分 类、主题、摘要等处理)，已经成为世界范围内正在关注和亟待解决的热点问题之一。 本文主要探讨如何利用《中国分类主题词表》对Internet上现有的www科技信息资源 进行有效的自动分类和主题标引，并将自动标引结果保存到数据库中，以方便用户按分类或者 主题途径对这些信息资源进行快速查询，或者在Internet上按分类或者主题途径进行发布，从 而有效地提高网上信息资源的利用率和共享程度。 本文提出的www科技信息资源(主要是网页，阻下简称为网页)自动标引方案(包括自 动分类和自动主题标引)的总体设计思想概述如下：以《中图法》中的类名、《中国分类主题词 表》和《汉语主题词表》中的主题词作为主干词汇，辅以相关工具书及专科语料库中的语词作为 补充词汇，建立类目短语主题词库和切分词典库；同时采用适量的非用词．建立停用词词库：以 网页的全文信息作为自动标引的信息获取对象。 自动标引的主要步骤包括：首先，对网页格式进行自动检测与转换，包括将BIG5码格式 转换成GB码格式．将HTML等文件格式转换成TXT纯文本格式；然后，利用计算机对文献 进行主题分析，先输入能够表征文献主题内容的信息，再通过采用。正向扫描，一宇先行，半字 推进”的分词方式以及最长匹配自动分词算法，从输人的信息内容中自动抽取能够反映文献主 题信息特征的关键词。接着，采取某种自动分类算法，将已经抽取的能够表征文献主题的各种 关键词进行组配并且归人到《中图法》的适当类目当中，同时给出相应的主题词和关键词。最 后，将自动标引结果保存到标引结果数据库中。 我们设计的www科技信息资源自动标引系统共包括5个子系统：①格式自动转换于系 统；②自动分词子系统；③自动标引子系统；④人工审核子系统；⑤数据库维护子系统。系统的 组成框图如下页图l所示。 下面，我们就从网页格式的自动检测与转换、数据库的创建与维护、关键词的自动抽取、自 动标引等四个方面对WWW科技信息资源自动标引系统进行具体分析和探讨。 104 数据库维护子系统 图1 www科技信息资潭自动标目j系统的组成示意图 二、网页格式的自动检测与转换 1．撅述 的信息资源进行自动标引，首先需要考虑的事’隋就是要设法将不同格式文件转换成适于自动 标引的纯文本格式。尽管菝们能够从因特网上下载各种工具软件用来进行格式转抉．但本文 主要探讨的是如何通过编程实现网页格式的自动转换。 对于wWW中文网页来说，还需要考虑中文内码的转换问题，香港和台湾建立的一些中 文站点(包括中国太陆的部分中文站点)的www阿页是BIG5码格式的，而对于广大的中国 大陆用户来说，最便于读取的则是GB码格式的各类文件。为了解决中国大陆和港台地区之 间因汉字编码、字符集的不同而造成的信息交流障碍、海内外不少热心人士已经研制并提供了 若干简单易用的汉字编码转换工具，可用于BIG5码与GB码之间的格式转换，使用也很简便。 不过，为了更好地实现自动标引，本文将讨论如何通过编程实现BIG5码与GB码的自动检测 与转换问题。 2．主要设计思想 (1)BIG5码的自动检测与转换 编程实现BIG5码的自动检测与转换的主要设计思想是：在打开某个网页时，先利用特定 函数对网页中全部字符的ASCII码进行分析和统计。如果按照某种算法确认打开的网页是 BIG5码格式，则调用BIG5码与CB码自动转换的控件，将网页格式自动转换成GB码格式。 (2)将HTML格式自动转换成TXT格式