网络专题知识组织知识元自动抽取系统的设计与实现.docxVIP

应用实践网络专题知识组织知识元自动抽取系统的设计与实现谈春梅　颜世伟（南京邮电大学图书馆　南京２１０００３）刘子牧（多伦多大学计算机系　多伦多Ｍ５ＳＩ３）【摘要】采用Ｖｉｕａｌｓｕｄｉ．ＮＥＴ开发平台，使用Ｃ＃程序设计语言以及ＸＭＬ知识描述和数据存储，对网络专题知识组织和知识元自动抽取系统进行开发设计。对该系统的文本信息预处理、快速汉字结合自增长分词、词频全文精确统计等重要功能的设计与实现进行了深入研究。【关键词】知识标引　知识元自动抽取　文本信息处理　自增长分词　快速算法【分类号】Ｇ２５０．７４ＤｅｓｇｎａｎｄＲｅａｌｚａｔｏｎｏｆＫｎｏｗｌｄｇｅＥｌｍｅｎｔＡｕｔｍａｔｃＥｘｔａｃｔｏｎＳｙｓｅｍｏｆＮｅｔｏｒｋＳｐｅｃｉｌＳｕｂｊｃｔＫｎｏｗｌｄｇｅＯｒｇａｎｉａｔｏｎＴａｎＣｈｕｎｍｅｉＹａｎＳｈｉｅｉ（ＬｉｒｒｏｆＮａｎｊｎｇＵｎｉｅｒｉｙｏｆＰｏｓｓａｎｄＴｅｌｃｏｍｍｕｎｉａｔｏｎｓＮａｎｊｎｇ２１０００３，Ｃｈｉａ）ＬｉＺｉｕ（ＣｏｍｐｕｔｒＤｅｐａｒｍｅｎｔＵｎｉｅｒｉｙｏｆＴｏｒｎｔ，ＴｏｒｎｔＭ５ＳＩ３，Ｃａｎａｄａ）【ＡｂｓｒａｃｔＷｉｈｖｉｕａｌｓｕｄｉ．ＮＥＴｄｅｖｅｌｐｍｅｎｔｐｌｔｏｒ，Ｃ＃ｐｒｇｒｍｄｅｓｇｎｌｎｇｕａｇｅＸＭＬｋｎｏｗｌｄｇｅｄｅｓｒｐｔｏｎａｎｄｄａｔｓｏｒｇｅｋｎｏｗｌｄｇｅｅｌｍｅｎｔａｕｔｍａｔｃｅｘｔａｃｔｏｎｓｓｅｍｏｆｎｅｔｏｒｓｅｃｉｌｓｂｊｃｔｋｎｏｗｌｄｇｅｏｒａｎｉａｔｏｎｈａｓｂｅｅｎｄｅｓｇｎｅｄａｎｄｄｅｖｅｌｐｅｄ．ＴｈｅｄｅｓｇｎａｎｄｄｅｖｅｌｐｍｅｎｔｏｆｍａｉｆｎｃｔｏｎｓｓｃｈａｓｔｘｔｉｆｒａｔｏｎｐｒｔｅａｔｅｎｔｆｓｓｌｉｃｒａｓｎｇｗｏｒｓｇｍｅｎｔｔｏｎｏｆｃｏｎｎｅｃｔｏｎｐａｔｅｒｓｏｆＣｈｉｅｓｃｈａｒｃｔｒ，ａｃｃｕｒｔｓａｔｓｉｓｏｆｆｌｔｘｔｏｆｗｏｒｆｅｑｕｅｎｃｙｅｔｏｆｔｅｓｓｅｍｈａｖｅｂｅｅｎｒｓａｒｈｅｄ．【ＫｅｙｗｏｒｄｓＫｎｏｗｌｄｇｅｉｄｅｘ　Ｋｎｏｗｌｄｇｅｅｌｍｅｎｔａｕｔｍａｔｃｅｘｔａｃｔｏｎ　Ｔｅｘｔｉｆｒａｔｏｎｐｒｃｅｓｉｇ　Ｓｅｌｉｃｒａｓｎｇｗｏｒｓｇｍｅｎｔｔｏｎ　Ｆａｓａｌｏｒｔｍ　　当前，世界范围内的知识经济热潮的兴起进一步加强了图书馆对于网络知识组织研究的关注。笔者借助于图书馆计算机网络平台，进行网络专题知识组织系统的开发设计。　　网络专题知识组织由异构网络专题信息资源检索与筛选系统（网络专题信息资源是指以通信与信息处理技术和计算机应用技术为重点学科，选择权威性强、质量高的网络数据库期刊论文、引文、会议论文、以及互联网在　　收稿日期：２００７－１０－０８　　收修改稿日期：２００７－１２－１８　　本文系江苏省哲学社会科学基金项目“面向创新的网络专题知识组织与个性化服务范式及其理论研究”（项目编号：０７ＸＷＣ０１１）的研究成果之一。　２　现代图书情报技术Ａｓｔｏｉｉｉｅｏｉｒｉｔｗａｅｅｚｉ　ｗｂａｙ，ｉｖｓｔｔｉｉｎｕｍｅｔ，ｖｓｔｏｏＡｔ，】ｔｓｔｏｏａｆｍｏａｉａｅｃｉｉｔａ，ｅｏｉｒｉｙｔｗｋｐａｕｅｅｚｉｉｏｉｏｕｉｕｅｎｏｍｉｅｒｍ，ａｔｅｆｎｅｉｄｅａｉｉｎｎｅｓｅｔｉｔｃｕｅｄｒｈｙｔｅｃ】ｅｎｅｏｉｒｉｎｏｍｉｎｆｎｅｉｄｅａｉｔｇｉｈ６总第１６２期　２００８年　第３期线科技论文和电子论坛等）、异种网页元数据ＸＭＬ采集与编目系统、网络专题知识标引系统、网络专题知识库智能化构建系统、网络专题知识库管理维护与数据存储系统、网络专题知识库应用系统等６大功能模块组成。其中网络专题知识标引系统包括知识元自动抽取、知识点挖掘即知识元自动链接两个子系统。本文着重介绍该子系统的主要功能模块和主要开发技术及其重要功能的设计与实现。１　系统主要功能模块和主要开发技术　　知识元自动抽取子系统是网络专题知识标引系统的重要组成部分。系统的主要功能是将检索和筛选后的网络文本信息自动、快速、准确地抽取出知识标引词，即知识元。系统功能结构模型如图１所示。首先需要把检索和筛选后的网络文本信息包括ＰＤＦ、ＨＴＭＬ、Ｗｏｒ等转换成纯文本信息。然后将转换后的纯文本信息采用有哪些信誉好的足球投注网站删除法进行预处理，即建立符号列表文档ｐｕｎｃｔａｔｏｎ．ｔｔ在此文档中存放标点符号、运算符号以及其他特殊符号等，在纯文本信息中有哪些信誉好的足球投注网站与符号列表中相对应的符号，用空格代替，经过预处理后的文本信息成为只含有空格的字符集。对字符集进行快速汉字结合自增长分词，将分词词条添加到词典列表中。经过后续处理，包括过滤、统计加权计算等操作，从而完成知识元的自动提取。图１　系统功能结构模型　　根据系统功能要求，将系统分成网络专题文本信息预处理、快速汉字结合自增长分词、词频全文精确统计和加权处理等模块分别进行应用程序的设计。这些功能模块已能基