基于叙词表的主题爬虫技术研究.PDFVIP

《现代图书情报技术》　２００７年　第５期 数字图书馆 　　总第１５０期  基于叙词表的主题爬虫技术研究 夏崇镨　康　丽 （中国农业大学计算机系　北京 １０００８３） 　　【摘要】　将叙词表同传统的信息检索技术相结合，提出用叙词表的族对爬虫的主题进行描述的方法并用 该方法设计实现一主题爬虫。实验结果证明本文提出模型和算法的有效性。 　　【关键词】　主题爬虫　叙词表　有哪些信誉好的足球投注网站引擎　　　　　【分类号】　ＴＰ３９３ ＴｈｅＦｏｃｕｓｅｄ－ｃｒａｗｌｅｒＢａｓｅｄｏｎＴｈｅｓａｕｒｕｓ ＸｉａＣｈｏｎｇｐｕ　ＫａｎｇＬｉ （ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＣｈｉｎａＡｇｒｉｃｕｌｔｕｒａｌＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８３，Ｃｈｉｎａ） 　　【Ａｂｓｔｒａｃｔ】　Ｃｏｍｂｉｎｉｎｇｔｈｅｔｈｅｓａｕｒｕｓｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｔｅｃｈｎｏｌｏｇｙ，ａｎｅｗｍｅｔｈｏｄｉｓｐｒｅｓ ｅｎｔｅｄｔｈａｔｆａｍｉｌｙｉｎｔｈｅｓａｕｒｕｓｉｓｕｓｅｄｔｏｄｅｓｃｒｉｂｅｔｈｅｐｒｅｄｅｆｉｎｅｄｔｏｐｉｃ．Ａｌｓｏｄｅｖｅｌｏｐｓａｆｏｃｕｓｅｄ－ｃｒａｗｌｅｒｂａｓｅｄｏｎｔｈｉｓ ｍｅｔｈｏｄ．Ｏｎｗｈｉｃｈｗｅｃｏｍｐａｒｅｉｔｓｅｆｆｉｃｉｅｎｃｙｗｉｔｈｏｔｈｅｒｗｅｌｌ－ｋｎｏｗｎＷｅｂｓｅａｒｃｈｅｎｇｉｎｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ ｓｈｏｗｅｓｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｏｕｒｍｏｄｅｌｓａｎｄａｌｇｏｒｉｔｈｍｓ． 　　【Ｋｅｙｗｏｒｄｓ】　Ｆｏｃｕｓｅｄｃｒａｗｌｅｒ　Ｔｈｅｓａｕｒｕｓ　Ｓｅａｒｃｈｅｎｇｉｎｅ （ＡｓｓｏｃｉａｔｉｖｅＲｅｌａｔｉｏｎｓｈｉｐ）。 １　引　言 ２．２　概念（Ｃｏｎｃｅｐｔ）和族（Ｆａｍｉｌｙ） 　　主题爬虫是主题有哪些信誉好的足球投注网站引擎的基础与核心。它使得下 　　任何事物都具有一定的概念。概念是反映事物对象一 载的相关网页数量最大化，不相关网页数量最小化，极大地 般的、本质的特征。正如亚里士多德所说：“……现实中并没 提高了信息检索的查准率。目前，主题爬虫的相关技术有 有房子，而是一个个具体的房屋，房子只是在人类大脑中形 很多。其中，以基于叙词表（Ｔｈｅｓａｕｒｕｓ）和基于本体（Ｏｎｔｏｌ 成的概念”。将概念和表达概念的词汇区别开来是必要的 ｏｇｙ）的主题爬虫最具发展前景。从理论上讲，Ｏｎｔｏｌｏｇｙ作 （ＤａｎＢｒｉｃｋｌｅｙ，２０００）。每个概念是独一无二的资源，一个概 为一种能在语义和知识层次上描述信息系统的概念模型的 ［２］ 念资源可以被一个和多个术语（词汇）表示 。 建模工具，相对于Ｔｈｅｓａｕｒｕｓ来说，具有更广阔的发展空间。 　　叙词表提供的３种词间关系中，用代关系联结的词 但Ｏｎｔｏｌｏｇｙ的构建是一项非常费时费力的工作，这大大制 汇之间所表达的概念是最相近的，属分关系次之，而参照 ［１］ 约了Ｏｎｔｏｌｏｇｙ的发展和应用 。为了有效利用人类已有 关系最弱。叙词表中以用代关系或属分关系联结的词汇 的知识体系———叙词表，国内外一些专家和学者正在积极 从某个程度上来说表达的是同一概念。为了便于说明这 研究如何将叙词表转换成本体的问题。 种词汇集，笔者提出“族”这一术语。族是以用代关系或 ２　叙