基于贝叶斯分类的主题爬虫-上海师范大学学报.PDFVIP

4 2 6 ( ) Vol ． 42 ，No． 6 第 卷第 期 上海师范大学学报 自然科学版 2 0 1 3 1 2 Journal of Shanghai Normal University (Natural Sciences) Dec ． ，2 0 1 3 年 月 基于贝叶斯分类的主题爬虫 * ， 海光 贾海军 陈 ( ， 200234) 上海师范大学信息与机电工程学院 上海 : ， ， ， 摘 要 随着网络的高速发展 其信息资源越来越庞大 面对巨量的信息库 有哪些信誉好的足球投注网站引擎起着重 要的作 ． ， ， 用 主题爬虫技术作为有哪些信誉好的足球投注网站引擎的主要核心部分 计算有哪些信誉好的足球投注网站结果与有哪些信誉好的足球投注网站主题的关系 该 ． ， 关系被称为相关性 一般主题爬虫方法只计算网页内容与有哪些信誉好的足球投注网站主题的相关性 作者所提主题爬 ， ， ， 虫 通过链接内容和锚文本内容计算链接的重要性 然后利用贝叶斯分类器对链接进行分类 ， ， 最后利用余弦相似函数计算网页的相关性 如果相关值大于阀值 则认为该网页与预定主题相 ， ． : ． 关 否则不相关 实验结果证明 所提出主题爬虫方法可以获得很高的精确度 : ; ; 关键词 主题爬虫 贝叶斯分类器 网页相关性 : : : 中图分类号 TP 393． 0 文献标识码 A 文章编号 1000-5137 (2013)06-0595-04 0 引 言 ［1］ 虫 ， ， 网络爬 是采取一定的策略 自动的抓取网页信息的计算机程序 其原理是从一个或若干初始 ， ， ， ， 了一个 网页的链接开始 获得初始网页中的链接 逐个抓取其他的网页 网页通过超链接相互连接 组成 、 ， ， ． 庞大 无形的网络 网络爬虫就像一只蜘蛛一样在这个网络中爬来爬去 所以网络爬虫又称蜘蛛爬虫 随 ， ， ， ． 着互联网技术的发展 网络信息量越来越大 而且信息的种类也越来越多 分类方法也越来越细 在这样 ， ， ， ， 的海量信息中寻找信息时 普通的网络爬虫花费时间长 占用带宽多 且消耗系统资源 为了快速查找信 ，