基于支持向量机的有哪些信誉好的足球投注网站引擎垃圾网页检测研究.pdfVIP

基于支持向量机的有哪些信誉好的足球投注网站引擎垃圾网页检测研究 基于支持向量机的有哪些信誉好的足球投注网站引擎垃圾网页检测研 　　研究显示，大多数用户在查看有哪些信誉好的足球投注网站引擎返回的结果时，一般不会超过 3 页［1］.很多 的网站管理者会通过提高网站质量和更新频率等有哪些信誉好的足球投注网站引擎优化（SEO ）［2］手段提升网 站在有哪些信誉好的足球投注网站引擎有哪些信誉好的足球投注网站结果中的排名.而有些网站则通过一些“不道德”的方式来提升在有哪些信誉好的足球投注网站引擎 的有哪些信誉好的足球投注网站结果中的排名，如“手动”或“自动”地制造一些网页，这些网页没有提供给用户任何 有效的信息，是直接针对有哪些信誉好的足球投注网站引擎的，却在有哪些信誉好的足球投注网站引擎的有哪些信誉好的足球投注网站结果中获得了较高的排名，当 用户查询某些关键词的时候，就有可能访问这些有哪些信誉好的足球投注网站引擎垃圾网页（又称垃圾网页或作弊 网页）［3 ］.垃圾网页的目标是吸引有哪些信誉好的足球投注网站引擎的用户访问某些有哪些信誉好的足球投注网站结果中列出的网页链接 ，故此垃圾网页的制造者希望通过在有哪些信誉好的足球投注网站的有哪些信誉好的足球投注网站结果里进行作弊以骗取用户的点击. 　　虽然人工可以识别出垃圾网页，但是由于有哪些信誉好的足球投注网站引擎索引网页数量巨大，手工识别将会 产生巨大的费用和时间.故此构造一个机器自动识别或者人工少量参与的半自动识别系统 将会很好地解决这一问题，国内外的学者提出了各种基于机器学习的检测模型 .大多数基 于机器学习的检测方法将垃圾网页的检测视为一个二元分类问题，首先需要学习出一个网 页分类器，这个网页分类器可以预测网页的类别：正常网页或垃圾网页.首先模拟有哪些信誉好的足球投注网站引 擎的网络爬虫从 Web 中抓取一定数量的网页并手工识别已下载的网页是否为垃圾网页.下 载的网页集被划分为训练网页集和测试网页集，根据机器学习的算法，使用训练网页集学 习分类器，然后使用分类器对测试网页集对所有网页进行分类预测以测试分类器的分类效 果. 　　网页内容与查询关键词的匹配程度通常被作为网页排名的关键因素，垃圾网页通过堆 积大量流行关键词，从而达到与更多的网页匹配的目的，或者通过大量重复堆积某些热门 关键词，从而达到与这些关键词的高度匹配的目的.基于网页内容特征分析的检测模型设 计的目标就是检测此类垃圾网页，Alexandros Ntoulas 等［4 ］本文由论文联盟 http://www.LW 收集整理将垃圾网页的检测看成一个二元分类问题，通过训练一个 分类器，将测试集中的网页分成“正常网页”和“垃圾网页”2 个类别，根据网页内容进行分析 和特征的提取，使用 C4.5 决策树算法构建网页分类器.这种基于网页内容的垃圾网页检测 的模型在检测“关键词堆积”类型的垃圾网页时具有较好的效果，而对“链接堆积”类型的垃 圾网页检测效果则不佳，由于忽略了网页之间的链接关系，故此基于内容的垃圾网页检测 准确率有限. 　　为了改进基于内容特征分析的垃圾网页检测模型没有利用网页之间的链接结构的缺点 ，本文首先提取了网页的内容特征，并根据内容特征向量设计了线性支持向量机，为了充 分利用网页之间的链接信息，根据相互链接的网页之间的相似性这一特点定义了惩罚函数 ，构造了软间隔支持向量机分类器，并针对已构建的实验网页集对分类器的垃圾网页检测 效果并进行了分类测试. 　　1 分类器的构建 　　网络爬虫是有哪些信誉好的足球投注网站引擎中非常重要的一部分，垃圾网页的检测一般是在有哪些信誉好的足球投注网站引擎抓取网 页之后，建立索引之前的工作，故本文需要模拟有哪些信誉好的足球投注网站引擎的网络爬行［5 ］，抓取大量网 页，从而构建试验数据集.为了设计和评估本文的垃圾网页检测算法，基于尽可能选用 Web 中的“随机样本”以及网页在相关有哪些信誉好的足球投注网站结果排名靠前的原则，本文以广度优先的爬行策 略，于 2010 年 4 月抓取了较具代表性的 137640 个中文网页.通过人工判别，数据集中 共有垃圾网页 9634 个(7%) ，正常网页 128006 个(93%). 　　虽然垃圾网页与正常网页在视觉效果上具有明显差别，但是难以根据视觉特征进行检 测.因此，本文根据网页内容，分析、提取垃圾网页的特征，并结合网页之间的链接关系 构造一个线性支持向量机分类器，把垃圾网页的检测视为二元分类问题，学习出的分类器 可以预测网页的类别. 　　1.1 网页内容特征的提取 　　为了检测网页是否采取了“关键词堆积”的作弊技术，在网页的内容特征提取阶段，普 遍根据垃圾网页特点提取了特征，诸如常用词出现率、网页压缩率、网页长度，网页标题 长度、网页 URL 长度等等特征［6 ］.本文提取了网页标题长度、网页压缩率、网页“ ”标签 数量与长度、网页 URL 长度、网页长度、停用词与标点符号使用率、常用词出现率、可视 文本率、基于知网的网页主题与网页正文相关度等基于内容分析的特征. 　　1.2 基于软间隔的线性支持向量机的分类器 　　支持向量机(SVM)已经成为一种应用广泛的分类技术.根据已经选取的网页的