一种改进的双重过滤模型算法.pdfVIP

安阳工学院学报 第二期 JournalofAnyangInstituteofTechnology 59 一 种改进的双重过滤模型算法 郭新志 钟家民 (1．安阳工学院 实验 中心；2．安阳工学院计算机系，河南 安阳455000) 摘 要：在互联网中存在着为数众多的不 良信息。针对这种现状 ，许多公司与研究机构都提 出了自已的过滤模型。在研 究过去过滤模型的基础上 ．提 出了一种改进的双重过滤模型算法。 关键词 ：URL过滤 ；内容过滤；关键词匹配 中图分类号 ：TP3g3 文献标识码 ：A 文章编号 ：1673-2928(20o9)02-0059-03 互联网满足了人们几千年来苦苦追求 的 “快 1．2 RSAC的 Internet分级服务 速”和 “没有限制”的突破时空的至高境界。实现了 RSAC fRecreationalSoftwareAdvisoryCouncil) 人们的自由之梦，让人们前所未有地享受到不受 的 |ntemet分级服务是以Stanford大学有近 20年 约束获得各种信息、发布言论的 自由，但与此同 研究媒体效果经验的DonaldF．Robe~博士的研究 时，信息的自由让色情、暴力、荒诞也四处流传。互 成果为基础而制定的网页分级标准。这种由网页 联 网既是一个充满 自由和快乐的海洋 ．又是一个 制作者 自己按照标准来定义网页的级别，由用户 遍布色情和暴力的世界 。随着它的迅速普及 ，“网 自己进行甄别的方式本身就存在着问题 。他的前 络垃圾”已经开始侵入我们的生活，各色网络病毒 提是假定网页制作者是善 良、正直的。显然，如果 大量滋生 。一些邪教组织利用其散播谣言，黄色信 网页制作者欲通过网页恶意传播不 良内容的话， 息无孑L不入。如何对互联网取其精华、去其糟粕， 用户 自己对其是无法控制的。 过滤技术就此应运而生。 1．3 文本 内容过滤 传统的过滤技术或仅采用URL过滤，或仅采 基于文本的内容过滤算法主要有：关键词匹配 用内容过滤。文 中在对两种方法的优缺点进行 比 法，潜在语义索引法 。神经网络法。文本内容过滤 较研究基础上 。提出了一种改进的双重过滤模型 有两个突出特点：基于内容性和实时性。这两个特 算法 。 点决定 了衡量 内容过滤的技术优劣的标准是过滤 l信息过滤技术 精度和过滤速度 。 信息过滤技术一般包括 ：URL过滤，RSAC的 潜在语义索引法过滤精度较高．但 因采用潜在 Intemet分级服务，文本内容过滤 ，图像过滤等。 的语义结构 ，缺乏直观意义 ，不便理解 ，而且算法 1．1 URL过滤技术 复杂 ，执行速度慢，随着大量新词的加入，会使概念 使用URL过滤，首先需要建立对 URL进行过 空间上的查询、过滤性能下降。所以并不适合实际 滤用的数据库 。包括合法URL表(WhiteList)和非 应用。 法URL(BlackLis0表 。用户发出的请求需要与非法 神经网络法依照人们的长期实践经验 。模仿了 URL表比对 ，若比对成功则禁止。此方法中过滤用 人脑对信息进行过滤的原理，并结合各种数学模 的合法 URL表和非法 URL表必须采用人工录入 型来实现它的功能。优点是具有很强的 自学习功 的方法并需要经常维护 ，必定浪费大量 的人力物 能和 自适应能力，但 同样具有算法复杂、执行速度 力，而且对于未列入合法URL