垃圾邮件新特征词的关联挖掘.docVIP

垃圾邮件新特征词的关联挖掘 於时才 李海龙 （兰州理工大学 计算机与通信学院，甘肃兰州，730050） 摘要：传统反垃圾邮件产品，大多是基于关键字过滤技术的。这种技术最大的缺陷就是在分词时对新出现的潜在特征词（组）识别能力较低。本文提出了一种基于关联分析的垃圾邮件潜在特征词（组）挖掘方法，能够弥补传统邮件过滤技术在文本特征项识别方面存在的不足，起到对垃圾词典进行动态更新的作用。实验表明，该方法在中英文垃圾邮件特征项挖掘方面具有很好的效果。 关键词:垃圾邮件；特征词；关联分析 中图分类号：TP931.1 文献标识码：A The Association Mining Method To Spams New Fearure Words YU shicai LI hailong (School of Computer and Communication,Lanzhou University of Technology and Science,Gansu Lanzhou 730050） Abstract: Most of the traditional anti-spam products are based on filtration technique according to the key words. The biggest disadvantage of this kind of technique is the lower identify ability to new potential characteristic word(phrase)s at disparting words. This paper proposes a kind of digging method based on the Association analysis of spam with potential characteristic word (phrase)s.It can make up the shortage of traditional mail filtration technique at the aspect of identifying text feature items. And it carries on the function with the dynamic update to the spam dictionary.The experiment shows that this method makes a good effect to mine the Chinese-English spam feature items. Keywords:Spam,Feature Words,Association Rules 1引言 随着Internet的发展，垃圾邮件的泛滥不仅浪费邮件接收者的大量时间，还极大地消耗网络传输资源、邮件服务器的存储空间，给邮件用户、网络管理员和ISP带来了无尽的烦恼。面对垃圾邮件带来的日益严重的危害，如何有效地过滤掉垃圾邮件,已成为当前计算机网络安全方面的一个新的研究热点和难点。 目前，国内外反垃圾邮件技术主要有：利用IP或域名“黑白名单”进行的邮件限制或过滤，利用以贝叶斯算法为代表的数据挖掘技术进行邮件过滤和基于关键词规则匹配的内容过滤。这些技术基本上都脱离不了“词典+匹配”的模式，其瓶颈在于垃圾邮件新词词典的编篡明显落后于形势需要。很多垃圾邮件制造者针对传统过滤技术的弱点，不断地开发出新的垃圾邮件生成技术，致使反垃圾邮件产品的性能不断下降。如：一些垃圾邮件发送者对文本中的关键词进行拆分或是变形,把“法轮功”篡改为“氵去车仑功”；一些垃圾邮件制造者将邮件中的敏感词中加入一些符号或标点隔开（或是英文中用相似的字母进行替换）,如“☆打#造赚%钱$新*境※界∷”、“drμg”等等。这些都致使现行的反垃圾邮件过滤系统不能有效地识别。 本文提出的新词挖掘模式，不需要词典支持，引入关联分析中的支持度、置信度等概念来筛选潜在特征词，能够自动、准确、高效地挖掘中英文垃圾邮件中的潜在特征词（组），是一项非常有意义和实用价值的研究。 2关联规则挖掘的理论前提 在垃圾邮件特征词（组）的挖掘中，文本的特征表示是挖掘工作的基础。邮件文本实际上可以看作是由众多的特征词条构成的多维信息空间。矢量空间向量模型（Vector Space Model,VSM）是目前应用较多且效果较好的特征表示方法之一，即用V(doc)={(t1,w1), (t2, w2),…, (tn, wn) }表示文档doc，其中：ti为词条项，wi指第i个词条在文档中的权重（这里用第i个词条出现的频率pi表示第i个词条在文档中的