计算机毕业论文：Web日志挖掘中数据预处理技术的研究.docVIP

Web日志挖掘中数据预处理技术的研究 （浙江邮电职业技术学院，浙江 绍兴 312016） [摘 要] 在Web数据挖掘研究领域中，Web日志挖掘是一个极其重要的应用方面，而数据预处理技术在Web日志挖掘中又起到非常重要的作用。本文详细介绍了Web日志文件的记录格式和Web日志挖掘预处理的一般过程，并针对在实际应用中遇到的问题提出了一种解决方法，最后给出其算法的代码。 [关键词] 数据挖掘；Web日志挖掘；数据预处理 Data Preparation in Web Log Mining Li XX (Department of computer, zhejiang technical college of post and telecom ) Abstract： In the field of data mining, Web log mining is very important as an aspect of data mining application,and data preparation technology plays a very important role at Web log mining.The paper introduces detailed the form of web log documents and the general process ofdata preparation in web log mining,and it offers one kind of solution to the problem in application in reality, finally the paper presents algorithmic code about Web log mining. Key Words：Data Mining, Web Log Mining, Data Preparation 0 引 言 在Web数据挖掘中,最重要的应用之一是Web日志挖掘。Web日志挖掘就是从Web服务器的日志文件中发现用户的访问模式，分析站点的使用情况。这些使用情况包括用户IP地址、访问时间、访问页面的大小、浏览器类型、响应状态[1]等等。通过Web日志的挖掘，可以进一步分析和研究日志文件的规律,来改进网站的结构和性能,构造自适应网站，同时利用统计和关联分析,给网站提供个性化服务[2],发现潜在的用户群体。 常用的Web日志文件的格式有CLF和ECLF,其中ECLF结构如表1[3]所示： 表1 ECLF日志格式 IP Address Time/Date Method/URL/Protocol Status Size Refer Agent 典型的日志记录形式如下： 6 - [12:23:55 22/8/2008] - GET/dry/log/help.html HTTP/1.1 - 100 - 11021 - - Windows NT 5.0; Internet Explorer6.0 目前Web日志挖掘主要分为三个步骤:数据预处理；模式识别；模式分析[4]。本文将对数据预处理过程中涉及到的关键问题和技术难点进行详细的分析和论述。 1 数据预处理过程 一般基于Web日志的数据挖掘预处理过程包括以下过程:数据净化、用户识别、会话识别、路径补充[5]。如图1所示： 1.1 数据清理 数据预处理的第一步是数据清理[6]，数据清理是指根据实际需求,对WEB日志文件进行处理,包括删除无关紧要的数据,合并某些记录,对用户请求页面时发生错误的记录进行适当的处理等。只有当服务器日志中的数据能够准确地反映用户访问Web站点的情况时，经过挖掘得到的关联规则才是真正有用的。 由于HTTP协议是一个面向非连接的协议，每次客户连接请求完所要的网页后，服务器会自动与客户断开连接，同时被申请的网页文件连同文件上的图片、声音和脚本代码一起被下载到了客户端。当我们挖掘的目的是探知用户访问模式时,图片和声音文件显然对我们用处不大。所以我们可以把后缀为JPEG,MP3,GIF,WMV等的记录删除。但是，当我们挖掘的目的是为了进行网络流量分析时,这些信息又会显得非常的重要,所以在删除这些记录的时候一定要把相关信息记录下来，一般选择将其中的“发送字节数”和“接收字节数”这两个域的内容记录下来。此外,后缀名为cgi、js和JS的脚本代码因对后面的分析处理不造成任何影响,所以应该删除。 我们可以定义一个规则库来帮助删除记录,而这个规则库可以根据分析所得的网站类型进行修改。例如,对于主要包含声音的站点,日志中的声音文件可能代表了用户的请求,此时就不能将声音文件删除。我们可以