《移动电子商务》课件_移动电商与大数据.pptVIP

移动电子商务中的大数据技术大数据中的Web挖掘分析--Web数据主要来源服务器数据客户访问站点时会在Web服务器上留下相应的日志数据，这些日志数据通常以文本文件的形式存储在服务器上。一般包括severlogs、errorlogs、cookielogs等。通常文件的格式为：“Date，Client，＿IP，User_name，Bytes，Server，Request，Status，Servicename，Time，Protocol＿version，User_agent，Cookie，Referrer”。如果可以对这些文件中存储的数据进行语法上的分析，例如分析DNS，就可以知道客户来源的区域，如域名A被分析后就可以知道客户来自美国。移动电子商务中的大数据技术大数据中的Web挖掘分析--Web数据主要来源查询数据电子商务站点在服务器上产生的一种典型数据。例如，对于在线客户也许会有哪些信誉好的足球投注网站一些产品或某些广告信息，这些查询信息就通过cookie或是登记信息连接到服务器的访问日志上。移动电子商务中的大数据技术大数据中的Web挖掘分析--Web数据主要来源在线市场数据这类数据主要是传统关系数据库里存储的有关电子商务站点信息、客户购买信息、商品信息等数据。移动电子商务中的大数据技术大数据中的Web挖掘分析--Web数据主要来源Web页面及超级链接关系Web页面主要是指HTLM和XML页面的内容，包括本文、图片、语音、图像等。超链接关系主要是指页面之间存在的超级链接关系，这也是一种重要的资源。移动电子商务中的大数据技术大数据中的Web挖掘分析--Web数据主要来源客户登记信息是指客户通过Web页输入的、要提交给服务器的相关客户信息，这些信息通常是关于用户的人口特征。在Web的数据挖掘中，客户登记信息需要和访问日志集成，以提高数据挖掘的准确度，使之能更进一步的了解客户。移动电子商务中的大数据技术大数据中的Web挖掘分析--Web数据主要来源移动电子商务中的大数据技术大数据中的Web挖掘分析Web服务器的日志(WebLog)记载了用户访问站点的信息,这些信息包括:访问者的IP地址、访问时间、访问方式(GET/POST)、访问的页面、协议、错误代码以及传输的字节数等信息。3[06/Dec/2006:10:13:10+0800]“GET/mp3/zhufu.mp3HTTP/1.1”IP地址为3的用户于上午10点13分10秒访问了文件mp3/zhufu.mp3,以GET方法访问,HTTP/1.1表示HTTP协议版本。移动电子商务中的大数据技术大数据中的Web挖掘分析移动电子商务中的大数据技术基于移动电子商务的Web使用模式挖掘移动电子商务中的大数据技术基于移动电子商务的Web使用模式挖掘--数据预处理过程移动电子商务中的大数据技术基于移动电子商务的Web使用模式挖掘--数据预处理过程数据清洗：去除Web请求方法中不是“get”的记录以及删除Web服务器日志中与挖掘算法无关的数据，一般来说只有服务器日志中的HTML数据与挖掘相关，通过检查URL的后缀，可以删除不相关的数据。如可将日志文件中后缀名为JPG、GIF等图片文件以及后缀名为CGI的脚本文件删除。一些网站的页面用户在提出请求，但Web服务器拒绝该页面的请求，那么在数据清洗时应该过滤掉非法请求的页面，只对正常的页面进行数据处理。移动电子商务中的大数据技术基于移动电子商务的Web使用模式挖掘--数据预处理过程用户识别：数据清洗之后，使用基于日志的方法同时辅助以一些启发式规则，可以识别出每个访问网站的用户，这个过程就叫做用户识别。移动电子商务中的大数据技术基于移动电子商务的Web使用模式挖掘--数据预处理过程在Web数据预处理中，需要识别出每一个访问站点的用户。利用基于日志的启发式规则可以进行有效的用户识别。可做规则：（1）用户IP地址不同则认为是用户不同；（2）若用户IP地址相同,则认为用户使用的浏览器或操作系统不同则代表不同用户；（3）当用户的IP地址、操作系和统浏览器均相同时,则应根据网站的拓扑结构进行用户识别，如果被用户请求的某个页面不能通过已经访问过的任何页面到达,则判定这是一个新的用户。用户识别移动电子商务中的大数据技术基于移动电子商务的Web使用模式挖掘--数据预处理过程某一用户可能多次访问该站点，这是我们就要用到会话识别。其目的就是将用户的访问记录分为单个会话（Session）。用二元组S表示一个用户会话：S=userid,RS,其中userid是用户标识，RS是用户在一段时间