数据挖掘在电信行业精确营销中的应用.docxVIP

2.1.1 数据挖掘技术的出现 随着信息技术的高速发展，数据库应用的规模、范围和深度空前发展，数据的应用日益普及。人类积累的数据量正在以指数速度迅速增长。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，缺乏挖掘数据背后隐藏的知识的手段。这样，在“数据过剩”和“信息爆炸”的同时，人们又感到“信息贫乏”和“数据关在牢笼中”，人类正被信息淹没，却饥渴于有用信息的提取。面临浩渺无际的数据海洋，人们迫切需要一种自动地和智能地将待处理的数据转化为有用的信息和知识的方法， 从而达到为决策服务的目的。在这种情况下，数据挖掘(Data Mining)应运而生。 1989 年 8 月，在美国底特律举行的第十一界国际联合人工智能学术会议上首次出现了“数据库中的知识发现”（KDD：Knowledge Discovery in Database）一词。随着 KDD 在学术界和工业界的影响越来越大，国际 KDD 组委会于 1995 年把专题讨论会更名为国际会议，迄今为止，由美国人工智能协会主办的 KDD 国际研讨会已经召开了17次，规模由原来的专题讨论会发展到国际学术大会，人数由二三十人到超过千人，论文收录数量也迅速增加，研究重点也从发现方法逐渐转向系统应用直到转向大规模综合系统的开发，并且注重多种发现策略和技术的集成，以及多种学科之间的相互渗透。其他内容的专题会议也把数据挖掘和知识发现列为议题之一，成为当前学术界的一大热点。 需要强调的是，数据挖掘（DM）和知识发现(KDD)技术它虽然起步比较晚，但发展步伐很快，从目前国内外的研究与应用来看，可谓是如火如荼，越来越显示出强大的生命力。 2.1.2 数据挖掘的定义及步骤 简单地说，数据挖掘是从大量数据中提取或“挖掘”知识。其实数据挖掘更正确的命名为“从数据中挖掘知识”，不幸的是这有点长。“知识挖掘”是一个短语，可能不能反映从大量数据中挖掘。毕竟，挖掘是个生动的术语，它抓住了从大量、未加工的材料中发现少量“金块”这一过程。这样，这种用词不当但携带了“数据”和“挖掘”，成了流行的选择。还有一些术语，具有和数据挖掘类似但稍有不同的含义，如“数据库中知识挖掘”、“知识提取”、“数据/模式分析”、“数据数据准备→数据挖掘→结果解释和评价。2.1.3 数据挖掘技术的未来 数据挖掘的前景被人们普遍看好。国际知名调查机构 IT 研究与顾问咨询公司 Gartner Group 在高级技术调查报告中，将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。Gartner 的调查报告预计：到2010年，数据挖掘在相关市场的应用将从 2002年少于 5%增加到超过80%。美国银行家协会预测数据仓库和数据挖掘技术在美国商业银行的应用增长是 14.9%。数据挖掘的研究和应用必将受到学术界和实业界越来越多的重视。 中国计算机报通过面谈、电子邮件、电话等方式进行题目为“2004 年哪些 IT 产品技术将受到用户青睐？”的调查，采访了政府部门行业企业等 60家重点单位的信息部门主管，包括 20 家国家部委及其直属局如劳动和社会保障部、农业部、铁道部、教育部等部门的信息主管，以及石化、汽车、电力、能源、教育、医疗、保险、制造等行业的 40 家重点企业的信息部门主管，如中国石化、一汽集团、长安汽车等。50%的被采访者表示正在或将要开展数据挖掘应用。当谈及为何关注数据挖掘时，大多数采访者表示主要是为了辅助分析决策。2.2 常用的数据挖掘技术及方法概述 在数据挖掘的处理过程中，数据挖掘的技术最为关键。数据挖掘技术层出不穷，种类较多，常用的主要有关联规则技术、神经网络技术、决策树技术、分类与聚类技术、多层次数据汇总归纳技术、覆盖正例排斥反例技术、粗集技术、公式发现技术、统计分析技术、模糊论技术、可视化技术、遗传算法技术、机器学习方法、序列模式分析方法等。 本文案例中建立的是客户分类模型，所以笔者在此主要介绍一下分类技术。分类（Classification）是常见的数据挖掘任务之一，分类就是假定数据库中的每个对象属于一个预先给定的类，从而将数据库中的数据分配到给定的类中。因此，分类工作首先要有一个清晰定义的类，还要有一系列已分类的实例。分类过程实际上是建立某种模型，然后将其用于对未分类数据进行分类。数据挖掘中常用的分类方法有：决策树，神经网络，Logistic 回归。鉴于本文采用的方法，这里主要介绍 Logistic 回归和决策树。3.1.1 精确营销的产生 精确营销（Precision marketing）就是在对客户精细分定位的基础上，依托现代信息技术手段建立个性化的顾