动通信数据挖掘的数据预处理研究.pdfVIP

技术经济与管理研究 2008年第4期 移动通信数据挖掘的数据预处理研究 武森，谷淑娟，杜冰，高学东 a匕京科技大学经济管理学院，北京100083) 摘要：本文重点研究了数据挖掘的预处理环节。以某中型城市移动通信运营商的业务数据为对象，运用相关分析 方法对数据进行了分析和处理，确定哪些属性可以进行合并，既减少需要处理的数据量，又使得一些绝对值较小的数据 在合并中增大。优化分析效果，减小分析难度。 关键词：数据挖掘；数据预处理；相关分析 ． 中图分类号：乾70 文献标识码：A 文章编号：1004—292X(2008)04—0012一04 移动通信行业在我国的蓬勃发展是有目共睹的，随之而来 掘结果能为企业所用，有助于制定企业发展战略和营销策略。 的就是这个行业的竞争激烈。数据挖掘已经成为移动通信行业 为此，要理解移动通信各项业务的特点、客户的消费行为和特 进行数据分析的重要技术手段。 征。 本文研究的移动通信数据挖掘的数据预处理主要针对以下 2．数据预处理 业务问题： 数据预处理主要包括数据清理、数据集成、数据选择和数 新业务使用者消费的行为特点。新业务是移动通信业务未 据变换。 来的经营、获利重点，也获得了各移动通信运营商的重视。对 数据清理是消除噪声或不一致的数据。数据集成是将多种 新业务使用者的消费行为特点进行总结归纳、挖掘，推动将来 数据源集成在一起，统一语法和语义。数据选择是从数据库中 这类业务的发展。 检索与分析任务相关的数据，这需要业务知识背景的支持，例 各种业务之间的相互影响。以短信和语音这两项业务为例， 如要解决的问题是客户的消费行为特点，就需要明白客户的消 这二者在很多情况下有相互替代的作用，这种替代现象会对运 费行为都反映在哪些指标上，而这些指标又能由哪些数据得到。 营商的获利情况产生影响。 数据选择时还需要对各种数据挖掘方法的应用条件有所了解， 客户类别的分析。客户各项业务的消费特点可能使他们形 例如有的挖掘算法只能应用于布尔型数据，这时不能转换成布 成不同的类别，比如只使用语音的传统类、喜欢使用短信的节 尔型的数据就没有价值。数据变换是将数据转换成适合具体数 俭类、爱尝试新业务的新潮类等。对不同的客户类施行有针对 据挖掘算法的形式，具体的数据变换方法取决于要使用的数据 性地营销会花费少、收效好。 挖掘算法。 本文针对上述业务问题重点研究移动通信数据挖掘的数据 3．应用挖掘算法 预处理方法。首先描述数据挖掘的一般步骤，然后给出常用的 在数据预处理之后需要运用具体的挖掘算法提取数据模式。 数据预处理技术，重点研究移动通信数据预处理中的数据选择 分类、聚类、关联规则发现或序列模式发现等数据挖掘任务可 和数据间关系分析的方法，最后给出结论。 以用不同的算法来实现。需要指出的是，要获得理想的挖掘效 一、数据挖掘的步骤 果，必须对各种挖掘算法的要求或前提假设有充分的理解。 数据挖掘过程一般分为：业务问题定义、数据预处理、应 4．结果评估 用挖掘算法、结果评估以及结果表示这五个阶段。 结果评估指的是对数据挖掘的结果进行识别和评价。例如： 1．业务问题定义 关联规则的优良可以根据兴趣度等来进行度量，有些数据挖掘 清晰定义业务问题、认清数据挖掘目的是数据挖掘的重要 软件采用可视化技术直观地展示出挖