R软件的数据挖掘应用.pdfVIP

第28卷第6期 重庆工商大学学报 (自然科学版) Vo1．28 NO．6 JChongqingTechnolBusinessUniv．(NatSciEd) 1)ec ． 20ll 文章编号：1672—058X(2011)06—0602—06 R软件的数据挖掘应用术 陈 荣 鑫 (集美大学 计算机工程学院，福建 厦门361021) 摘 要：开源 R软件集成了各种的数据分析和可视化方法，具备强大的数据分析功能和 良好的可扩展 性，适用于数据挖掘 ；结合城市主要经济指标的数据挖掘案例，给出了R软件在挖掘过程 中各主要阶段的应 用方法；数据准备阶段包括数据抽取、数据选择与统计分析应用；挖掘建模阶段给出了聚类和分类的典型挖 掘应用；模型评估阶段给出了决策树的评估方法；从简洁的R语言脚本设计和 良好的分析效果，展示了R软 件的基本特点和在数据挖掘应用中的优势。 关键词：R软件 ；数据准备；挖掘建模 ；模型评估 中图分类号：TP315 文献标志码 ：A 数据挖掘方法通过对数据的分析，发现有用的规律和概念，以提高数据拥有者对原始数据的深层次理 解与认识，满足决策需求…。目前存在各种挖掘软件，主流的商用挖掘工具比如 Unica、SAS／EM、Insightflal Miner、IBM IM和 SPSS等，这些软件特点是面向通用挖掘问题，功能较为完善，具备较好的性能。但一一般都 存在可扩展性不强、成本较高等缺点。开源软件能有效克服这些缺点，比较著名的包括 Weka、YAIE、 KNIME、Orange和R等。R软件是一款集成了数据操作、统计和可视化功能的优秀的开源软件 ．R软件 具备高效的数据处理和存储功能，擅长数据矩阵操作，提供了大量适用于数据分析的工具，支持各种数据 J“- 视化输出。R软件的一大优势是分析人员可利用简单的R程序语言描述处理过程，以构建强大的分析功 能。此外，R软件具备 良好可扩展性，来 自世界各地开源社区的研究者为其提供了各种丰富的工具包 由于 R软件能结合各种挖掘算法，有效地简化数据分析过程，适用于数据挖掘领域。在此通过具体案例，探讨 R 软件在数据挖掘过程中各主要阶段的应用。 1 数据挖掘阶段 数据挖掘过程一般包括挖掘任务定义、数据准备、挖掘建模、模型评估和模型应用等阶段 、、 (1)任务定义。分析人员通过与挖掘系统交互，完成挖掘任务的定义。要求系统提供交互界面，并能牛 成任务描述信息。 (2)数据准备。是挖掘的预处理阶段 ，包括数据抽取、数据集成、数据选择和数据转换等步骤。首先数 据抽取把挖掘对象数据加载进入系统；数据整理用于删除噪声、不一致或重复的数据；数据选择用来抽取 分析任务相关的数据；数据转换则把数据转换或合并成适当形式，以利于挖掘的执行。 (3)挖掘建模。根据已定义的挖掘任务，选择分类、聚类、关联规则等具体的挖掘方法进行建模 f【jf 数据准备和数据挖掘本身都会涉及各种算法，然而每种算法有其解决特定问题的优势，又有其不适用于其 他问题的劣势。显然，挖掘系统只有集成多种算法可供用户选择，才会有 良好的实用性。 (4)模型评估。对完成建模后的结果进行解释和评估，可采用可视化和用户易于理解的知识表示办式 收稿 日期：2011—08—10；修回日期 ：2011—09—21． $基金项 目：福建省 自然科学基金项 目(2008J04005)． 作者简介：陈荣鑫(1975一)，男，福建厦门人 ，讲师，硕士 ，从事软件自动化和数据库技术研究 万方数据 第6期 陈荣鑫：R软件的数据挖掘应用 603 来表达挖掘结果。比如，采用图形化的决策树模型来表示分类模型，采用 “if…then…”规则形式来表示关联 模型。可视化效果对于提高挖掘结果的可解释性和知识的易理解性具有重要作用。 (5)模型应用。发布通过评估的模型，提供用户模型应用服务。比如用户可应用已完成的分类模型对 新实例进行类别预测。 2 数据准备 2．1