数据挖掘在校园一卡通数据的应用与研究.docVIP

　　摘要：校园卡中存储了大量的数据，近几年来，这些数据越来越受到大家的关注，该文将对存储在校园卡中学生使用热水的数据进行研究，通过K-means算法进行尝试分析学生对热水使用情况，了解学生对热水的需求量，从而可以提供给学校后勤部门一些参考意见，有助于学校的建设和管理，更有助于满足学生的需要。 中国论文网 　　关键词：K-means算法；热水需求；数据预处理 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2012）33-7885-03 　　校园卡在高校已经使用多年，经过近些年的使用，在校园卡中心已经存储了海量的数据，这些数据包括就餐数据、上机数据、借书数据、用水数据等多种数据。这些数据已经越来越被学校重视，因为这些数据是学生本人使用产生的，对这些海量的数据进行研究分析，可以了解学生的一些内在信息。因此该文将对学生的用水数据进行研究与探索，了解学生使用热水的一些情况，有助于学校了解学生的更多情况，也有助于学校的建设。 　　1　对学生用水数据的预处理 　　该文研究的用水数据是学生使用热水产生的数据，反映了学生每天热水的使用情况，这部分数据的来源是学生每天使用校园卡消费热水的数据，学生每次用校园卡刷卡使用热水就会在数据库中产生一条数据，该文以高校1万个学生为例子，使用热水的数据量每天达到上万条记录，这样一个月就达到几十万条的数据记录，面对如此多的数据量，为了提高数据挖掘效率与数据挖掘的准确率，该文在进行数据挖掘前，将对该部分数据将进行预处理过程，数据预处理过程分为：对数据进行清理、集成、变换、规约四个部分，经过数据预处理后的数据能够方便于后续的研究。 　　1.1　数据清理 　　数据清理过程就是处理数据中的噪声和数据的缺失等部分或者是降噪的一个过程。学校一卡通系统中存储了学生、教职工、以及临时职工等的大量数据，为了保证研究数据的可靠性和稳定性，我们将一些会影响数据真实性的离群数据剔除，如在校园卡中的数据还包括研究生、教职工等的数据，他们使用校园卡的频率不高，这样的对数据分析会产生影响，因此该文选择在校的本科生的数据为样本进行研究，这样的数据更为准确，因此通过这部分数据的分析，可以相对准确的描述学生使用热水的一些情况。 　　1.2　数据集成 　　由于该文研究中用到的数据来源于不同的两类数据（开水的使用和洗澡时热水的使用）。由于数据来源不同，所以必须进行数据基集成，将不同的数据的数据整合到一起，方便研究。 　　1.3　数据变换 　　数据变换是对数据的格式和结构进行一定的转化，使我们在研究过程中能够实现数据一致性，让该部分数据更容易实现分析的过程。该文在数据变换处理过程中的方法如下：对数据的泛化，它是一种常见的方法，即对数据处理时用更高层的概念来表达原来的数据，使其数据能够达到一定程度的压缩。该文在对热水使用数据的处理方式是把每个学生的每天热水使用量进行数据汇总，即实现每个用户每天一条使用热水的数据。这有利于我们对学生热水使用情况的研究做进一步简化处理。 　　1.4　数据归约 　　数据规约是数据预处理过程中非常重要的一步，数据规约的根本目的在于实现数据压缩的一个过程，但它的前提是必须保持数据的完整性，并且不改变原有数据的真实内涵。 　　数据规约一般方法： 　　1）数据属性的选择：数据库建表时很多字段属性是为了方便管理与操作，当我们获得的数据中，很多属性在我们的挖掘研究时可能没有太多的价值，更可能没有相关性，因此在进行数据处理时，可以考虑将挖掘过程中无关或者是弱关联的属性删除或放弃。 　　2）数值规约：实现某些数据可以通过其他的方式来代替的一个过程，如常见的有通过聚类等方式来实现。 　　在针对大量数据的挖掘时，数据规约是必不可少的，它能实现数据量进一步缩小，并且可以提高数据的效率。该文在数据预处理时也对热水使用的数据情况进行了数据规约。该文的数据来源于校园卡中心的数据，该部分数据是存储在ORACLE中，数据有多张表格，数据表中存储了大量的数据，该文列出来某张数据表的一些属性，这些属性对该文的研究有些是非常重要的，有些则存在不必要性： 　　2　K-means算法 　　K-means算法是聚类算法中的一种，同时也是经典的算法之一，它可以很好实现聚类思想，实现划分方法，算法优点在于可伸缩和高效率。因此K-means的聚类方法容易实现球状的数据分类。 　　2.1　k-means　算法的思想 　　K均值算法的根本思想在于实现把n个数据对象划分成k个不同簇，且各个簇内容的数据点到簇中心的平方和为最小。k的值为要求划分簇的个数，并且k个簇的数据中心要先随机选择。因此，k具有随机性，这也是该算法的不足之处。选好划分簇的个数k，并且选好k个簇的数据中心后，我们对n个数据（除初始的k个数据中心