不平衡数据实验报告.docxVIP

实验报告：不平衡数据分类23020102203966 宿玥不平衡数据的概况：不平衡数据集在现实生活中广泛存在。在不平衡数据集中，数量少处于劣势的小类的识别往往是分类的重点。不平衡数据集中，小类样本的分布比较稀疏，并且往往被大量的大类样本所包围。这为小类特征的学习带来了极大的挑战。不平衡数据集分类难的原因与大样本相比，小类样本数量上稀少。仅有很少的少数类样本数据。仅有很少的少数类样本分两种情况:少数类样本绝对缺乏和少数类样本相对缺乏。对情况1,因少数类所包含的信息就会很有限,从而难以确定少数类数据的分布,即在其内部难以发现规律,进而造成少数类的识别率低。对情况2,少数类样本数据相对缺乏不同于少数类样本数据的绝对缺乏,相对缺乏是指少数类样本在绝对数量上并不少,但相对于多数类来说它的样本数目很少。在样本相对缺少的情况下,同样不利于少数类的判别,这是因为多数类样本会模糊少数类样本的边界,且使用贪心有哪些信誉好的足球投注网站法难以把少数类样本与多数类区分开来,而更全局性的方法通常难以处理。解决策略：从数据层面上：采用的是过采样。基本思想就是通过改变训练数据的分布来消除或减小数据的不平衡，过抽样方法通过增加少数类样本来提高少数类的分类性能。从算法层面上：采用代价敏感学习与集成学习方法结合代价敏感学习：在传统的分类算法的基础上引入代价敏感因子,设计出代价敏感的分类算法. 代价敏感的学习中不同类的错分代价是不同的,通常多数类的代价比少数类大得多,对小样本赋予较高的代价,大样本赋予较小的代价,期望以此来平衡样本之间的数目差异。集成学习方法：使用各种不同的分类器进行集成,异态集成学习的每个基本算法都有独到之处,因而某种基本算法会对某类特定数据样本比其余的基本算法更为有效。实验过程：选用集成分类器为：AdaBoostM1和J48选用AdaBoostM1的思路：AdaBoostM1是二元分类算法，思想与AdaBoost相似。AdaBoost主要思想：如图图1所示，我们需要用一些线段把红色的球与深蓝色的球分开，然而如果仅仅画一条线的话，是分不开的。图1根据Adaboost算法来进行划分，如图2，先画出一条错误率最小的线段，但是左下脚的深蓝色球被错误划分到红色区域，因此增加被错误球的权重。再下一次划分时，将更加考虑那些权重大的球，如图 3 所示，再画一条线段，仍然有错分的，再增加错分的权重。再下一次划分时，将更加考虑那些权重大的球，最终得到了一个准确的划分，如下图所示3、根据AdaboostM1思想，设置反例与正例的权值比，进行以下几组的实验：反例与正例的权值比为1:2反例与正例的权值比为1:4反例与正例的权值比为1:64、实验结果及分析：实验所用数据为cmc数据实验结果：第（1）组：=== Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure ROC Area Class 0.315 0.098 0.484 0.315 0.382 0.609 1 0.902 0.685 0.818 0.902 0.858 0.609 -1Weighted Avg. 0.769 0.552 0.743 0.769 0.75 0.609-----------------------Correctly Classified Instances 1133 76.9179 %Incorrectly Classified Instances 340 23.0821 %Kappa statistic 0.2476Mean absolute error 0.2308Root mean squared error 0.4804Relative absolute error 65.9153 %Root relative squared error 114.859 %Total Number of Instances 1473 ----------------------=== Confusion Matrix ===a b -- classified a