数据挖掘与知识发现实验报告.docVIP

数据挖掘与知识发现实验报告 ----不平衡数据分类 不平衡分类问题,是指训练样本数量在类间分布不平衡的模式分类问题.具体地说就是某些类的样本数量远远少于其他类. 二：思路 不平衡数据分类之所以难，用传统的分类方法处理效果差，主要就是两种数据数量的不平衡，差距太大，并且用评测指标衡量分类器时，分错一个正例（数量小的类）和分错一个反例的代价不相等。基于以上原因，自己在处理不平衡数据时第一反应就是消除“不平衡”。 参考老师的代码，使用38个分类器（RandomForest()使用2次）， 弄一个训练集和测试集来评估基分类器的好坏，评估每个基分类器的准确率 ，根据准确率给基分类器排序，再对结果投票。当有分类器判断概率为1.0时，剔除这个分类器，最后由剩余sum个分类器投票决定最后的结果。 三：实验结果 UCI数据测试结果： Cmc.arff : precision=0.4271 recall=0.7477 haberman_new.arff : precision=0.5 recall=0.6296 ionosphere_new.arff : precision=1.0 recall=0.9047 Pima.arff: precision=0.7095 recall=0.8022 letter-recognition.arff : precision=0.8470 recall=0.9759 结果对比：/~zq/libid/UCI.htm 通过对比发现：ionosphere_new.arff 这组数据结果precision=1.0有点小偏差。 生物信息学数据测试结果： feature_microRNA.arff: sn=0.9378 sp=0.8734 feature_SNP.arff: sn=0.8102 sp=0.7438 Cdbox.all.arff: sn=0.9673 sp=0.9411 Hacabox.all.arff sn=0.9384 sp=0.9476 结果对比：/~zq/libid/experiments.htm 通过对比发现：这四组数据测试结果还行。 四：实验总结 本实验只是简单的参考老师代码中定义38种基分类器，用这38种分类器分别训练实例集，当有分类器判断概率为1.0时，剔除这个分类器，最后由剩余sum个分类器投票决定最后的结果。尽量避免某些若分类器对结果的影响，突出强分类器的地位。 2302010220不可不戒 2012.12.18 LezgClassifier: import java.util.Random; import weka.classifiers.*; import weka.classifiers.bayes.*; import weka.classifiers.trees.*; import weka.classifiers.meta.ThresholdSelector; import weka.classifiers.meta.Bagging; import weka.classifiers.meta.MultiClassClassifier; import weka.classifiers.meta.RandomSubSpace; import weka.classifiers.lazy.IBk; import weka.classifiers.meta.MultiBoostAB; import weka.classifiers.meta.OrdinalClassClassifier; import weka.classifiers.meta.RandomCommittee; import weka.classifiers.meta.Dagging; import weka.classifiers.lazy.IB1; import weka.classifiers.meta.LogitBoost; import weka.classifiers.meta.ClassificationViaRegression; import we