课程设计--特征选择和压缩-模式识别.docxVIP

特征选择与压缩目录1.Relieff算法31.1算法原理31.2主要代码3主程序：3Relief核心算法：5随机抽取K近邻代码：71.3结果分析82.K-L变换算法102.1算法原理102.2主要代码102.3结果分析11对比两种方法图如下：12Relieff算法算法原理RELIEF算法最早由KIRA提出，最初局限于两类数据的分类问题。RELIEF算法是一种特征权重算法(FEATURE WEIGHTING ALGORITHMS)，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。RELIEF算法中特征和类别的相关性是基于特征对近距离样本的区分能力。算法从训练集D中随机选择一个样本R，然后从和R同类的样本中寻找最近邻样本H，称为NEAR HIT，从和R不同类的样本中寻找最近邻样本M，称为NEARMISS，然后根据以下规则更新每个特征的权重：如果R和NEAR HIT在某个特征上的距离小于R和NEAR MISS上的距离，则说明该特征对区分同类和不同类的最近邻是有益的，则增加该特征的权重；反之，如果R和NEAR HIT在某个特征的距离大于R和NEAR MISS上的距离，说明该特征对区分同类和不同类的最近邻起负面作用，则降低该特征的权重。以上过程重复M次，最后得到各特征的平均权重。特征的权重越大，表示该特征的分类能力越强，反之，表示该特征分类能力越弱。RELIEF算法的运行时间随着样本的抽样次数M和原始特征个数N的增加线性增加，因而运行效率非常高。主要代码主程序：%% 特征选择测试nSample = [500, 500, 500]; % 2维情况dim = 6;coeff = { [-2 0.8; -1 0.9; 2 0.7; -1 1.5; -1 1.4; -2 1.1], .... [1 0.9; -2 0.7; -2 0.8; 1 1.2; -1 1.1; -1 1.0], ... [-2 0.7; 2 0.8; -1 0.9; -1 1.3; 1 1.2; 1 1.3], };data = createSample(nSample, dim , coeff);%% 得到训练数据nClass = length(nSample);tlabel = [];tdata = [];for i = 1 : nClass tlabel = [tlabel; i * ones(nSample(i), 1)]; tdata = [tdata; data{i}];end%% 调用relieff算法m = 500;k = 20;outDim = 2;outData = stpReliefF( tlabel, tdata, nSample, m, k, outDim);% 绘制数据result = cell(1, nClass);index = 0;for i = 1 : nClass result{i} = outData(index+1 : index+nSample(i), :); index = index + nSample(i);endfigure;subplot(1, 2, 1);plot(result{1}(:, 1), result{1}(:, 2), *, ... result{2}(:, 1), result{2}(:, 2), o, ... result{3}(:, 1), result{3}(:, 2), x);title(Relieff特征选择法);%% KL变换法outData = stpKLTransformAll( tdata, outDim);% 绘制数据index = 0;for i = 1 : nClass result{i} = outData(index+1 : index+nSample(i), :); index = index + nSample(i);endsubplot(1, 2, 2);hold on;plot(result{1}(:, 1), result{1}(:, 2), *, ... result{2}(:, 1), result{2}(:, 2), o, ... result{3}(:, 1), result{3}(:, 2), x);title(K-L变换法);Relief核心算法：function [ outData ] = stpReliefF( label, data, nSample, m, k, outDim)%% ReliefF 算法 %%% 输入% label 类别标签% data 样本