模式识别与MATLAB剖析.pptVIP

上式就是n维x空间向一维y空间的最好投影方向， 它实际是多维空间向一维空间的一种映射。 其中Sw为类内散布矩阵, Sb为类间散布矩阵 模式识别与MATLAB 主讲内容 Fisher算法及MATLAB实现 Svm（support vector machine）与优化 通过MATLAB编程进一步熟悉一下模式识别中的一些典型算法 典型算法 聚类算法： 1、 层次聚类 2、划分聚类 分类器算法 3、线性判别函数 4、 Bayes算法 W2 W1 W3 L1 L3 L2 1、 层次聚类 单连接算法 第一步：将n个样本分配到n个簇中，计算距离矩阵； 第二步：计算必威体育精装版距离矩阵，将拥有最小簇间距离的两个簇合并，得到新簇集合； 第三步：若簇数大于1，重复第二步；若为1，则结束。 Matlab 代码 样本： x 数据标准化 ：xn=zscore(x) 计算样本间距离：Y=pdist(xn,distance) 距离矩阵：squareform（y) 调用z=linkage（y,method） dendrogram(z)生成层次图 调用T=cluster（z，c）对样本进行分类 Distance: Euclid：欧拉距离 Hamming:汉明距离 Function：@DISTFUN Y = (1:6) X = [0 1 2 3 1 0 4 5 2 4 0 6 3 5 6 0], squareform(Y) = X, squareform(X) =Y. Method Single：最小距离 Complete：最大距离 Average、weighted：平均距离 Centroid、median：重心法 Example： 出生死亡率（‰） 平均寿命 满族 5.8 70.59 朝鲜族 7.44 67.14 蒙古族 8.11 67.14 维吾尔族 10.21 58.88 藏族 9.51 59.24 哈萨克族 9.81 60.47 clear X=[5.80 90.59 7.44 67.14 8.11 65.48 10.21 58.88 9.51 59.24 9.81 60.47]; Xn=zscore(X); Y=pdist(Xn,euclid‘) squareform(Y) figure Z=linkage(Y,centroid‘); dendrogram(Z); T=cluster(Z,3) Clusterdata k-均值(k-means)算法 给定k，算法的处理流程如下: 第一步：随机的把所有对象分配到k个非空的簇中； 第二步：计算每个簇的平均值，并用该平均值代表相应的簇中心； 第三步：将每个对象根据其与各个簇中心的距离，重新分配到与它距离最近的簇中； 第四步：重复2,3直到k个簇的中心点不再发生变化或准则函数Je收敛。 2、划分聚类 Matlab 代码 直接调用库函数kmeans（） [IDX, C, SUMD, D] = KMEANS(X, K,‘PARAM1’,val1, ‘PARAM2’,val2, ...) Distance Start Replicates Display Example: X = [randn(20,2)+ones(20,2); randn(20,2)-ones(20,2)]; [cidx, ctrs] = kmeans(X, 2, dist,city, rep,5, disp,final); plot(X(cidx==1,1),X(cidx==1,2),r., ... X(cidx==2,1),X(cidx==2,2),b., ctrs(:,1),ctrs(:,2),kx); 3、线性判别函数 现抽取n个特征为： 判别函数： 判别条件： g1(x) g2(x) 和 g1(x) g3(x) 实现步骤 第一步：初始化各权值矢量W=0； 第二步：将所有样本x（k）进行计算，求的g(x(k))； 第三步：若x （k）∈ω判断gi （k）是不是最大值，若是，权值不用修改；否则权值需修正 ；W + x （k）,Wj - x （k） 第四步：重复2,3直到权值不再修正。 第五步：求的gij = gi-gj Matlab 代码 g=sample(i,:)*w; length(find(d==max(d)))~=1