PLS的特征向量选取及几何解释.pdfVIP

自动化学报 2000年6月 ACTAAUTOMATICASlNICA 增刊B PLS的特征向量选取及其几何解释1’ 梁林，王桂增 (清华太学自动化系北京100084) 摘要部分最小二乘(PLS)方法将高维相关的原始交做影到低维的特征变量空间．击除了数 据的相关性和对回归无益的噪声．近年来在统计建模及其它有关顿域得到普遍重视．本文从奇异 值分解的角度分析了部分最小=乘的特征向量选取机制，解释了部分最小二索特征向量选取的几 何意义．井由雌导出非线性选代部分最小二乘算法(NffALS算法)． 关酾部分量小二乘xPLS西-奇异值分解，正．氅变抉 ^ l 引言 本文从奇异值分解的角度分析了部分最小二乘方法(PLS)的特征向量选取机制，解释 了PLs特征向量选取的几何意义，井对常用的非线性迭代部分最小二乘算法(N0lllir∞r 蛔咖iveP柏l慨t sqm髑，NIPALS)进行了推导．对于文章中所用到的定理及性质，作者 均给出了较详尽的证明． 2 PLS的特征向量选取和奇异值分解 当过程变量相关时，采用普通最小二乘方法(OLS)求解多元线性回归问题会出现共线 性问题．主元回归(pcR)方法采用主成分分析(PCA)的思想提取自变量空间相互正交的 主元．再建立输出和正交主元间的回归模型．较好地解决了这一问题．但PCA在选取主元 时以最大限度地概括原自变量空间的数据变化信息为准则，并没有考虑自变量主T-ux}于因交 量交化的解释作用，因此删除的次要主元可能含有对回归有益的信息，而保留的主元却可能 夹杂—些对回归无益的噪声． 针对这一问题．希望能够有这样一种方法，它不是孤立地选取X的主元或y的主元， 而是在选取主元时考虑二者间的关系．也就是使同时选取的自变量主元f和因变量主元H满 足以-V#i+要求： (t)f和H应尽可能多地提取它们各自空间的变化信息，即方差var(O和Vat(吣尽可能大． (2)，和Ⅳ问的相关程度最大．即t和Ⅱ的相关系数Corr(t,帕尽可能大． 由于这里所选取的主元已刁-仅仅表示x和J，空间各自的最大变化方向，而且反映由X ‘’本文工作得爿辎甜：n罄主巨噍用基础研兜啦目的支持 增刊B 自动化学报 14l 和y组成的映射空间的最大变化方向．因此将t和H称为x和y的特征向量． 下带约束的最大值问题：确定权值向量w和c，使 (1) 11wil-Itll=l 对经过中一C讹处理的数据有： Co“Xw，聆)=(xw)。(掩)加=(Ⅳ。z。FO／．，其中n为样本总数(2) 此时．E述最大值问题转化为如下形式： 确定权值向量w和6使 max lwlX‘Yc{ (3) ’ II…ll=llel=” 求解(3)式所定义的带约束的最大值问题可采用拉格朗日乘积算法f6J．这里将从奇异值分解的 角度求解满足要求的w和c，为此需要利用如下矩阵奇异值的性质： X1Y=FEG7=∑qz窖．7 (4) …X叫，并且极大值在Ⅳ=^且c2乳时得卧 麟一大奇异雠足．e】2…ma小x 证明；将(4)式代入，ejJ 111I∑PJ(w7z)(暑，1叫 (5)。。 m“1w’J1叫=㈨m啡axlwi-Hd-II ‘¨埘■阱-¨…’’～I