心理学统计 第六部分多元回归.pptVIP

第十七章 多元回归 A基本概念 标准化回归方程 半偏相关 抑制变量、互补变量 偏相关 求最佳预测方程 在第10章中，我们介绍了当两个变量有足够大的线性相关时，其中一个变量可以用来预测另一个变量。 比如我们可以通过学生每天自习的时间来预测期末考试成绩。 然而，我们知道学习成绩受到多种因素的影响，比如说智商。 也就是说只用一个指标并不能做出最好的预测。 这时我们需要用多个变量来共同预测某一变量，这种问题可以通过多元线性回归来解决。 用一个方程去预测你感兴趣的变量，这个变量叫做效标变量。 方程可以有多个预测变量，每一个都有不同的系数（权重），共同来预测效标变量。 本章中我们介绍最简单的情况——两个预测变量。 用智商和努力程度（自习时间）去预测期末考试成绩。 如果智商与学习成绩的相关为0.3，那么智商解释了期末成绩变异的0.09； 如果努力程度与成绩间的相关为0.4，那么努力程度解释了期末成绩的0.16. 我们可以采用韦恩图来描述这种关系。 在韦恩图中，用方框表示效标变量（学习成绩）的总方差，用方框内两个独立的圆圈表示能每个预测变量解释的方差百分比。 如果两个预测变量相互独立（不相关），则韦恩图如下所示 这时，两个圆圈的面积加和就表示两个预测变量共同能解释因变量的方差比例。 用R2表示被解释的总体方差，则 在一元线性回归中r2叫做决定系数，同样在多元线性回归中， R2叫做复测定系数。 如果不平方，R叫做复相关系数。它是基于两个或多个预测变量对因变量的预测值与因变量的实际值之间的相关。 当只有一个预测变量时， ，这被称为标准化回归方程 当两个预测变量不相关时， 其中r为每个预测变量和效标变量之间的相关，叫做效度 复相关系数为 对于不相关的两个预测变量，效度大小受到上边公式的限制。 如果两个预测变量相关，那么两个预测变量之间的相关在韦恩图中被表示为两个圆圈的重叠部分。 此时，一个预测变量所解释方差的一部分也可以由另一个预测变量来解释。 此时，复测定系数并不等于两个圆圈面积的简单相加，相比于两个预测变量不相关的情况，复测定系数减少了。 相应地，回归方程中每个预测变量的系数也减小了。 减少的权重系数通常用β来表示，代表了标准化的总体回归系数值，简称β值。 在采用样本估计β时，通常用B表示。 对于两个预测变量的情况， β值是几个相关系数的简单函数 此时标准化回归方程可表示为 采用上述公式计算的β值能够保证Y的预测值和实际数值有最高的相关，也就是有最大的复测定系数。 在两个预测变量效度不变的情况下，二者之间的相关越高，则重叠面积越大，复测定系数也就越小。 当二者相关大到一定的程度，解释力小的那个变量X2将不再起作用。 当两个预测变量之间存在负相关时，复测定系数会变大。这种现象叫做互补。 在一元回归中，Y与X构成一条直线，称为回归线。当使用标准分数时，回归线的斜率等于相关系数r。 在二元回归中，Y用两个预测变量表示，当X1=0时Y与X2形成一条回归线，其斜率称为偏斜率，反之亦然。与一元回归相似，多元回归中，偏斜率与半偏相关系数对应（但不相等）。 二元回归中两条回归线构成一个回归平面。 在一元线性回归中，任意两个点总能构成一条直线，只有在三个点以上才会出现变异，因此自由度等于N-2。 同样的，在二元回归中，任意三个点总能构成一个平面，只有在四个点以上才会出现变异，因此其自由度为N-3。 同理对于多元回归，自由度等于N-P-1，其中P为预测变量的个数。 刚才我们提到，二元回归中偏斜率与半偏相关系数对应。那么什么是半偏相关呢？ 我们看这样一个例子：我们都知道身高和体重是正相关的，而体重和胆固醇含量是正相关的，这样的话我们很容易得到身高和胆固醇含量正相关。 如果我们测得数据如下图所示，那么身高和胆固醇含量的相关是虚假的，他们没有直接关系。相关是由体重引起的，身高对胆固醇含量没有解释力。因此，其半偏相关为零。 如果我们测得数据如下图所示，身高对胆固醇含量的解释除了能被体重解释的那部分外，还有多余的。多余的这部分相关就叫做半偏相关。数值上等于这部分面积的开方。 半偏相关系数可以通过三个相关系数求出 符号ry(1.2)中，圆点之后的数字表示排除在外的变量，括号表示这种排除只局限于括号中的变量。 通过半偏相关系数，可轻松求得β值 在两个预测变量中，如果其中一个预测变量X2与另一个X1存在正相关，但和效标变量Y不相关时，X1与Y的半偏相关将高于效度（简单相关）。 这时X2称为抑制变量，其作用就是把预测变量X1中与Y无关的方差清除掉或者进行校正。 在实践中，进行多元回归之前，抑制变量通常被整合到预测变量之中。例如，身