(10)第10章--多元线性回归.pptVIP

* * * * * * * * * * * * * * * * * * * * 12 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 容忍度与方差扩大因子 (SPSS ) 多重共线性的处理 将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量，则应 避免根据 t 统计量对单个参数进行检验 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内 10.3.2 变量选择与逐步回归 10.3 多重共线性及其处理 变量选择过程 在建立回归模型时，对自变量进行筛选 选择自变量的原则是对统计量进行显著性检验 将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型 确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量 变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等 向前选择 (forward selection) 从模型中没有自变量开始 对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型 分别拟合引入模型外的k-1个自变量的二元线性回归模型 如此反复进行，直至模型外的自变量均无统计显著性为止 向后剔除 (backward elimination) 先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除 考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除 如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止 逐步回归 (stepwise regression) 将向前选择和向后剔除两种方法结合起来筛选自变量 在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除 按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少 在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中 用SPSS进行逐步回归 (stepwise regression) 例10-1的逐步回归 模型比较 模型比较 模型比较 模型比较(例题10—4) 逐步回归模型与含所有5个自变量的回归模型的比较 load(D:/example/ch10/example10_1.RData) fit2-lm(y~x1+x2+x5,data=example10_1) fit1-lm(y~x1+x2+x3+x4+x5,data=example10_1) anova(fit2,fit1) 模型比较 10.4 利用回归方程进行预测 第 10 章 多元线性回归 置信区间和预测区间(例题分析) 残差分析(例题分析) 第 10 章 多元线性回归 10.5 哑变量回归 10.5.1 在模型中引进哑变量 10.5.2 含有一个哑变量的回归 10.5.1 在模型中引进哑变量 10.5 哑变量回归 哑变量(dummy variable) 也称虚拟变量。用数字代码表示的定性自变量 哑变量可有不同的水平 只有两个水平的哑变量 比如，性别(男，女) 有两个以上水平的哑变量 贷款企业的类型(家电，医药，其他) 哑变量的取值为0，1 在回归中引进哑变量 回归模型中使用哑变量时，称为哑变量回归 当定性变量只有两个水平时，可在回归中引入一个哑变量 比如，性别(男，女) 一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量 在回归中引进哑变量(例题分析) 10.5.2 含有一个哑变量的回归 10.5 哑变量回归 哑变量回归(例题分析) 【例10-6】沿用例10—1。假定在分析影响日均营业额的因素中，再考虑“交通方便程度”变量，并设其取值为“方便”和“不方便”。为便于理解，原来的5个自变量我们只保留用餐平均支出一个数值自变量。假定调查得到的数据表 用SPSS进行哑变量回归(有一个哑变量和有一个