第七章多元回归分析.ppt

一穷举法所谓穷举法就是从所有可能的回归方程中按一定的准则选取最优的一个或几个。设在一个实际问题的回归模型中，如果有m个可供选择的变量，由于每个变量都有入选和不入选两种情况，这样y关于这些自变量的所有可能的回归方程就有个，这其中包括只包含常数项的这种情况。下面给出几种选取准则：第30页，共47页，星期日，2025年，2月5日1从拟合的角度考虑的准则[准则1]自由度调整复决定系数达到最大。当给模型增加自变量时，复相关系数的增大是以残差自由度的减少为代价的。随着自由度的减少，模型估计和预测的可靠性也在降低。调整复决定系数其中，为样本容量，为自变量的个数。第31页，共47页，星期日，2025年，2月5日显然有，随着自变量的增加并不一定增大。因为随着变量的增加而减少，但由于其前面的系数起折扣作用，使得随着自变量的增加并不一定增加。当所增加的自变量对y不产生影响时，反而可能减少。在一个实际问题的回归建模中，自由度调整复决定系数越大，所对应的回归方程越好。第32页，共47页，星期日，2025年，2月5日[准则2]平均残差平方和达到最小。平均残差平方和是指对应于模型中的估计，其中为自变量的个数。在此无偏估计式中加入了惩罚因子，它体现了对自变量个数的增加所施加的惩罚。第33页，共47页，星期日，2025年，2月5日第1页，共47页，星期日，2025年，2月5日在许多经济问题中，一元线性回归只不过是回归分析中的一种特例，它通常是对影响某种经济现象的许多因素进行了简化考虑的结果。若某公司管理人员要预测来年该公司的销售额y时，研究认为影响销售额的因素不只是广告宣传费x1,还有个人可支配收入x2,价格x3,研究与发展费用x4,各种投资x5,销售费用x6.因此我们需要进一步讨论多元回归问题。第2页，共47页，星期日，2025年，2月5日第一节多元线性回归第二节可化为多元线性回归的问题第三节自变量的选择与逐步回归第3页，共47页，星期日，2025年，2月5日第一节多元线性回归多元线性回归模型一般形式其中，，，…，是p+1个未知参数，为回归常数，，…，为回归系数。y称为被解释变量,，…,是p个可以精确测量并可以控制的一般变量，称为解释变量第4页，共47页，星期日，2025年，2月5日对一实际问题，若得到n组观测数据（,,…,;）,i=1,2,…,n,则线性模型可表示为：第5页，共47页，星期日，2025年，2月5日写成矩阵形式y11x11x21…x1pY=y2x=1x12x22…x2pyn1x1nx2n…xnpξ1ξ2e=…ξn则Y=Xβ+e第6页，共47页，星期日，2025年，2月5日一、多元线性回归模型的基本假定解释变量x1,x2,…,xp是确定性变量，不是随机变量，而且rk(X)=P+1n,表明矩阵X中的自变量列间无多重共线性随机误差项具有零均值和同方差E（ξi）=0var(ξi)=E(ξi-E(ξi))2=E(ξi)2=σ2随机误差项在不同样本点之间是相互独立的，不存在序列相关cov(ξi,ξj)=0i≠ji,j=1,2,…ncov(ξi,ξj)=E((ξi-E(ξi)(ξj-E(ξj))=E(ξi)E(ξj)=0第7页，共47页，星期日，2025年，2月5日随机误差项与解释变量之间不相关c