(5.2.11)--3.6 回归分析2——非线性回归.doc

（PPT2）同学，你好，今天我们继续讨论数据建模中的统计模型——回归分析。上一节我们介绍了回归分析的基本概念与一元线性回归，这节我们将介绍多元线性回归和非线性回归。

（PPT3）先来看多元线性回归。本部分由多元线性回归模型、回归系数估计、回归方程的显著性检验、回归系数的显著性检验四部分构成。

（PPT4）（动画1）设y是一个可观测的随机变量，它受到m个非随机变量因素x_1,x_2,...,x_m和随机误差epsilon的影响。若y与x_1,x_2,...,x_m有如下线性关系：

y=beta_0+beta_1*x_1+...+beta_m*x_m+epsilon

其中，beta_0,beta_1,beta_m是固定的未知参数，称为回归系数，epsilon是均值为0，方差为sigma^2的随机变量，称该模型为多元线性回归模型。

（动画2）对于总体（x_1,x_2,...,x_m;y）的n组观测值(x_i1,x_i2,...,x_im;y_i)(i=1,2,...,n)，模型的矩阵形式表示为：Y=X*beta+epsilon

（动画3）其中：y=[y_1,y_2,...y_n]为观测值向量，X的第1列为1，第2列为总体x_1的n组观测值（x_11,x_21,...,x_n1），依次，第m+1列为x_m的n组观测值（x_1m,x_2m,...,x_nm），称之为回归设计矩阵，beta=（beta_0,beta_1,beta_m）称为待估计向量，epsilon为不可观测的n维随机向量，它的分量相互独立，与总体同分布。

（PPT5）下面我们介绍回归系数估计——最小二乘法

（动画1）与一元线性回归讨论类似，beta_hat是使得残差平方和最小的beta的最小二乘估计，即

S(beta_hat)=minS(beta)

（动画2）beta的最小方差线性无偏估计为

beta_hat=(X’X)的逆乘以X’Y，记为L的逆乘以X’Y

（动画3）Y对于X的多元回归方程为：Y_hat=Xbeta_hat

（PPT6）接下来介绍回归方程显著性检验

（动画1）检验因变量与所有的自变量和之间是否存在一个显著的线性关系，也被称为总体的显著性检验。

（动画2）平方和ST依然分解为回归平方和SR+残差平方和SE

（动画3）现提出假设，H0:beta0=beta1=...=beta_m=0

H1：beta0,beta1,beta_m不全为0

（动画4）当H0为真时，则表示y不受x的影响，说明模型不成立；当H1真时，则x与y之间有一定的线性关系，说明模型可以成立。

（PPT7）（动画1）多元线性回归模型的显著性检验用F统计量或校正的判定系数Ra的平方。

（动画2）H0成立时，F统计量为：

F=SR比m除以SE比（n-m-1）服从第一自由度为m，第二自由度为n-m-1的F分布。

（动画3）对于给定的显著性水平alpha，找出分子自由度为m,分母自由度为n-m-1的F分布的临界值F_alpha，根据F的计算值与临界值的大小比较可以判定回归方程是否显著。

（PPT8）（动画1）判定系数检验

（动画2）校正的判定系数等于复相关系数R的平方-m(1-R的平方)比（n-m-1）。

（动画3）其中，R=根号下SR/ST

（PPT9）下面介绍回归系数的显著性检验

（动画1）回归系数的检验就是用来确定每一个单个的自变量xi对因变量y的影响是否显著。

（动画2）需要对每一个自变量都要单独进行检验。

（动画3）采用t检验。

（动画4）在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验

（PPT10）思路及步骤

（动画1）假设H0:beta_i=0,H1:beta_i不等于0

（动画2）检验统计量

t_i=beta_i_hat除以根号下c_ii*SR比（n-m-1）服从自由度为(n-m-1)的t分布

（动画3）计算给定显著性水平下的t分布临界值，根据t_i与临界值的大小确定回归系数是否显著。

（PPT11）最后，我们简要介绍第四部分——非线性回归

（PPT12）（动画1）非线性回归的特点是因变量y与x之间不是线性关系

（动画2）思想方法：可通过变量代换转换成线性关系

（动画3）注意要点：并非所有的非线性模型都可以化为线性模型

（动画4）几种常见的非线性模型及其变换：

双曲线方程；幂函数方程；指数曲线方程；对数曲线方程；S型曲线方程

具体形式如下：

（PPT13）第1种，双曲线方程：

（动画1）基本形式为：1/y=a+b/x

（动画2）线性化变化公式为X=1/x,Y=