21线性回归模型及参数估计.docVIP

课　时　授　课　计　划 课次序号： 08 一、课　　题：§2.1 线性回归模型及参数估计 二、课　　型：新授课 三、目的要求：1.掌握线性回归模型建模理论与方法； 2.掌握参数估计的性质. 四、教学重点：线性回归模型的参数估计及性质. 教学难点：线性模型参数估计的求解过程. 五、教学方法及手段：传统教学与上机实验相结合． 六、参考资料：1.《实用统计方法》，梅长林，周家良编，科学出版社； 2.《SAS统计分析应用》，董大钧主编，电子工业出版社． 七、作业：2.2 八、授课记录： 授课日期 班　　次 九、授课效果分析： §2.1 线性回归模型及其参数估计 复习 1.数据的数据描述性分析：数字特征、数据的分布、多维数据的数字特征 2.1.1 一元线性回归模型及其参数估计 自然界变量关系 一般来说，身高越高，体重越重，但体重不完全依赖身高，还有其他未知的随机因素（遗传、环境）对体重有次要的影响，因而值分两部分． 一．一元线性回归模型及其参数估计 1．一元线性回归模型 定义 取 ——一元线性回归模型 这里——待定常数，称回归系数，—回归变量，—随机误差． 注意：为便于估计和检验假设，总设，，则． 2．模型分析 取一组不全相同的值，作独立试验次，得样本值 ——对随机变量观察结果 则有 ， 其中 相互独立． 问题：（1）如何用样本值求的估计值 取 作为的估计量——称为一元线性回归问题 ——回归方程，图形称为回归直线，——回归参数 （2）如何检验回归方程的可信度？ 二．参数估计及其性质 1.回归参数的最小二乘估计 选的估计值，使得取最小值． 为二元函数极值问题，由极值必要条件，令对的偏导数为零，可以推导出关于的二元联立一次方程组 —正规方程组 系数行列式 方程有唯一解，得的最小二乘估计 其中 -------样本均值 ------样本方差、协方差 回归方程． 2．随机误差的方差的估计 的拟合值， ——残差向量 残差平方和 可证 ，即 为的无偏估计． 说明：为便于计算，将分解如下： 从而的无偏估计为． 3．估计量的性质 （1）均为对应参数的无偏估计，从而 ，即为的无偏估计． （2） 从而 （3）如 三．回归方程的显著性检验 由回归方程求得的拟合值，问题：与是否存在这种关系？即回归方程是否有意义？需要对回归方程作显著性检验． 1. 总离差平方和分解 的观察值之所以有异差，是由两个原因引起的：一是取值不同，通过线性函数引起的值变化——回归差，二是其它未加考虑的因素产生的影响——随机误差．我们将的总变化量分解为两部分，通过比较两部分的大小，分析的线性函数能反映总变化的程度，以考察与之间的线性关系是否显著． ——总离差残差平方和（Total Sum of Squares） ——残差平方和（Error Sum of Squares） ——回归平方和（Regression Sum of squares） 注意：1）其中 2）SSR反映回归变量X引起的误差，其大小反映了X的重要性；SSE反映了未知因素、随机因素引起的误差．因此考虑 2. 复相关系数及检验 检验假设： 定义 ——复相关系数 为回归平方和占总和比例，是Y与相关系数绝对值的估计值．越大，Y与关系愈密切(差异主要受随机因素的偶然影响)，回归愈越显著． 引进统计量 给出显著性水平，则拒绝域为：． 检验值，，时，落入拒绝域，因此拒绝，认为与线性回归显著；否则线性关系不显著． 注意：SST自由度，SSR自由度，SSE自由度． 3. 预测及统计推断 一元线性回归模型 样本 系数的点预测和区间估计 点估计 的置信区间 因变量的点估计和区间估计 给出，的预测值 的置信区间 2.1.2多元线性回归模型及其参数估计 一．多元线性回归模型及其矩阵表示 1．多元回归模型 某因变量与个随机变量有关系 ——多元回归模型 其中：—因变量，—的确定函数关系，——随机误差项，——自变量，回归变量． 特别，取， ——多元线性回归模型 ——待定常数，回归系数． 注意：更一般的模型可化为线性回归模型： ． 2．矩阵表示 对进行次独立观测，得组数据 则有 ， 其中 相互独立． 采用矩阵记号 ---观测向量 ----- 设计矩阵 ----待估回归参数向量 ---随机误差向量 则线性回归模型改写为矩阵形式 说明：1） 本章假设各分量独立，且服从分布，即； 2）列满秩； 3）多元回归模型主要指矩阵形式，需注意其中的矩阵、向量用黑体表示，下面主要估计，进一步给出观测向量的估计向量． 二．参数估计及其性质 1.