线性模型的预测.pptVIP

回归模型解析表达式 回归模型的矩阵表示 最小二乘法参数估计 转化为求k+1元方程组 最小二乘法矩阵表示 最小二乘法矩阵推导 样本容量问题 模型依赖于实际样本，获取样本需要成本，试图通过样本容量的确定减轻收集数据的困难。 最小样本容量： n≥k+1 说明： (X`X)-1存在?| X`X | 0 ? X`X 为k+1阶的满秩阵 R(AB) ≤ min(R(A),R(B)) R(X) ≥ k+1， 因此，必须有n≥k+1 一般经验认为 n ≥ 30或者n ≥ 3(k+1)才能满足模型估计的基本要求 n ≥ 3(k+1)时，t分布才稳定，检验才较为有效 例：下表给出了轻型柴油动力卡车一氧化二氮排放量与温度、湿度压力的关系。 一氧化二氮,y 温度，x1 湿度，x2 压力，x3 一氧化二氮,y 温度，x1 湿度，x2 压力，x3 0.90 72.40 76.30 29.18 1.07 23.20 76.80 29.38 0.91 41.60 70.30 29.35 0.94 47.40 86.60 29.35 0.96 34.30 77.10 29.24 1.10 31.50 76.90 29.48 0.89 35.10 66.80 29.27 1.10 10.60 86.30 29.56 1.00 10.70 79.00 29.78 1.10 11.20 86.00 29.48 1.10 12.90 67.40 29.39 0.91 73.30 76.30 29.40 1.15 8.30 66.80 29.69 0.87 75.40 77.90 29.28 1.03 20.10 76.90 29.48 0.78 96.60 78.70 29.29 0.77 72.20 77.70 29.09 0.82 107.40 86.80 29.03 1.07 24.00 67.70 29.60 0.95 54.90 70.90 29.37 用此多元线性回归模型拟合所给数据，并估计出在湿度为50%，温度为76 ℃，大气压为29.30时，一氧化二氮的排出量。 问题：求轻型柴油动力卡车一氧化二氮排放量与温度、湿度压力的关系。 求解线性方程组得到唯一的解 解：多元回归模型为 所以，在湿度为50%，温度为76 ℃，大气压为29.30时，一氧化二氮的排出量为： 多项式回归 使用多项式方程 多项式模型可以看作是一般多元线性回归的一种特殊形式，其中： 拟合n组观测数据(xi, yi), I =1,2,…,n，使得 这里r为多项式的阶，观测数据的个数n至少为r+1 例：表中给出制造饮料时，温度、杀菌时间与对应杂质的含量，采用如下形式的多项式模型拟合回归曲线。 解：设 杀菌时间 　 温度x1(℃) x2(min) 75 100 125 15 14.05 10.55 7.55 17.5 14.93 9.48 6.59 20 16.56 13.63 9.23 22.5 15.85 11.75 8.78 25 22.41 18.55 15.93 27.5 21.66 17.98 16.44 可得： 注：多项式模型的选择属于响应曲面方法：过程与使用实验设计的乘积最优化 回归系数的显著性检验 　 平方和 自由度 均方差 回归 SSR k SSR/k 残差 SSE n-k-1 SSE/n-k-1 总离差 SST 　 　 检验的目的：检验Y与解释变量x1，x2，……xk之间的线性关系是否显著。 原假设：H0： bi=0 (i=1，2，……k) 备择假设：H1：bi≠0 (i=1，2，……k) 1. 提出假设 2. 构造并计算统计量 3. 查表得 接受H0 检验 法则 拒绝H0 4. 计算并检验 多元线性回归的预测 多元线性回归进一步： 《理工科概率统计》 《使用多元统计分析》 Overfitting（过拟合问题） 图1、2拟合不足 4过拟合 Regularization（正规化） 最小化正规化函数，求参数。 概率统计与随机过程 宋 晖 – 2013年秋 第四章 线性回归和显著性分析 一元线性回归模型 参数估计 显著性检验 预测 多元线性回归模型 矩阵表示 参数估计 线性回归模型 问题所涉及的变量集中，变量之间存在某些固有的联系，回归分析的目标就是找到并用函数表示它们之间的关系。 例：产出（Y）往往受各种投入要素——资本（x1）、劳动力（x2） 、技术（x3）等的影响 销售额（Y）往往受价格（