ch回归分析及方差分析.docVIP

PAGE  PAGE 21 *第9章　回归分析及方差分析 9.1 回归分析的概念 客观世界中普遍存在着变量之间的关系，大致可以分为两类： 变量间的关系 这种非确定性关系大量存在．比如人的身高x大时一般地说其体重Y也倾向于大．但身高x相同的人其体重Y也不完全相同．又比如，气象中空气的湿度Y与温度x有关．温度不同，湿度也会不同．但即使在温度x相同的情况下，空气的湿度也不完全相同．这两个例子中变量x和Y的关系也是相关关系．研究变量间相关关系的统计分析方法称为回归分析． 以上的例子中，x通常称为自变量，Y通常称为因变量或响应变量．当自变量x的值确定之后，因变量Y的值还不能完全确定，把它看作随机变量．若x的值确定，对应的随机变量Y的值虽不能完全确定，但Y的数学期望应随之确定，它是x的函数，记作，称为Y关于x的回归函数． 自变量x与因变量Y之间的???系可描述为模型： ， (1) 其中是随机误差，满足． 模型(1)中只有一个自变量，基于这个模型的统计分析称为一元回归分析． 若是x的线性函数，即， 模型(1)可化为：， (2) 其中是常数项，称为回归系数． 模型(2)称为一元线性回归模型，基于(2)的统计分析称为一元线性回归分析． 回归函数是未知的．回归分析的任务就是，用所获得的关于x和Y的观察值估计，讨论有关的假设检验与区间估计问题，并利用对于的估计进行预报等． 为了确定的形式可根据专业知识或经验，也可通过画散点图获得帮助． 对于变量作n次观察，得到n对观察值． 将每对观察值 所对应的点在直角坐标系中描出，得到散点图．由于中包含了随机误差，因此其观察值在周围波动．点分布在曲线附近． 若散点图如图1所示，则可将取为x的线性函数； 若散点图如2所示，则将取为x的线性函数显然是不妥当的．这种情况将在后面详细讨论． 图1 散点图Ⅰ 图2 散点图Ⅱ 线性回归的应用 9.2 一元线性回归 本节考虑一元线性回归模型：， (1) 其中和都是未知参数．和是直线 的截距和斜率．还假定，． 称为误差方差，它也是未知参数．对于一元线性回归，估计的问题就转化为求和的估计问题．用适当的统计方法获得和的估计值和之后，对于给定的x就可用作为 的估计． 称为Y关于x的经验回归函数． 方程：， (2) 称为Y关于x的（经验）线性回归方程，或（经验）回归方程， 其图形称为（经验）回归直线． 在一元线性回归分析中主要解决三个问题： (i) 对未知参数、和作点估计，由此获得回归方程； (ii) 对回归系数作假设检验； (iii) 对于自变量x的给定值，对相应的因变量Y的取值作预测． 一、和的估计及其性质 1. 和的最小二乘估计 对于自变量x和因变量y的n对观察值（这里要求不全相同），由式(1)知： ， (3) 其中是对观察时的随机误差． 假设两两不相关且与(1)中的同分布，，． 把式(3)和关于的假设放在一起称为模型(3)． 图1 最小二乘原理示意图 图9.2.1 下面用最小二乘法求和的估计． 假设和的估计已经求出，记为和． 得到回归函数 在点的估计： ， 称 为回归值，也称为预测值．（实际上是 的估计）． 另一方面，因变量Y的观察值也已获得，见图1． 当然希望它们之间的偏差， 越小越好．和 的合理估计应使 达到最小． 记 ， (4) 使得 ， (5) 成立的和 称为和的最小二乘估计． 此法称为最小二乘法． 使用微分法求的最小值点． 可令 ， (6) 式(6)称为正规方程组． 其系数行列式为 ， 其中 ．上式中将简记为，以下相同．由于不全相同，故． 方程组(6)有唯一解： ． (7) 这里 ， (7) 的第二式来自(6)的第一式． 记，于是 ． 是和的非负二次函数，是的最小值点，是和 的最小二乘估计． 由此便得线性回归方程： ． (8) 将(7) 的第二式代入(8)得： ． (9) 即 ． 式(9)表明，回归直线通过观察值点的几何重心． 例1.设某化学过程的得率(Y)与该过程的温度( x)有关． 现作了10次测量，其数据如下表． 3843495460667177828820.420.922.523.024.224.326.226.628.028.9画出这些数据的散点图2．这些点都在一条直线附近，用模型(3)来描述温度x和得率Y之间的关系比较合适．，经计算 ， ， ， 图2 得率与温度的散点图 图9.2.2 ． 故 ， ． 得线性回归方程：． 2．和 的性质 定理9.2.1 对于模型(3)，和 的最小二乘