线性回归参数的有偏估计.docVIP

线性回归参数的有偏估计 PAGE  PAGE 30 北方民族大学 学士学位论文 论文题目线性回归参数的有偏估计 院(部)名 称: 信息与计算科学学院 学 生 姓 名: 赵 娟 专 业: 统 计 学 号: 指导教师姓名: 吴可法 教授 论文提交时间: 2008年5月26日 论文答辩时间: 2008年6月1日 学位授予时间: 北方民族大学教务处制 摘 要 在线性统计模型估计理论与实际应用中，回归参数的最小二乘估计占有重要的地位。但当设计阵X存在复共线性时，最小二乘估计存在着明显的缺陷，线性有偏估计则是改进最小二乘估计最直接的方法。统计学家提出了各种有偏估计，其中影响较大的有岭估计、Stein压缩估计、主成分估计等。本文系统的讨论了各种有???估计，主要是以下几方面： 在各种有偏估计中，岭估计的应用是最为广泛的。本文第3章综述了岭估计的性质，并从均方误差、Pitman准则、相对效率三个方面讨论了岭估计优于最小二乘估计的条件。 本文第4章提出了一种常用有偏估计类，用一个统一的表达式将岭估计、压缩估计等各种有偏估计概括起来， 讨论了其均方误差和均方残差的变化关系及其选择参数矩阵K和S的准则，并证明了在此准则下得到的估计量是最优的。 本文第5章提出了一种新的有偏估计类——对角线性有偏估计类，给出了其各种形式下对应的有偏估计，并从均方误差、Pitman准则、相对效率三个方面导出了对角线性有偏估计类优于最小二乘估计的条件。 本文第6章给出了有偏估计与最小二乘估计相对效率的一种新定义，并对各种有偏估计在相对效率意义下优于最小二乘估计的条件进行了理论推导。 关键词 均方误差，相对效率，Pitman准则，常用有偏估计，对角线性有偏估计 Abstract In the theoretical research and practical application of estimation of parameters in linear statistical models, the least-squares estimation (LSE) of regression parameters occupies an important position. But when the design array X has collinearity, the LSE shows a clear defect. Linear biased estimate is the most direct way in improving the LSE. Statisticians have presented a variety of biased estimates, in which the ones who have a greater impact are Ridge estimation, Stein estimation, the main principal components, etc. In this paper, the various systems of biased estimations are discussed, the mainly results are as follows: 1) In variety of biased estimations, Ridge estimation is the widest one in application. In chapter 3 of this paper, the properties of the Ridge estimation, and the conditions that Ridge estimation be better than the LSE is systematically discussed from the three points: mean square error, Pitman criteria, and the relative efficiency. 2) In chapter 4 of this paper, a commonly used type of biased estimate is presented, which sum up the Ridge esti