复共线性及异方差线性模型中的参数估计与变量选择-统计学专业论文.docxVIP

重庆大 重庆大学硕士学位论文 目 录 III III 目 录 中文摘要 I 英文摘要II 1 绪 论1 1.1 模型简介 1 1.2 线性模型参数估计与变量选择的研究现状2 1.2.1 参数估计的研究现状 2 1.2.2 变量选择的研究现状 3 1.3 本文研究的主要内容及结构 4 2 预备知识 6 2.1 数学符号 6 2.2 矩阵论 6 2.3 概率论与数理统计 7 HYPERLINK \l _TOC_250003 3 复共线性下的几乎无偏 Liu 估计的性质 8 3.1 引言 8 3.2 模型和估计 8 HYPERLINK \l _TOC_250002 Fisherian 和 Mahalanobis 损失函数下的风险比较 9 HYPERLINK \l _TOC_250001 Fisherian 损失函数下的风险比较 9 HYPERLINK \l _TOC_250000 Mahalanobis 损失函数下的风险比较 10 3.4 数值模拟 11 4 异方差线性模型下的变量选择与参数估计 14 4.1 引言 14 4.2 估计的提出 16 4.3 估计的性质 17 4.4 数值模拟 25 5 结论与展望28 5.1 本文的主要结论 28 5.2 后续研究工作的展望 28 致 谢 30 参考文献 31 附 录 33 作者在攻读学位期间发表的论文33 重庆大 重庆大学硕士学位论文 1 绪论 PAGE PAGE 1 1 绪 论 线性回归模型在现代数理统计学方法中长期以来一直占据着核心地位。一方 面该模型能用于近似大量的度量数据结构，另一方面，线性模型的分支如协方差 分析、方差分析和线性混合模型等也在实际中有着广泛的应用。 其中，线性模型研究中的参数估计是一个非常重要的领域，从 19 世纪初开始 便有学者对它进行了一些研究探索，20 世纪后期以来更是有了深远的发展，大批 学者们对其进行了更加深入的探讨和细致的分析研究，使得参数估计的理论和方 法有了许多成熟的理论结果。这些研究有前人理论的创新，也有对已有的理论进 行改进和完善，这些都进一步完善了参数估计的理论研究，使其更具有理论与实 际意义。 变量选择同样也是线性模型中非常重要的一个领域。从最初的子集选择法开 始，对其的理论研究与实际计算不断深化与发展，使得变量选择的相关理论和方 法在各个方面都有了较为明显的发展和长足的进步。在不断的应用中，人们不断 地发现理论的欠缺，从而进行改进与探索，以适用于不断发展的实际需要。当前 研究较多的惩罚函数的方法，其研究起源于 Tibshirani 在 1996 提出的 Least Absolute Shrinkage and Selection Operator (LASSO)估计，这种方法运用压缩的方法能同时对 模型进行变量选择与参数估计。这带来了变量选择领域的蓬勃发展，之后一系列 的惩罚估计都有着良好的选择效果和估计性质。 在研究了一般线性模型之后，研究者们不得不面对实际应用中复杂多变的数 据，比较常见的是计量经济领域的复共线性的存在和误差异方差情况的不可避免。 虽说情况复杂，但是一般线性模型中的理论发展历程还是给了研究者们一定的思 路，这也正是线性模型研究的重要之所在。 1.1 模型简介 随着生活与生产的不断发展需要，不同事物之间的内在联系越来越引发人们 的关心关注和思考探索。在许多实际问题中，经常会遇到需要找出几个事物之间 的内部联系的需要。通常变量间的关系有两大类，一种是有着完全确定的关系， 另一种是有一定的关联，但是由于情况错综复杂变化万千无法精确确定，或由于 存在不可避免的误差等原因，无法通过确定的函数关系表示出来。通过长久的研 究探索和发展，便于后续的研究分析，研究者们总结出了一套相关的理论模型—— 线性回归模型，简称线性模型。线性模型的基本思想是通过建立一个线性的数学 模型来确定变量之间的线性依赖关系，同时用数值方法来表示这种确定的关系。 一般线性回归模型的形式为： y ??Xβ0 ??ε, ε ??N (0,?2 ?)  (1.1) 其中 y 是 n ?1的观测向量， X 是 n??p 设计矩阵， β0 是 p ?1 未知参数向量，协方差 矩阵 ??可以是正定的、半正定的或是单位矩阵，ε 是一组 n ?1独立的服从标准正态 分布的随机误差向量。在线性模型中，回归变量的选择和系数值的确定是研究者 们所关心的问题。 在实际应用中的数据总是有着许多不可控制的因素，因此需要另做研究。如