多重共线性论文：高维多重共线性数据的变量选择问题.docVIP

多重共线性论文：高维多重共线性数据的变量选择问题 【中文摘要】变量降维问题一直在统计研究学习以及实际应用领域起到至关重要的作用,对于存在多重共线性问题的数据,一般的最小二乘方法基本失效。本文介绍了一般的共线性变量选择方法包括惩罚的似然方法,如岭估计,桥估计和一些降维方法,如主成分回归,偏最小二乘回归以及高维数据降维方法Elastic Net方法。本文从新的角度来解释岭回归的惩罚作用,借助于这个方法我们为Elastic Net方法l2惩罚部分增加了权重,本文也提供了两种选择权重的方法,在保证了变量选择的有效性下,通过对实际数据以及模型的模拟验证了其有效地减小了预测误差。 【英文摘要】Variables selection plays a pivotal role in the contemporary statistical learn-ing and practical backgrounds.For collinearity, ordinary least square regression tends to be inefficient.Some dimension reduction methods are introduced,such as penalized likelihood ridge estimator,bridge estimator,principal component re-gression,partial least square regression and high-dimensional variables selection method elastic net method.By giving a new explaination on ridge penalty,we add the weight to l2 penalty of elastic net method and two kinds of weight selection methods are proposed.The real data performance and numerical stimulations in-dicate that mean prediction error on the weighted elastic net can be improved. 【关键词】多重共线性 岭估计 主成分回归 权重选择 Elastic Net 【英文关键词】collinearity ridge regression principal component regression weight selction Elastic Net 【目录】高维多重共线性数据的变量选择问题 摘要 8-9 Abstract 9 1 引言 10-15 1.1 变量选择方法的历史回顾 10 1.2 高维变量选择方法的回顾 10-13 1.3 多重共线性问题以及危害 13-14 1.4 文章的结构 14-15 2 一般共线性的变量选择方法 15-22 2.1 岭估计 15-18 2.1.1 岭估计的引入 15 2.1.2 岭估计的新角度解释 15-17 2.1.3 岭估计与贝叶斯方法的联系 17 2.1.4 岭估计变量选择的方法 17-18 2.2 主成分回归与偏最小二乘方法 18-20 2.2.1 主成分回归的提出与计算 18-19 2.2.2 偏最小二乘方法 19-20 2.3 Bridge Estimator 20-22 2.3.1 Bridge Estimator的提出 20 2.3.2 参数选择方法 20-21 2.3.3 Bridge Estimator与贝叶斯方法的联系 21-22 3 高维共线性数据参数估计以及变量选择方法 22-29 3.1 Elastic Net定义与解 22-23 3.2 与lasso的等价性 23-24 3.3 组效应 24-25 3.4 处理共线性问题 25-26 3.5 与贝叶斯方法的联系 26-27 3.6 适应性的elastic net方法及其大样本性质 27-29 4 实证分析与数值模拟 29-35 4.1 实证分析-前列腺癌样本 29-32 4.2 数值模拟 32-35 参考文献 35-38 致谢 38-39 学位论文评阅及答辩情况表 39