广义线性模型组lasso 路径算法 - 中国科学.pdfVIP

中国科学: 数学 2015 年 第45 卷 第10 期: 1725 1738 广义线性模型组 路径算法 ∗ 马景义 张辛连 苏治 刘怡文 中央财经大学统计与数学学院, 北京 100081 E-mail: jingyima@163.com, coral90@163.com, suzhi1218@163.com, finger seven@ 收稿日期: 2013-06-23; 接受日期: 2014-06-26; * 通信作者 国家自然科学基金 (批准号: 、北京高等学校青年英才计划、中央财经大学青年科研创新团队、中央财经大学学科建设基 金资助项目 ˆ 摘要 广义线性模型组 LASSO (least absolute shrinkage and selection operator) 路径 (λ) 的计算有 ˆ 两项核心内容: 选择路径参数λ 的取值; 计算组LASSO 估计, 即给定λ 值的 (λ). 目前, 在广义线性 模型组LASSO 路径的计算中, 使用格点法选择λ 值, 基于广义线性模型似然函数一阶Taylor 近似的 坐标下降算法则常用于计算组LASSO 估计. 本文给出的广义线性模型组LASSO 路径算法由两个子 算法组成: 第一个子算法的目的是选出使得活跃集恰好改变的λ 值; 第二个子算法是计算组LASSO 估计的二阶近似坐标下降算法. 模拟和实际数据分析均表明, 第一个子算法能高效地发现使得活跃集 恰好改变的λ 值, 相比基于广义线性模型似然函数一阶Taylor 近似的坐标下降算法, 本文的二阶近似 算法有较明显的速度优势. 关键词 组LASSO 广义线性模型 正则化路径 坐标下降 二阶近似 主题分类 62J07 引言 在有监督学习中, 预测精度通常是模型优劣的评判准则, 基于此, 产生了大量的现代建模算法, 以 岭回归为代表的正则化方法, 试图通过收缩回归系数、平衡模型预测方差的减小和预测偏差的增加, 进而提高最终模型的预测精度; 在一些应用问题里, 揭示自变量集 对因变量y 的解释作用也是建模 的重点, 此时, “节俭” 就成为模型选择的另一重要依据. Tibshirani 的LASSO 方法除了能够收缩模 型系数, 还具有变量选择的作用, 是最近20 年里统计学习领域的研究热点之一. 普通回归中, Yuan 和 Lin 把LASSO 推广为组LASSO (group LASSO), 在变量选择时, 能够保持变量的组结构; Meier 等 人 将组LASSO 拓展至logistic 回归. 考虑到变量个数p 大于样本量n 时LASSO 最多能选出n 个 变量, 以及自变量存在组效应(group effect) 时不能正确选择变量等问题, Zou 和Hastie 给出了综合 LASSO 和岭回归优势的 elastic net 方法; 在大样本下, LASSO 并不满足 oracle 性质, 即变量选择的 相合性和模型系数估计的一致性, Zou 提出了满足oracle 性质的自适应 LASSO; 进一步, Wang 和 Leng 将自适应LASSO 推广到了具有组结构的场合, 并证明了自适应组LASSO 也具有oracle 性质. 上述方法中, 首要的工作是计算正则化路径 (regularization path) ˆ (λ) = arg min Γ( ; λ) = arg min(L() + λT ()), (1.1) 英文引用格式 马景义等: 广义线性模型组 LASSO 路径算法 其中 L() 为损失函数, 衡量在样本上,