Lasso Regression.pdfVIP

Lasso Regression 监督学习 @ author ： duanxxnj@163.com @ time : 2016-06-19 原文链接 在数据挖掘和机器学习算法的模型建立之初，为了尽量的减少因缺少重要变量而出现的模型偏差 问题，我们通常会尽可能的多的选择自变量。但是在实际建模的过程中，通常又需要寻找 对响应 变量具有解释能力的自变量子集，以提高模型的解释能力与预测精度，这个过程称为特征选择。 还是考虑《线性回归》中的一般线性回归模型 ，使用最小二乘估计(OLS)可以得到，模 型的参数为： 最小二乘估计虽然有不错的解析性，但是其在大多数情况下的数据分析能力是不够的，主要有两 个原因： 预测精度问题：最小二乘法虽然是无偏估计，但是他的方差在自变量存在多重共线性（变量间 线性相关）时会非常大，这个可以通过将某些系数压缩到0来改进预测精度，但这个是以一定 的有偏为代价来降低预测值的方差。 模型的可解释性：自变量个数很多的时候，我们总是希望能够确定一个较小的变量模型来表现 较好的结果 对于以上的问题，就有两种方法可以对最小二乘估计进行改进：子集选择和脊归回。子集选择过 程中，对变量要么保留，要么剔除，这很可能使得观测数据的一个微小变动就导致要选择一个新 的模型，使得模型变得不稳定，但由于模型的变量少了，使得模型的解释性得到了提高；脊回归 是一个连续的方法，它在不抛弃任何一个变量的情况下，缩小了回归系数，使得模型相对而言比 较的稳定，但这会使得模型的变量特别多，模型解释性差。 基于以上的问题，才有了现在要说的一种新的变量选择技术:Lasso（Least Absolute Shrinkage and Selection Operator）。这种方法使用模型系数的 范数来压缩模型的系数，使得一些系数 变小，甚至还是一些绝对值较小的系数直接变为0，这就使得这种方法同时具有了自己选择和脊 回归的优点。 Lasso回归模型，是一个用于估计稀疏参数的线性模型，特别适用于参数数目缩减。基于这个原 因，Lasso回归模型在压缩感知（compressed sensing）中应用的十分广泛。从数学上来 说，Lasso是在线性模型上加上了一个 正则项，其目标函数为： 也可以表示为： Lasso回归解法 Lasso 回归主要的解法有两种：坐标轴下降法（coordinate descent）和最小角回归法（ Least Angle Regression）。 坐标轴下降法 坐标下降优化方法是一种非梯度优化算法。为了找到一个函数的局部极小值，在每次迭代中可 以在当前点处沿一个坐标方向进行一维有哪些信誉好的足球投注网站。在整个过程中循环使用不同的坐标方向。一个周 期的一维有哪些信誉好的足球投注网站迭代过程相当于一个梯度迭代。 其实，gradient descent 方法是利用目标函数 的导数（梯度）来确定有哪些信誉好的足球投注网站方向的，而该梯度方向可能不与任何坐标轴平行。而coordinate descent方法是利用当前坐标系统进行有哪些信誉好的足球投注网站，不需要求目标函数的导数，只按照某一坐标方向 进行有哪些信誉好的足球投注网站最小值。坐标下降法在稀疏矩阵上的计算速度非常快，同时也是Lasso回归最快的解 法。 下面这份代码是在稀疏系数上使用Lasso回归，这里Lasso内置的是坐标下降法： 1. #!/usr/bin/python 2. # -*- coding: utf-8 -*- 3. 4. 5. 6. author ： duanxxnj@163.com 7. time : 2016-06-06_15-41 8. 9. Lasso 回归应用于稀疏信号 10. 11. 12. print(__doc__) 13. 14. import numpy as np 15. import matplotlib.pyplot as plt 16. import time 17. 18. from sklearn.linear_model import Lasso 19. from sklearn.metrics import r2_score 20. 21. # 用于产生稀疏数据 22. np.random.seed(int(time.time())) 23. # 生成系数数据，样本为50个，参数为200维 24. n_samples, n_features = 50, 200 25. # 基于高斯函数生成数据 26. X = np.rand