机器学习模型选择和正则化.pptVIP

机器学习之模型评估与模型选择 重庆大学余俊良  摘要 损失函数与风险函数 经验风险最小化和结构风险最小化 模型评估与模型选择 正则化与交叉验证  损失函数与风险函数 首先引入损失函数与风险函数的概念.损失函数度量模型一次预测的好坏 风险函数度量平均意义下模型预测的好坏 监督学习问题是在假设空间中选取模型∫作为决策函数,对于给定的输入 x,由f(X)给出相应的输出Y,这个输出的预测值f(X)与真实值Y可能一致也 可能不一致,用一个损失函数( loss function)或代价函数( cost function)来度量 预测错误的程度.损失函数是f(x)和的非负实值函数,记作L(Y,f(X  损失函数与风险函数 统计学习常用的损失函数有以下几种 (1)0-1损失函数(0-1 loss function) Lr,f(X) 1,y≠f(H o, Y=f(r (1.5) (2)平方损失函数( quadratic loss function) L(r, f(r))=(Y-f(n) (3)绝对损失函数( absolute loss function) L(r,(r)=r-f(X) (4)对数损失函数( logarithmic loss function)或对数似然损失函数(log likelihood loss function) L(r, P(rX)=-log P(Y X (1.8)  损失函数与风险函数 损失函数值越小,模型就越好.由于模型的输入、输出(X,刀)是随机变量,遵 循联合分布P(XY),所以损失函数的期望是 Rexp (f=EP[LOY,()]=L L(v,f())P(x,y)drdy (1.9 这是理论上模型∫(X)关于联合分布P(X,)的平均意义下的损失,称为风险函数 ( risk function)或期望损失( expected loss9) 学习的目标就是选择期望风险最小的模型.由于联合分布P(X是未知的, 尺O不能直接计算.实际上,如果知道联合分布P(X),可以从联合分布直 接求出条件概率分布P(|X),也就不需要学习了.正因为不知道联合概率分布 所以才需要进行学习.这样一来,一方面根据期望风险最小学习模型要用到联合 分布,另一方面联合分布又是未知的,所以监督学习就成为一个病态问题 (ill-formed problem  损失函数与风险函数 给定一个训练数据集 T=(x1,),(x2,y2)…,(x,y 模型∫(O)关于训练数据集的平均损失称为经验风险( empirical risk)或经验损失 ( empirical loss),记作R: f)= ∑ L(2,f(x) (1.10) 期望风险R(是模型关于联合分布的期望损失,经验风险R(是模型 关于训练样本集的平均损失.根据大数定律,当样本容量N趋于无穷时,经验风 险R=(O趋于期望风险R(·所以一个很自然的想法是用经验风险估计期望 风险,但是,由于现实中训练样本数目有限,甚至很小,所以用经验风险估计期 望风险常常并不理想,要对经验风险进行一定的矫正,这就关系到监督学习的两 个基本策略:经验风险最小化和结构风险最小化  经验风险最小化和结构风险最小化 在假设空间、损失函数以及训练数据集确定的情况下,经验风险函数式(1.10 就可以确定,经验风险最小化( empirical risk minimization,ERM)的策略认为 经验风险最小的模型是最优的模型.根据这一策略,按照经验风险最小化求最优 模型就是求解最优化问题 LOaf(rD) (1.1) 其中,F是假设空间 当样本容量足够大时,经验风险最小化能保证有很好的学习效果,在现实中 被广泛采用.比如,极大似然估计( maximum likelihood estimation)就是经验风 险最小化的一个例子,当模型是条件概率分布,损失函数是对数损失函数时,经 验风险最小化就等价于极大似然估计 但是,当样本容量很小时,经验风险最小化学习的效果就未必很好,会产生 后面将要叙述的“过拟合 over-fitting)”现象  经验风险最小化和结构风险最小化 结构风险最小化( structural risk minimization,SRM)是为了防止过拟合而提 出来的策略.结构风险最小化等价于正则化( regularization).结构风险在经验风 险上加上表示模型复杂度的正则化项( regularizer)或罚项( penalty term).在假 设空间、损失函数以及训练数据集确定的情况下,结构风险的定义是 nO)=1 L(y1,f(x)+A(0 (1.1