统计学习理论导论-2.pdfVIP

1.1 函数估计模型 第一章 用三个部分来描述机器学习的一般模型： (1) 产生器(Generator)，产生随机向量x ，它们是从固定但 机器学习问题及其函数估计表达 未知的概率分布函数F(x) 中独立抽取的。 (2) 训练器(Supervisor)，对每个输入向量x返回一个输出 值y ，产生输出的根据是同样固定但未知的条件分布函 数F(y|x) 。 在统计学习理论中，把学习问 (3) 学习机器(Learning Machine)，能够实现一定的函数集 题看作是利用有限数量的观测来寻 f (x ,α ), α ∈Λ Λ 找待求的依赖关系的问题。 其中 是参数集合。 Xuegong Zhang 1 Xuegong Zhang 2 Tsinghua University Tsinghua University 学习的问题就是： • The model of learning from examples is a 从给定的函数集f (x ,α ), α ∈Λ 中选择出能够最好地 model of searching for functional 逼近训练器响应的函数。 dependency. 这种选择是基于训练集的，训练集由根据联合分布 F (x , y ) F (x )F (y | x ) • The learning process is a process of 抽取出的l 个独立同分布（i.i.d. ）观测 choosing an appropriate function from a