第一讲 分类与回归问题第一讲 分类与回归问题.pdfVIP

第一讲 分类与回归问题 第一部分 分类问题 一、分类问题的描述 图 1 线性可分的两类问题 图2 线性不可分的两类问题 图3 线性可分的三类问题 图4 线性不可分的三类问题 分 类 问 题 ： 根 据 给 定 的 训 练 集 { } T (x ,y ), L,(x ,y ) 1 1 l l ， 其中 xi ∈Χ R n , y i ∈У {1, 2,L, m} , i 1,2, L, l ， 要求寻找Χ上的决策函数 f (x ) : Χ→У , 以便能用决策函数f (x) “较好地”推断任一模式 x y 相对应的 值。 从数学的角度看分类问题 已知：（1）函数的值域为有限个离散点 （2）函数在某些点上的函数值。 求解：寻找一个函数能较好地预测其他点上 的函数值 注： （1） 如何选择可选的函数类？ 丰富与简单之间的权衡 （2） 如何定义“较好地”？ 经验风险与置信风险的折中 f (x ) : Χ→У Χ （3） 是连续函数吗？定义域 如果 R n Z n У 不是 空间呢？比如 ；值域 取不同 的值会否影响解？比如У {1, 2, 4, L, 2m} f (x ) : Χ→У 的连续化方法（值得研究） 比如首先求一个从Χ(⊇Χ) 到У(⊇У) 的 连续函数g (x ) ,然后再对其离散化，得 到不连续的分类函数： f (x ) label (g (x )) 。 二、分类问题的类型 从类的多少角度：一类，二类，多类，可列无 穷类;其中一类、二类是最基本的问题，因为其 他可以通过它们来处理。 从类的线性可分角度：线性可分，线性不可分。 从类之间序关系的角度：有序分类，无序分类。 三、分类问题的求解方法 寻找每个类固有的特征：更适合于一类、多类 问题。如大部分的图像识别技术。 寻找类之间的差异：更适合于两类问题。如支 持向量机技术。 一点想法：从类的分布角度出发，可以考虑从概 率密度函数来选择分类函数，也可以考虑从势函 数和混沌吸引