机器学习02-40.pptVIP

第2章 概念学习和一般到特殊序 简介 概念学习任务 作为有哪些信誉好的足球投注网站的概念学习 FIND-S：寻找极大特殊假设 变型空间和侯选消除算法 关于变型空间和侯选消除的说明 归纳偏置 小结和补充读物 第2章 概念学习和一般到特殊序 从特殊的训练样例中归纳出一般函数是机器学习的中心问题。本章介绍概念学习：给定某一类别的若干正例和反例，从中获得该类别的一般定义。概念学习也可以看作是一个有哪些信誉好的足球投注网站问题的过程，它在预定义的假设空间中有哪些信誉好的足球投注网站假设，使其与训练样例有最佳的拟合度。 多数情形下，为了高效的有哪些信誉好的足球投注网站，可以利用假设空间中一种自然形成的结构——即一般到特殊偏序结构。 本章展示了几种概念学习算法，并讨论了这些算法能收敛到正确假设的条件。 这里还分析了归纳学习的本质以及任意程序能从训练数据中泛化的理由。 2.1 简介 许多机器学习问题涉及到从特殊训练样例中得到一般概念。比如人们不断学习的一些一般概念和类别包括：鸟类、汽车和勤奋的学习等。每个概念可被看作一个对象或事件集合，它是从更大的集合中选取的子集（如从动物中选取鸟类），或者是在这个较大集合中定义的布尔函数（如在动物集合中定义的函数，它对鸟类产生true并对其他动物产生false)。 给定一样例集合以及某个样例是否属于某一概念的标注，怎样推断出该概念的一般定义。这一问题被称为概念学习（concept learning），或称从样例中逼近布尔函数。 定义：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。 2.2 概念学习任务 考虑一个概念学习的例子。本例的目标概念是“Aldo 进行水上运动的日子”。表2-1描述了一系列日子的样例，每个样例表示为属性的集合。属性EnjoySport表示这一天Aldo是否乐于进行水上运动。 这个任务的目的是基于某天的各属性，以预测出该天EnjoySport的值。 2.2 概念学习任务 采取什么样的形式表示假设呢？考虑实例的各属性约束的合取式。可令每个假设为6个约束的向量，这些约束指定了属性Sky, Airtemp, Humidity, Wind, Water, Forecast的值。每个属性可取值为： ● 由“？”表示任意本属性可接受的值 ● 明确指定的属性值（如Warm） ● 由“Φ”表示不接受任何值 如果某些实例x满足假设h的所有约束，那么h将x分类为正例(h(x)=1)。比如，为判定Aldo只在寒冷的潮湿的日子里进行水上运动（并与其他属性无关），这样的假设可表示为： ?, Cold, High, ?, ?, ? EnjoySport这个概念学习任务需要学习的是使EnjoySport=yes的日子。并将其表示为属性约束的合取式。一般说来，任何概念学习任务能被描述为：实例的集合、实例集合上的目标函数、候选假设的集合以及训练样例的集合。 2.2 .1 术语定义 概念定义在一个实例（instance）集合之上，这个实例集合为X。在本例中，X是所有可能的日子，每个日子由六个属性表示。 待学习的概念或函数称为目标概念（target concept）。记作c。一般来说c是定义在实例集X上的任意布尔函数，即c: X-{0,1}。在这个例子中，目标概念对应于属性EnjoySport的值（当EnjoySport=Yes时c(x)=1，当EnjoySport=No时，c(x)=0)。 在学习目标概念时，必须提供一套训练样例（training examples）,每个样例为X中的一个实例以及它的目标概念值c(x)。对于c(x)=1的实例被称为正实例（positive examples），或成为目标概念的成员。对于c(x)=0的实例称为反例（negative examples），或称为非目标概念成员。 用序偶x, c(x)来描述训练样例，表示其包含了实例x和目标概念值c(x)。符号D用来表示训练样例的集合 2.2 .1 术语定义 给定目标概念c的训练样例集，学习器面临的问题就是假设或估计c。使用符号H来表示所有可能假设（all possible hypotheses）的集合，这个集合才是为确定目标概念所考虑的范围。通常H因设计者所选择的假设表示而定。H中的每个假设h表示X上定义的布尔函数，即：h: X-{0,1}。机器学习的目标就是寻找一个假设h，使对于所有x，h(x)=c(x)。 2.2.2 归纳学习假设 机器学习的任务是在整个实例集合X上确定与目标概念c相同的假设h，然而我们对于c仅有的信息只是它在训练样例上的值。因此归纳学习算法最多只能保证输出的假设能与训练样例相拟合。 如果没有更多的信息，只能假定，对于未见实例最好的假设就是与训练数据最佳拟合的假设。 归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能