机器学习读书笔记.docVIP

机器学习读书笔记〔一〕

机器学习的根本概念和学习系统的设计

最近在看机器学习的书和视频，我的感觉是机器学习是很用的东西，而且是很多学科交叉形成的领域。最相关的几个领域要属人工智能、概率统计、计算复杂性理论、计算智能。

机器学习的定义

《机器学习》ByM.Mitchell第一章中和斯坦福机器学习公开课第一课都提到了一个这样定义：

对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序从经验E中学习。

并举了一个例子，西洋跳棋学习问题：

任务T：下西洋跳棋

性能标准P：比赛中击败对手的百分比

训练经验E：和自己进行对弈

这个例子很清楚的解释了上面的定义，后面会以这个例子来说明机器学习的根本设计方法。

设计学习系统

选择任务

根据上面的定义，我们就选择任务是学习下西洋跳棋。

选择性能标准

在世界锦标赛中的获胜百分比

训练经验选择

相比上面两个，这个选择要考虑的东西要麻烦得多，因为给学习器提供的训练经验对它的成败有重大的影响。

一个关键的选择准那么是训练经验必须要能对学习器的决策提供直接或间接的反应。

以下西洋跳棋为例子,

提供直接反应的训练样例，即各种棋盘状态和相应的正确走子。

提供间接反应的训练样例，很多过去对弈序列和最终结局。对于这种情况，存在着一个信用分配的问题，也就是考虑每一次走子对最终结果的奉献程度。这个问题很难解决，以后再来谈。(为什么？只要你下过棋，你就应该明白，就算一开始的走子是最正确的，后面下的很差一盘棋也会输掉，反之，一开始走得不是最正确的，但是也有可能反败为胜)

第二个重要的准那么是学习期多大程度上可以控制训练样例序列。

我的理解是获得训练样例的自动程度

还是以下西洋跳棋为例子,

1.训练样例全是“手工”获得的，即学习器需要的训练样例是人工选取的棋盘状态和该棋盘状态下的一次正确走子。

2.训练样例是“半自动”获得的，即学习器需要的训练样例是它本身自己选取的棋盘状态〔它对这些棋盘状态感到困惑〕，然后由人工指导它该如何正确走子。

3.训练样例是“全自动”获得的，学习器跟自己对弈来进行学习。这种情况下，又有两种情形：

(1)试验它还未考虑过的全新棋局；

(2)在它目前发现的最有效的路线的微小变化上对弈，来磨砺它的技能。

第三个重要的准那么是训练样例的分布能多好地表示实例分布，而最终系统的性能P是通过后者来衡量的。

一般而言，当训练样例的分布和将来的测试样例的分布相似时，学习具有最大的可信度。

比方，西洋跳棋学习中性能指标P是该系统在世界锦标赛上获胜的百分比。假设说世界锦标赛上的选手都是万里挑一的高手，如果你给的训练样例都是一些初学者下的棋局，那么可想而知，学习器最终会在世界锦标赛上败得很惨。

不幸的是，通常情况下学习的样例与最终学习系统被评估时使用的样例有一定的差异，比方世界级的西洋跳棋冠军可能不会有有兴趣和一个程序下棋。然而，目前许多机器学习理论都依赖于训练样例与测试样例分布一致这一假设，但在实践中这个假设经常是不成立的。

假设我们决定系统将通过和自己对弈来训练。这个好处是不需要人工干预，只要时间允许，可以让系统产生无限多的训练数据。

学习系统的具体设计步骤

上面我们确定了学习框架：

任务T：下西洋跳棋

性能标准P：比赛中击败对手的百分比

训练经验E：和自己进行对弈

现在，有三个具体的内容要确定：

(1)要学习的知识确实切类型

(2)对于这个目标知识的表示

(3)一种学习机制

选择目标函数

在机器学习中，要学习的知识确实切类型通常是一个函数，我们把它称为目标函数(TargetFunction)。

在学习西洋跳棋中，我们要给出一个函数，它对任何给定的器具能选出最好的走法，假设记这个函数为ChooseMove，那么它的形式如下：

ChooseMove:B-M

其中B是合法棋局集合中的某一棋盘状态，M是走子的方法。

这样，我们可以把提高任务T的性能P的问题简化为学习像ChooseMove这样某个特定的目标函数的问题。所以目标函数的选择是关键性的问题。

事实上，直接学习ChooseMove是非常困难的。所以一般情况下，我们把一个评估函数作为目标函数。令这个函数为V，并用

V：B-R

来表示把任何合法的棋局映射到某一个实数值(R表示实数集合)。我们让这个V给好的棋局赋予较高的评分。如果这个V被成功学习，那么系统就很容易找到当前棋局的最正确走法。方法是，

先产生每一个合法走子对应的所有后继棋局，然后用V来选取分值最高的后继棋局，从而选择最正确走子。

现在一个重要问题是，目标函数V的准确值是多少？

我们可以如下定义V(b)：

(1)如果b是一最终的胜局，V(b)=100

(2)如果b是一最终的败局，V(b)=–100

(3)如果b是以