新版数据挖掘第9章--分类：高级方法.pdfVIP

第九章 分类：高级方法 第九章 分类：高级方法 • 主要内容： • 用后向传播分类 • 使用频繁模式分类 • 惰性学习法（或从近邻学习） 用后向传播分类 • 多层前馈神经网络 • 多层前馈神经网络由一个输入层、一个或多个隐 藏层和一个输出层组成。 输入层 隐藏层 输出层 (k 1) (k ) ˆ(k ) w w  (y  y )x j j i i ij W ij 输入单元x 一个多层前馈神经网络 用后向传播分类 • 一个多层神经网络如何工作？  网络的输入对应于对每个训练元组的观测属性  输入同时提供给构成输入层  这些输入通过输入层，然后加权同时地提供给隐藏层的“类神经元的”第二层  隐藏层的数量是任意的，尽管实践中通常只用一层  最后一个隐藏层的权重输出作为构成输出层的单元的输入。输出层发布给定元组的网 络预测  网络是前馈的，因为其权重都不回送到输入单元，或前一层的输出单元  从统计学角度来讲，网络进行非线性回归。给定足够多的隐藏单元和足够的训练样本， 多层前馈神经网络可以逼近任意函数 用后向传播分类 • 定义网络拓扑 • 确定网路拓扑结构：说明输入层的单元数、隐藏层数（如 果多一层）、每个隐藏层的单元数和输出层的单元数。 • 规范化输入测量值：对输入值规范化，使其落在0.0与1.0 之间。离散值属性可以重新编码，使得每个值域有一个输 入单元。 • 每个输入单元都初始化为0 。 • 一个输出单元可以用来表示两个类（其中值1代表一个类， 而值0代表另一个类）。如果多于两个类，则每个类使用 一个输出单元。 • 对于“最好的”隐藏层单元数，没有明确的规则确定。一 旦网络经过训练，并且其准确率不能被接受，则通常使用 不同的网络拓扑或使用不同的初始权重集，重复训练过程。 用后向传播分类 • 后向传播  后向传播通过迭代地处理训练元组数据集，把每个元组的网络预测与实际已 知的目标值相比较学习  对于每个训练样本，修改权重是的网络预测和实际目标值之间的均方误差最 小  这种修改“后向”进行，即由输出层，经由每个隐藏层，到第一个隐藏层 （因此称作后向传播）  步骤  网络的权重被初始化为小随机数，偏倚也初始化为小随机数  向前传播输入（应用激活函数）  向后传播误差(通过更新权重和偏倚)  终止条件 (当错误非常小时等等） 用后向传播分类 • 一个隐藏或输出单元 偏倚 x0 w0 θj x1 w1  f 输出 xn wn 例如 n y sign(w x   ) i i k 输入 权重 加权和 激活函数 i 0  一个隐藏或输出单元j是来自上一层的输出。这些与对应的权重相乘，以形成加权 和。加权和加到与单元j相关