_支持向量机的收敛性.pdfVIP

第 27卷第 4期 湖北大学学报 (自然科学版 ) V o.l 27 N o. 4 2005年 12月 Journal o fH ube iU niversity( N atural Science) D ec. , 2005 文章编号: 1000- 2375( 2005) 04- 0321- 05 M- 支持向量机的收敛性 蔡 佳, 陈 洪 (湖北大学 数学与计算机科学学院, 湖北 武汉 430062) 摘 要: 支持向量机是在统计学习理论必威体育精装版发展的基 础上产生的 一个崭新的 学习系统. 支持向 量机算法 通过支持向量控制学习机器的容 量. 为了控制支持向量的数目, Sch?lkopf等提出 了 M- 支持 向量机. 研究了 M - 支持向量机的若干性 质, 并给出了相应算法的收敛性. 关键词: M- 支持向量机 ; 错分误差; 再生核希尔伯特空间 中图分类号: TP181 文献标志码: A 1 引 言 统计学习理论是研究小样本情形统计学习规律的理论, 其核心思想是通过控制学习机器的容量实 现对推广能力的控制. 这一理论导致了支持向量机的产生. 支持向量机是一类新的学习算法. 自 V apn ik 提出支持向量机以来 (见文献 [ 1] ), 支持向量机在理论上和实际应用中, 例如文本分类, 手写字符识别, 生物序列分析等领域得到了快速发展, 表现出极好性能. Cucker和 Sm a le运用覆盖数估计了样本误差 (见文献 [ 2, 3] ), Zhang以及 Zhou运用推广误差界定了错分误差 (见文献 [ 4, 5] ). 这些都极大丰富了支 持向量机的理论. 然而支持向量机学习算法的严格数学分析还有待进一步探讨与完善, 且需要构造针对 具体应用问题的支持向量机算法. 现有的支持向量机算法需要计算所有支持向量的数目. 支持向量的数 目越少, 学习机器的推广能力越强. 实践中人们试图控制支持向量的数目, Sch?lkopf等提出了 M- 支持 向量机算法, 它可以不受先验精确水平的限制, 参数 M控制支持向量的个数和边界错误数, 同时消除其 他自由参数的影响 ( 见文献 [ 6 ~ 8] ). 本 文研究 了再生 核希尔 伯特空 间 ( R eproducing Kernel H ilbert Space, 简写作 RKH S)中 M-支持向量机的若干性质, 并给出了相应算法的收敛性. 设 (X, d ) 为紧度量空间, Y = { - 1, 1}. 令 Z = X @ Y, 函数 f: X y Y称为一个分类函数 (分类器 ). 设 L为 Z 上的概率分布且 L = L L( y | x ), 其中 L 为 L的边际分布, L( y | x ) 为条件概率分布. 分类器 X X f: X y Y的错分误差定义为事件 f (X ) X Y的概率, 即 R (f ): = Prob{ f(X ) X Y} = P ( Y X f ( x ) | x ) dL ( 1. 1) XQ X 若定义 L的回归函数为