支持向量机引入后验概率的理论与方法研究.pdfVIP

支持向童机中引入后验概率的理论和方法研究 ‘ 张文生 王压 中国科学院自动化所，北京100080 幼an,_ew3s30@应acom or-vm囚1Cn,Zhi四,Qiamail.ia.ac.cn 摘耍 目前支持向!t机解决模式识别问鹿是广大学者研究的热点，样本的后验概率在模 式识别中至关重要，但是传统的支持向量机技术不提供后脸概串。本文针对这一问题进行了 三个方面的研究:1)在给出样本点后验概率的基础上，将大规模优化问题分解成最大似然 函数和最大分类边界两个小规模优化问题:2)给出了一种新的用后验概率修正最优分离超 平面的方法，并且分析了该新方法的合理性;3)用图像分类的三组实例说明本方法的有效 性。 e3T 支持ORit机，后验概卑，最优超平面，Sigmoid函数 Thestudyoftheoryandmethodintroducingposteriorprobabiliytinto vectormachines Zdtangwensheng WangIue Instituteofautomati,cAcademicofChineseScience,Beijing100080 AbstractItisheatpointthatthetechnoloygofsupportvectormachinesisusedtosolve problemsofpatternrecognition.Posteriorprobabiliytofsimplesisimportantinpatternrecognition.But Standardsupportvectormachinesdonotprovideposteriorprobabiliyt.Wediscussedseveralquestions baseduponposterior，曲曲ilityin触supportvectormachineasbelow:(1)decomposingnonlinear optimalproblemofalargetrainingsimplesetintotwononlinearoptimalofsmalltrainingset;(2) designingthealgorithmto~ traditionoptimalhyperplane,analyzingtherationaliytofthe algorithm;(3)showingtheresultsrfomtestingonthreeimagedatasetseffectively. KeywordsSVM,Posteriorprobabiliyt,optimalhyperplane,Sigmoidfunction 1引言 经过1960年至1995年的努力，以V.Vapnik为代表的一批学者终于建立了统计学习理 论1[11,Vapnik提出了结构风险最小化原理、特征空间内线性分类器设计方法和支持向量机 本文研究M到国家盆大蓦础研究973项目(N..1998030308),国家自然科学基金 (No和航空鉴础科学墓金 (N.资助.作者旅文生，1966年生，到教授，博士，主要研究领城为机器学习、神经网络、智能控刹等.王压，1948 年生，研究员。博士生导师，主要研究领坡为人工智能理论和方法、适应性与效据挖细、人工神经网络等等。 820 (supportvectormachines，简记:SVM)方法等理论和技术。目前，支持向量机方法已 经成为统计机器学习解决实际问题的热点，随着该方法的广泛应用，人们发现SVM方法也 存在一些不足之处。例如:在模式识别中，SVM方法研究样本点分类时，只考虑两个极端情 况，属于某一类的概率为1，或者不属于某一类的概率为1, 在模式识别中，后验概率对于分类器的设计是非常有用的。在文献[2]中，O.Duda和E. Hart指出后验概率可以作为很实用的模式分类模型。在文献3「]中，H.Bour