Spark-MLlib-SVM源码实现分析.docxVIP

Spark-MLlib-SVM源码实现分析　注：MLlib中的SVM只实现了线性二分类。没有非线性(核函数)，也没有多分类和回归。线性二分类的优化过程类似于逻辑回归。以下从三个方面进行分析：(一)SVM的目标函数、损失函数和最优化方法。(二)从MLlib实现的源码分析模型创建以及优化的过程。(三)参考ML中NaiveBayes的实现，探索SVM-Pipeline的实现思路。　一、SVM 公式　1.1 目标函数　目标函数： y = wx　(注：w是超平面的法向量)　1.2 损失函数　损失函数：HingeGradient　公式： avg( max(0, 1 - (2 y - 1) f_w(x))) )　(注：0 1分类label，在svm中要转为 -1，1 - (2y -1))　1.3 优化函数(随机梯度下降)　梯度： -(2y - 1) * x　正则项： L2 = (1/2) * w^2　梯度更新方法： weight = weight - lambda (gradient + regParam * weight)　二、MLlib源码实现分析?下图是SVMWithSGD的类图，SVMWithSGD继承了GeneralizdLinearAlgorithm。run()方法会调用optimitor：GradientDescent(gradient, updater)优化得到模型的权值参数weights，并调用createModel(weights)方法new一个SVMModel，返回SVMModel。　2.1 创建SVM模型入口　2.1.1 SVMWithSGD 伴生对象(单例对象)?org.apache.spark.mllib.classification.SVMWithSGD?线性SVM伴生对象是SVMWithSGD，是建立SVM分类模型的入口。它定义了训练SVM分类模型的train方法。　2.1.2 GeneralizdLinearAlgorithm的run执行模型训练?org.apache.spark.mllib.regression.GeneralizdLinearAlgorithm　2.2 SVMWithSGD 类设置损失函数-最优化方法?org.apache.spark.mllib.classification.SVMWithSGD?分别创建 梯度下降方法HingeGradient 和 L2正则化权重更新方法SquaredL2Updater，两者封装在GradientDescent中，作为优化器optimizer。　2.2.1 HingeGradient?org.apache.spark.mllib.optimization.HingeGradient?损失函数：max(0, 1 - (2 y - 1) f_w(x)))?梯度：-(2y - 1) * x　2.2.2 SquaredL2Updater?org.apache.spark.mllib.optimization.SquaredL2Updater?梯度更新方法： weight = weight - lambda (gradient + regParam * weight)　2.3 优化过程的入口：GradientDescent　org.apache.spark.mllib.optimization.GradientDescent　迭代优化的过程如下：　while( 未收敛 并且 小于迭代次数 ) {?计算本次迭代抽样样本的梯度和，以及损失和(调用HingeGradient)?记录本次迭代的平均误差(loss)?更新权重(调用SquaredL2Updater)?判断是否收敛　}　三、Pipeline实现探索?Spark MLlib的Pipeline，是指将多个机器学习的算法串联到一个工作链中，依次执行各种算法;其出现旨在向用户提供基于 DataFrame 之上的更加高层次的 API 库，以便构建复杂的机器学习工作流式应用。?一个 Pipeline 在结构上会包含一个或多个 PipelineStage，每一个 PipelineStage 都会完成一个任务，如数据集处理转化，模型训练，参数设置或数据预测等。　3.1 参考NaiveBayes　3.1.1 R-pkg-R-mllib.R?mllib.R中将NaiveBayesWrapper封装为sparkR中的naiveBayes方法　3.1.2 NaiveBayesWrapper生成一个Pipeline?org.apache.spark.ml.r.NaiveBayesWrapper　3.1.3 NaiveBayes?org.apache.spark.ml.classification.NaiveBayes?将dataset