使用优化svr模型进行组效研究.pptVIP

使用优化 SVR 模型进行组效研究 周培培 一、课题研究背景和理论基础 1. 支持向量机的提出 人的智 慧 机器 学习 支持向 量机 一、课题研究背景和理论基础 ? 20 世纪 60 年代 V. N. Vapnik 等人开始 究支持向量机。 ? 随着机器学习理论不断发展和成熟， 同时由于神经网络等机器学习模型 的研究进展遇到阻碍， 20 世纪 90 年 代，支持向量机的研究取得了突破 性进展。 ? 目前，支持向量机算法被认为是针 对小样本统计估计和预测学习的最 佳理论。 优点： 适用范围广、鲁棒性强、操作简单 …… 2. 支持向量机的发展 一、课题研究背景和理论基础 支持向量分类机 SVC （ support vector classification ） 支持向量回归机 SVR （ support vector regression ） 支持向量机 定量分析 定性分析 3. 支持向量机的分类 ε - SVR, ν -SVR 一、课题研究背景和理论基础 低维空间 向高维空 间映射 核函数 寻求最优 超平面 4. 支持向量机的理论基础 。 线性函数： ?? ?? , ?? ′ = ?? ? ?? ′ 多项式函数： ?? ?? , ?? ′ = ( ?? ? ?? ? ?? ′ + ?? ) ?? 径向基函数（ RBF ）： ?? ?? , ?? ′ = ??????? ( ??? ? ?? ? ?? ′ ?? ) 一、课题研究背景和理论基础 参数的优化至关重要： ? 基于梯度下降的参数选择方法、 ? 基于蚁群算法的参数选择方法、 ? 基于网格的参数优化方法、 ? 基于粒子群优化算法的参数选择方法、 ? 基于遗传算法的参数优化方法、 ? 基于基因表达式编程的参数优化方法。 ? …… 粒子群优化算法 (Particle Swarm Optimization ， PSO) 5. 支持向量机的参数优化 一、课题研究背景和理论基础 ? PSO 源于对鸟群捕食行为的研究： 它是一种通过群体中粒子之间的合作 与竞争产生的群体智能指导优化有哪些信誉好的足球投注网站方法。 在 PSO 算法中，首先系统初始化为一组 随机解，在迭代中搜寻最优值，在解空间 中追随最优的粒子。每个粒子通过迭代过 程中自身的最优值和群体的最优值来不断 的修正自己的前进速度和方向，从而形成 群体寻优的正反馈机制。 5.PSO 算法介绍 一、课题研究背景和理论基础 计算粒子适应度值 输入处理后数据 开始 设置粒子和 速度初始值 寻找个体机制和群 体极值 N 满足结束条件 Y 个体极值和群体极值更 新 更新速度和位置 计算粒子适应度值 得到优化参数 结束 二、模型构建和算法实现 1. 开发平台 二、模型构建和算法实现 2. 建模步骤 参数寻优、模型建立、 结果预测、绘制图形、 保存数据、存储图形。 二、模型构建和算法实现 (1).Libsvm 编译 在正式的模型设计和运行前，应当对 libsvm 进 行编译。 Attention: 安装时 , 把 libsvm 作为当前的工作目录 , 在后面使用时并将其加为工作目录 (setpath … ) 。 添加至搜 索目录 搜素编译 环境 选择 VC++ 设置当前 文件夹 编译 ? 在进行建模之前，对训练集和测试集进行归 一化处理。本课题中采用的方法是： ? 经处理后，原始数据被规整到 [0,1] 之间，便于以后的建模。 二、模型构建和算法实现 (2). 数据预处理 x → x ‘ = x ? x min x max ? x min 程序代码如下： Q = csvread(filename.csv); [m,n]=size(Q); maxy=max(Q(:,n)); miny=min(Q(:,n)); for i = 1 : n temp = Q(:, i); temp = (temp-min(temp)) /(max(temp)-min(temp)); Q_scale(:, i) = temp; end ? 使用交叉验证（ Cross Validation ）的思想，采 用其中最简单的 Hold-Out 方法把输入的数据 随机分为两部分，一部分为作为训练集（约 占 70% ），一部分作为测试集（约占 30% ）。 此种方法简单方便。 二、模型构建和算法实现 (3). 挑选训练集和测试集 程序代码如下： [train,test] = crossvalind(HoldOut,m,0.3); train_x = P(train,:); train_y = T(train,:); test_x = P(test,:); test_y = T(test,:); ? 此程序调用 libsv