改进最小二乘支持向量机及其应用-控制工程专业论文.docxVIP

万方数据 万方数据 独创性声明 本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其它人已经发表和撰写的研究成果，也不包含为获得华 东交通大学或其它教育机构的学位或证书所使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 本人签名___ 日期 关于论文使用授权的说明 本人完全了解华东交通大学有关保留、使用学位论文的规定，即：学 校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公布论 文的全部或部分内容，可以采用影印、缩印或其它复制手段保存论文。 必威体育官网网址的论文在解密后遵守此规定，本论文无必威体育官网网址内容。 学生本人签名 日期 校内导师签名 日期 校外导师签名 日期 摘要 摘要 改进最小二乘支持向量机及其应用 摘要 支持向量机(SVM)是以结构风险最小化为建模准则的机器学习方法，其追求的是在 有限样本信息情况下取得模型学习能力和模型复杂度的有效折衷。作为 SVM 的改进， 最小二乘支持向量机(LS-SVM)继承了 SVM 处理小样本、非线性和局部极小点等问题的 优势，但是 LS-SVM 的解缺失了稀疏性以及鲁棒性。另一方面 LS-SVM 模型的超参数 仍有待进一步优化。为此论文针对 LS-SVM 存在的上述不足，提出如下相应的改进措施： (1)为了提高 LS-SVM 的拟合精度和泛化能力，提出采用耦合模拟退火(CSA)算法优 化 LS-SVM 超参数。CSA 算法通过并行处理多个独立模拟退火(SA)寻优过程，促进优 化信息共享；然后通过自适应调整接受温度值，控制 LS-SVM 超参数的接受概率方差， 降低接受温度初始赋值对 CSA 算法敏感性；最后结合既有线轮轨现场检测数据，开展 了 CSA 优化 LS-SVM 的性能对比实验。结果表明优化的 LS-SVM 取得较好的预测效果。 (2)为了降低噪声数据对 LS-SVM 模型稳健性影响，采用迭代鲁棒最小二乘支持向 量机(IRLS-SVM)对现场数据进行建模和预报。首先增加权函数迭代次数以增强建模过 程鲁棒性；然后将具有全局有哪些信誉好的足球投注网站的 CSA 与局部优化的单纯形法(SM)相结合的方法用于 优化 IRLS-SVM 超参数，进而采用鲁棒交叉验证作为 CSA-SM 算法拟合目标函数，提 高模型超参数优化过程的鲁棒性；最后利用变速箱现场齿轮磨损数据进行数值试验，结 果表明所提出方法的有效性。 (3)针对 LS-SVM 缺失稀疏性的问题，论文相继提出两种稀疏模型： ①构建基于特征向量选择(FVS)的稀疏最小二乘支持向量机(SLS-SVM)模型。首先 采用 FVS 在特征空间建立特征向量子集，对训练样本进行稀疏线性重构；然后将稀疏 化的特征向量作为支持向量，从 而实现对 LS-SVM 稀疏化建模；最 后将所提出的 SLS-SVM 模型进行了数值模拟和弓网系统的仿真对比实验。结果表明 SLS-SVM 模型在 取得高预报精度的同时，实现支持向量的稀疏化，模型预报速度得到加快。 ②通过在 LS-SVM 目标函数中引入 L0-范数正则项稀疏思想，迭代实现支持向量的 稀疏化，并据此建立迭代稀疏最小二乘支持向量机(ISLS-SVM)。由于 ISLS-SVM 迭代稀 疏过程涉及额外的线性方程组。为了加快 ISLS-SVM 建模速度，提出首先基于快速留一 交叉验证减少稀疏模型初值设置过程计算量；接着经过一系列变换采用更加高效的 Chol 分解法求解降阶后的线性方程组。最后将所提出的改进 ISLS-SVM 模型应用于 UCI 标准 数据预测，结果表明改进稀疏模型的有效性。 关键词：最小二乘支持向量机，超参数，鲁棒，稀疏，预报 I Ab Abstract 万方数据 万方数据 APPLICATION OF IMPROVED LEAST SQUARES SUPPORT VECTOR MACHINE ABSTRACT Support vector machine (SVM) is a particular machine learning algorithm which is based on structural risk minimization principle. SVM aims to achieve a good trade-off between the learning ability and the complexity from finite samples. As a modified version of standard SVM, least squares support vector machine (LS-SVM) has shown goo