基于自适应随机梯度下降方法的非平衡数据分类-计算机科学.PDFVIP

第 卷 第 期 计 算 机 科 学 ４５ 　 ６A Vol．４５No．６A 年 月 ２０１８ ６ COMPUTER SCIENCE June２０１８ 基于自适应随机梯度下降方法的非平衡数据分类 , １ １２ 陶秉墨 鲁淑霞 　 (河北大学数学与信息科学学院 河北 保定 ) 　 ０７１００２ ２ (河北省机器学习与计算智能重点实验室 河北 保定 ) 　 　０７１００２ 　 , , 摘 要 对于不平衡数据分类问题 传统的随机梯度下降方法在求解一般的支持向量机问题时会产生一定的偏差 导 　 　 . , , 致效果较差 自适应随机梯度下降算法定义了一个分布 在选择样例进行迭代更新时 其依据分布 而非依据均匀 p p , . , , 分布来选择样例 并且在优化问题中使用光滑绞链损失函数 对于不平衡的训练集 依据均匀分布选择样例时 数据 , , . 的不平衡比率越大 多数类中的样例被选择的次数就越多 从而导致结果偏向少数类 分布 在很大程度上解决了这 p . , , 个问题 普通的随机梯度下降算法没有明确的停机准则 这导致何时停机成为一个很重要的问题 尤其是在大型数据 . , , 集上进行训练时 以训练集或训练集的子集中的分类准确率为标准来设定停机准则 如果参数设定恰当 算法几乎可 , . 以在迭代的早期就停止 这种现象在大中型数据集上表现得尤为突出 在一些不平衡数据集上的实验证明了所提算 法的有效性. , , , , 关键词 随机梯度下降 非均匀分布 停机准则 支持向量机 损失函数 　 中图法分类号　TP１８１　　　文献标识码　A 　 AdativeStochasticGradientDescentforImbala