基于HBase的多分类逻辑回归算法研究-计算机应用研究.PDFVIP

———————————————————————————————————————————————— 基于HBase 的多分类逻辑回归算法研究 作者 刘黎志，邓介一，吴云韬 机构 武汉工程大学 智能机器人湖北省重点实验室；武汉工程大学 计算机科学与工程学院 基金项目 湖北省自然科学基金资助项目（2014CFB791）；湖北省高等学校优秀中青年科技创新团队计 划资助项目（T201206） 预排期卷 《计算机应用研究》2018 年第35 卷第10 期 摘要 为解决在大数据环境下，用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户 端内存的问题，提出了块批量梯度下降算法，用于计算回归模型的系数。将训练数据集存入 HBase 后，通过设置表扫描对象的起始行键参数，可取出大小合适的含训练样本及结果值的 数据块，同时为避免客户端到服务端频繁的RPC 调用，取出的数据块可进行多次迭代计算， 以加快系数的收敛。当取出的数据块达到指定的迭代次数后，再按行键次序取出下一个数据 块，如此循环，直到系数收敛或达到指定的循环控制阈值。多分类的逻辑回归问题可转换为 二分类来解决，因此需要为每一个分类在训练数据表中设定结果值列，结合训练样本列簇， 按块批量梯度下降算法得到每个分类的回归系数。实验结果表明，得到的回归系数，能准确 的对测试样本进行分类。 关键词 块批量梯度下降；多分类；逻辑回归；大数据；Hbase 作者简介 刘黎志（1973-），男，副教授，硕士，主要研究方向为基于移动互联网的计算机应用、云计 算、大数据、数据仓库及数据挖掘（llz73@163.com）；邓介一（1992-），男，硕士研究生， 主要研究方向为大数据、数据仓库及数据挖掘；吴云韬（1973-），男，教授，博士（后），主 要研究方向为阵列信号处理中的参数估计及波束形成技术、统计信号处理中的信号检测和参 数估计、无线传感器网络中的定位技术等． 中图分类号 TP311 访问地址 /article/02-2018-10-012.html 发布日期 2017 年9 月27 日
基于HBase 的多分类逻辑回归算法研究 ———————————————————————————————————————————————— 引用格式 刘黎志, 邓介一, 吴云韬. 基于 HBase 的多分类逻辑回归算法研究[J/OL]. 2018, 35(10). [2017-09-27]. /article/02-2018-10-012.html. 35 10 Vol. 35 No. 10 第 卷第 期 计算机应用研究 优先出版 Application Research of Computers Online Publication 基于HBase 的多分类逻辑回归算法研究 * a, b a, b a, b 刘黎志 ，邓介一 ，吴云韬 (武汉工程大学 a. 智能机器人湖北省重点实验室; b. 计算机科学与工程学院, 武汉 430205) 摘 要：为解决在大数据环境下，用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题