处理缺失数据的朴素贝叶斯分类增量算法.pdfVIP

V01．8No．14 2008 第8卷第14期2008年7月 科学技术与工程 July Science and 1671-1819(2008)14—3812—04 TechnologyEngineering @2008Sei．Tech．Engng． 处理缺失数据的朴素贝叶斯分类增量算法 蒋望东 陆小艺1林士敏2 (湖南财经高等专科学校信息管理系，长沙410205；广西桂能软件有限公司1，南宁530023； 广西师范大学计算机科学系2，桂林541004) 摘要在具有缺失数据的数据集的分类过程中，缺失的数据中蕴含着有用的信息未被考虑的情况会引起分类精度的下降。 增量式的学习能够利用不断加入的信息更新学习模型，并充分利用先验信息求解当前问题。给出了一个利用朴素贝叶斯分 类模型实现对缺失数据的增量分类的算法。该算法在增量学习的过程中考虑了缺失数据和先验信息对分类器的影响。 关键词增量学习 朴素贝叶斯 缺失数据 中图法分类号Tit391．75； 文献标志码A 在实际的应用中，由于获取数据的渠道以及对 定很大程度上限制了它的应用，但目前许多研究和 数据建模的差异等原因，造成所得的数据通常并不 应用都表明，即使违背这种假定，简单贝叶斯也表 完全符合已经定义好的便于处理的格式，这种不符 现出很强的鲁棒性旧J．本文给出了一个利用朴素贝 合定义格式的数据称为缺失数据或者是不完整 叶斯分类模型实现对缺失数据的增量分类的算法。 数据。 该算法在增量学习的过程中考虑了缺失数据和先 大部分的分类系统能够有效地学习是基于这 验信息对分类器的影响。 样一个前提：用于训练和测试的数据集是完整的， 1 贝叶斯分类增量模型 或者只有很少的特征值是不完整的，而且这些缺失 值均匀分布于样本中。事实上，由于各种原因，在 样本空间S由特征空间I和类别空间C组成： 许多现实数据库中都存在丢失数据的现象，并且丢 失值并不是均匀分布的。数据的缺失可能与某些 性的笛卡尔积：，=A，，A2，．，A。，特征属性 属性特征值的状态有关，这时缺失的数据中蕴含着 A。取离散值{a札}；类别属性取1个离散值C= 有用的信息。 {c。，c：’’．一，c，}。分类问题的实质是找出实例空间 增量式的学习能够利用不断加入的信息更新 到类别空间的映射厂，使得对任一实例茹=(a。， 学习模型，并充分利用先验信息求解当前问题。贝 a2，．“，a1)∈，，存在唯一的cf∈C与之对应．类 叶斯推理模型以其坚实的数学基础和丰富的概率 标签应该满足： 表达能力，越来越受到人工智能界的重视…，尤其 I石) (1) cw=argmaxq=cP(c=ci 是它能充分利用先验信息的特性，使之成为增量学 根据贝叶斯公式及条件独立性假设可得： 习中的最佳选择模型。简单贝叶斯模型假定所有 的条件属性相对于分类类别是独立的，尽管这一假 P(c=ci