NAVIGATING-TO-TEXT-CATEGORIZATION培训课件.pptVIP

几种常见的产生式模型 Gaussian distribution Gaussian mixture model Multinomial distribution Hidden Markov model Naive Bayes AODE Latent Dirichlet allocation 精品文档 几种常见的判别式模型 Linear discriminant analysis Support vector machines Boosting Conditional random fields Logistic regression Neural Networks 精品文档 分类器的划分与文档模型划分之间的关系（个人经验） VSM 模型：一般用在判别式分类模型中，如LR（对数回归），SVM（支持向量机） 词袋子模型：一般用在生成式分类模型中，如朴素贝叶斯词袋子模型也可以用在判别式模型中 模型的参数估计：EM算法（missing data likelihood） 精品文档 特征词选择算法（一） 回顾文本分类的两种模式 有监督特征词选择算法： 特点：依赖于类别信息 具体方法有：信息增益（IG），卡方(Chi square),互信息（point –wise MI）,相对熵（KL Divergence） 无监督特征词选择算法： 特点：不依赖于类别信息 具体方法有：文档频率法（DF），单词贡献度（TC） 精品文档 特征词选择算法（二）--无监督算法 DF：它指在整个数据集中有多少个文本包含这个单词 单词贡献度：它认为一个单纯的重要性取决于它对整个文本数据集相似性的贡献程度 精品文档 特征词选择算法（三）基于信息论的方法 事件的互信息 集合的平均互信息 精品文档 特征词选择算法（四）基于信息论的方法 Point-wise mi 基本思想： 计算每个词t,与类别c之间的互信息 运算公式： 存在问题：倾向于选择稀疏词（先给出结论，稍后会有实验结果展示） 精品文档 特征词选择算法（五）基于信息论的方法 Information Gain(IG,信息增益熵，平均互信息) 基本思想：将单词和类别出现的情况看做是事件集合， 然后求上述两个事件集合的平均互信息 运算公式： 存在问题： 计算过程中考虑到了既不包含term t ，也不属于类别c的文档的概率计算，可能会引进误差 精品文档 特征词选择算法（六）基于信息论的方法 KLDivergence 基本思想： 交叉熵反映了文本类别的概率分布和在出现了某个特定词的条件下文本类别的概率分布之间的距离, 特征词t 的交叉熵越大, 对文本类别分布的影响也越大。熵的特征选择效果都要优于信息增益（尚未验证）。 运算公式： D（p//q）=sum(p(x)*log(p(x)/q(x)))。其中p(x)和q(x)为两个概率分布 约定 0*log(0/q(x))=0;p(x)*log(p(x)/0)=infinity; 存在问题： 如果文本类别数目较少，每类文本的数目又非常大时，KL值的区分度可能会不明显（个人认为这种特征词选择方法效率同MI） 精品文档 特征词选择算法（七）基于统计学的方法 Chi-square distribution 基本思想 卡方统计量 常常用于检测两个事件的独立性，在特征词选择中，两个事件分别指词项的出现和类别的出现。 运算公式 存在问题 同IG法 精品文档 几种特征词选择算法效果验证 精品文档 训练语料库测试语料库情况说明 共有文化、历史、读书、社会与法制、娱乐，军事等六个类别（其中文化，历史，读书，军事来自凤凰新闻，社会与法制来自腾讯和新浪，娱乐类新闻来自网易）。训练语料库中每个类别1000篇文章，共有6000篇文章，测试语料库中每个类别有100篇文章，共有600篇文章。 精品文档 DF、卡方、点对点互信息、信息增益法提取特征词对比（一） 精品文档 DF、卡方、点对点互信息、信息增益法提取特征词对比（三） 一般结论： CHI,IG,和DF 的性能明显优于MI;CHI、IG和DF的性能大体相当，都能够过滤掉80%以上的特征项；DF具有算法简单、质量高的优点，可以用来代替CHI和IG,但是同被广泛接受的信检索理论有些矛盾。我们这里得出的结论，同文献（Yang et al .1997）使用普通英文文本评测的结果基本一致。 （摘自 李晓明 《有哪些信誉好的足球投注网站引擎—原理、技术、与系统》） 精品文档 DF、卡方、点对点互信息、信息增益法提取特征词对比（四） 精品文档 DF、卡方、点对点互信息、信息增益法提取特征词对比（五） 我的实验结论： 评价一个特征词是否是好词，一个特征词集合是否选择的合理。主要看所选择的