文本分类综述+王斌.pptVIP

文本分类的评估指标 分类方法的评估 邻接表 每个类 Precision=a/(a+b), Recall=a/(a+c), fallout=b/(b+d)=false alarm rate, accuracy=(a+d)/(a+b+c+d), error=(b+c)/(a+b+c+d)=1-accuracy, miss rate=1-recall F=(β2+1)p.r/(β2p+r) Break Even Point, BEP, p=r的点 如果多类排序输出，采用interpolated 11 point average precision 所有类： 宏平均:对每个类求值，然后平均 微平均:将所有文档一块儿计算，求值 真正对的 错误 标YES a b 标NO c d 效果评估方法 N交叉测试： 将训练集合分成N份，其中N-1份作为训练集，其余1份作为测试集。循环N次，将N次的结果平均。 开放测试 训练在某个集合中进行，而测试集采用另外事先未知的集合。 其他分类方法 Regression based on Least Squares Fit (1991) Nearest Neighbor Classification (1992) * Bayesian Probabilistic Models (1992) * Symbolic Rule Induction (1994) Decision Tree (1994) * Neural Networks (1995) Rocchio approach (traditional IR, 1996) * Support Vector Machines (1997) Boosting or Bagging (1997)* Hierarchical Language Modeling (1998) First-Order-Logic Rule Induction (1999) Maximum Entropy (1999) Hidden Markov Models (1999) Error-Correcting Output Coding (1999) ... 小结 训练 对训练文档进行处理，得到每篇文档的原始空间表示 采用特征选择方法(DF/IG/MI等)选择好的特征，将原始空间转换到特征空间 采用某个分类器进行学习，得到分类器的参数 分类/测试 对新文本进行相同的特征表示过程 输入上述分类器得到分类结果 采用N交叉测试或者其他方式得到分类器的效果 参考文献 文献及其他资源 Papers K. Aas and L. Eikvil. Text categorisation: A survey. Technical report, Norwegian Computing Center, June 1999 /aas99text.html Xiaomeng Su， “Text categorization”，Lesson Presentation Yiming Yang and Xin Liu. 1999. A re-examination of text categorization methods. 22ndAnnual International SIGIR /~yiming/publications.html A Survey on Text Categorization, NLP Lab, Korean U. 庞剑峰，基于向量空间模型的自反馈的文本分类系统的研究与实现，中科院计算所硕士论文，2001 黄萱菁等，独立于语种的文本分类方法，中文信息学报，2000年第6期 Software: Rainbow /~mccallum/bow/ BoosTexter /~schapire/BoosTexter/ TiMBL http://ilk.kub.nl/software.html#timbl C4.5 http://www.cs.uregina.ca/~dbd/cs831/notes/ml/dtrees/c4.5/tutorial.html Corpus /~textlearning 谢谢！ Wangbin@ /~wangbin 文本分类综述 王 斌 中国科学院计算技术研究所 2013年10月 报告内容 文本分类的定义和应用 文本分类的方法 文本分类的评估指标 参考文献和资源 文本分类的定义和应用 定义 给定分类体系，将文本分到某个或者某几个类别中。 分类体系一般人工构造 政治、体育、军事 中美关系、恐怖事件 分类系统可以是层次结构，如yahoo! 分类模式 2类问题，属于或不属于(binary) 多类问题，多个类别(multi-class)，可拆分成2类问题 一个文本可