TextCategorization.ppt

Text Categorization Include Slides borrowed from WJM.wbia2005 and CS276A Standford 2004 Peng Bo Nov 3, 2006 上一讲主要内容 信息提取处理的问题是？ Wrapper是？如何构造？为什么要做Wrapper Induction？ HMM是？怎样在实际问题中应用？ 这一讲内容提要 分类问题背景 几种分类方法 Rocchio方法 朴素Bayes （Naive Bayes） k-近邻法（k-Nearest Neighbor，kNN）： 支持向量机（support vector machine，SVM） 其它问题 分类系统评估 特征选取 Background 文献信息的分类方法 Dewey decimal system（杜威十进分类法） 首创于1876年，目前有 9个大类 the Library of Congress catalog（国会图书馆图书分类法） 1902年颁布，目前有21个大类 the AMS Mathematics Subject Classification US Patent subject classification 中国图书馆图书分类法 1975年第一版发行，22类（5个大类） 中国科学院图书分类法 Dewey decimal system DDC杜威十进分类法是用传统的学科来分类，总共以10个主要的学科（main classes）来涵括所有的知识体系，每个大类下细分10类（divisions），接着又再分成10小类（sections）。DDC中每个学科都会给予特定范围的数字来表示，它的十个大类（main classes）分别是： 000 Generalities 总类 100 Philosophy 哲学类 200 Religion 宗教类 300 Social sciences 社会科学类 400 Language 语文类 500 Pure sciences 自然科学类 600 Technology 应用科学类 700 The arts 艺术类 800 Literature 文学类 900 General geography history 史地类 中国图书馆图书分类法简表 （22类）（5个大类） A 马克思主义、列宁主义、毛泽东思想、邓小平理论?B 哲学、宗教?C 社会科学总论?D 政治、法律?E 军事?F 经济?G 文化、科学、教育、体育?H 语言、文字?I 文学?J 艺术?? K 历史、地理 N 自然科学总论?O 数理科学和化学?P 天文学、地球科学?Q 生物科学?R 医药、卫生?S 农业科学?T 工业技术?U 交通运输?V 航空、航天?X 环境科学、安全科学?Z 综合性图书 Web catalogs Tianwang in Pku Text Categorization Examples Assign labels to each document or web: Labels are most often topics such as Yahoo-categoriese.g., finance, sports, newsworldasiabusiness Labels may be genres e.g., editorials movie-reviews news“ Labels may be opinion e.g., “like”, “hate”, “neutral” Labels may be domain-specific binary e.g., interesting-to-me : not-interesting-to-me” e.g., “spam” : “not-spam” e.g., “contains adult language” :“doesn’t” Categorization/Classification Given: A description of an instance, x?X, where X is the instance language or instance space. Issue: how to represent text documents. A fixed set of categories: C = {c1, c2,…, cn} Determine: The category of x: c(x)?C, where c(x) is a cat