木棉分类队：朱旭圻队长、李嘉林、曹鸿、农双、刘鹏飞.pptVIP

 木棉分类队：朱旭圻(队长)、李嘉林、曹鸿、 农双、刘鹏飞、张启蕊 xqzhu@scut.edu.cn 目录 系统模型 技术平台 实现方案 未来展望 系统模型 技术平台 开源分类软件RAINBOW 中科院的开源中文分词系统ICTCLAS 开源分类软件SVMlight 网页转换器与网页预处理器 运行监控器 实现方案说明 数据源 网页转换 预处理 中文分词 特征选择 分类系统 数据源 网页转换 预处理 中文分词 系统模型说明－中文 特征选择 特征选择图 特征选择 按照IG(信息增益)来计算，取IG较大的前63400（全部约81000）个 63400个特征项=中文36531个+26713个其他词 中文36531个=34505个名词+1895个动名词+131个形容词名词 特征选择 信息增益最大的前20位 分类系统 系统模型说明-分类系统 分类系统 出错处理与结果效验 系统模型说明-出错处理与结果效验 存在的问题 谢谢各位来宾！ 华南木棉中文网页分类器 CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。 CWT1G 预处理 WEBBENCH 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 出错处理 00 88 结果效验 。。 CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 WEBBENCH 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 训练集 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 完成URL和DOCID的转换 WEBBENCH CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 训练集 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 WEBBENCH 预处理，就是去掉网页的标签。只保留内容块。 预处理后，CWT100G剩余的网页大小约21.83G。约占原来的24.26%,提高后面的分类速度和精度。 训练集在进行中文分词后也经过stemming处理 预处理 CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 训练集 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 WEBBENCH 中文分词 Rainbow嵌入ICTCLAS，形成一个完整的中文网页分类系统。 中文分词使用开源中文分词系统ICTCLAS，只保留名词（n，an,vn）。 训练集在进行中文分词后也经过stemming处理 Rainbow的禁止词是SMART system 的524个，我们进行扩充达到1500个。 CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 训练集 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 WEBBENCH 疾病/n 临床/vn 患者/n 症状/n 药物/n 病人/n 研究/vn 应用/vn 细胞/n 医院/n 企业/n 数据/n 经济/n 比赛/vn 医学/n 功能/n 皮肤/n 系统/n 免疫/vn 国家/n CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 训练集 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 WEBBENCH 分类系统 Rainbow NB Rainbow SVM SVMlight CWT100G 网页转换 单个网页集合 00 01 02 03 87 88 。。。。 CWT1G 预处理 训练集 预处理 中文分词 特征选择 中文分词 特征压缩 分类系统 CCT100G 00 88 。。 出错处理 00 88 。。 结果效验 WEBBENCH 出错处理与结果效验 天网数据有一些是多媒体数据，往往导致系统出错，所以进行错误处理。 把已经分好类的文件移走，导致出错的文件也移走。