295-SEWM2007中文网页分类评测江西师范大学参赛队报告.pptVIP

下载本文档

2
0
约 17页
2017-09-28 发布于陕西
举报
版权申诉

295-SEWM2007中文网页分类评测江西师范大学参赛队报告.ppt

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

SEWM2007中文网页分类评测江西师范大学参赛队报告江西师范大学网络应用研究所 2007年3月11日系统模块结构内容提纲 CWT20G预处理中文分词分类器训练测试集合的分类预处理流程网页数据的特点包含语义丰富的标记带来噪音(非文本内容及其大量的广告信息) 大量的链接信息使用工具采用Java开源项目：HTMLParser 提取的内容 Title、URL、Body、Link、A 另外，提取页面的位置信息，例如人民网时政时政专题中国共产党十六届六中全会内容提纲 CWT20G预处理中文分词分类器训练测试集合的分类中文分词采用中科院计算所ICTCLAS分词软件由于网页中有部分超常的英文字符以及一些乱码，分词系统会报错并且停止。对这些异常文件采用北大天网提供的基于词典的分词程序。词干化处理（Stemming）去除中英文停用词中文：哈工大的中文停词表，共494个词英文： Rainbow的禁止词，共524个内容提纲 CWT20G预处理中文分词分类器训练测试集合的分类特征选择特征维数 Example1共有166031个词，根据文档频率过滤后，剩下74078个词用卡方统计特征选择30,000个词和60,000个词分类器标准KNN分类器，K＝15 SVMlight算法， joachims二元分类器内容提纲 CWT20G预处理中文分词分类器训练测试集合的分类权重计算公式：采用LTC权重对词出现在网页的不同位置，给予不同的权重 TITLE，BODY，URL，ANCHOR的权重之比为：5:1:0.5:0.5 网页的位置信息权重设置为4 分类结果系统环境硬件平台： HP ProLiant ML570 G3 机架式服务器； 2个双核的Xeon P2.8G，硬盘：274G 操作系统： RedHat AS4_64 编程语言： Java 未来的工作使用系统的网页去噪技术考虑链接信息对网页类别的影响链入信息与链出信息应该区分对待不同位置词的权重设置应该更合理江西师范大学网络应用研究所 * 训练集 HTML格式处理划分为Train Set和Test Set，优选特征维数和模型参数。特征表示生成分类模型 CWT100g HTML格式处理中文分词特征表示进行分类结果中文分词分类训练模块分类模块 HTML格式处理模块中文分词模块原始数据解压缩得到的网页文件解析后的文件信息过滤与提取结果数据存储 ZLib HTMLParser 江西师范大学网络应用研究所