基于频率共现熵的跨语言网页自动分类研究-江西师范大学智能信息.PDFVIP

第35卷第3期 江西师范大学学报(自然科学版) 、，01．35No．3 JOURNAL0FJIANGXINORMAL 20ll 2011年5月 UNIVERSITY(NATURALSCIENCE) May 文章编号：1000-5862(2011)03—0240一06 基于频率共现熵的跨语言网页自动分类研究 柯 丽1，王明文p，何世柱1，黎佳1，罗远胜2 (1．江西师范大学计算机信息工程学院，江西南昌330022；2．江西财经大学现代教育技术中心，江西南昌330013) 摘要：研究了基于频率共现熵的跨语言网页自动分类问题，使用翻译软件将所有中文网页翻译为英文，计算 中文和英文网贞的共现特征频率共现熵值，确定中文和英文网贞的共现知识，并与英文网贞相结合训练中文 分类模型．享验结果表明，该方法与贝叶斯分类模型、向量空间分类模型和信息瓶颈模型相比体现出良好的 性能． 关键词：跨语言；网页分类；频率共现熵；贝叶斯分类；自适应贝叶斯分类 中图分类号：TP272 文献标识码：A 这2个分布的距离，选取距离最小的作为文档类别 O 引言 输出． 本文提出了基于频率共现熵(FCD的跨语言文 随着互联网的飞速发展，W曲上的网页数量呈 本分类，通过计算共现特征的共现熵对特征信息进 指数增长．据cNNIc发布的《第25次中国互联网 行排名，结合咒E的ANB算法应用于领域迁移的 络发展状况统计报告》显示，2010年我国网页数量敏感分析【161，ANB是贝叶斯分类算法的一个权重迁 达到600亿多个，平均每个网站的网页数达到 移版本，m旧使用一种权重EM迭代算法训练一个分 31414个．信息爆炸和信息过载给人们带来了互联 类模型，在迭代的过程中逐渐提高待分类数据集中特 网时代的新挑战．网页分类是组织和利用海量w曲 征的权重同时降低训练集中特征的权重． 信息的一种有效途径．目前自动分类已经取得了丰 基于频率共现熵的分类器适用于待分类数据集 硕的成果，提出了多种成熟的文本分类方法【l以21， 的批量自动分类，引用了待分类数据集的词特征信 网页分类已经在分类信息有哪些信誉好的足球投注网站、个性化有哪些信誉好的足球投注网站、有哪些信誉好的足球投注网站 息，再用频率共现熵方法得到更能表示分类知识的 结果自动分类等领域得到了实际应用．网页分类研 词特征信息．为了验证本文提出的方法的有效性， 究已经成为网络挖掘和文本挖掘领域的一大研究热 本文在数据集ODP中进行了大量对比实验，主要在 点，特别是对于中文网页来说，中文作为一种常用 7组数据进行实验，实验结果表明本文提出的方法 语言，互联网使用用户的数量仅次于英文，中文网 性能是比较好的． 页也逐渐成为互联网中的一种主要资源，并有相关 的研究，如中文博客挖掘【13】和查询日志分析【14】． 1模型与方法 。 双语之间的跨语言文本分类，已有的研究有： 双语交叉分类模型的设计与实现【ll】，利用潜在语义 1．1 跨语言网页自动分类流程图 分析，将双语文本在语义层面上统一起来，通过类 文本所使用的训练集和待分类数据集是不同语 别与文本的语义相似度进行分类；基于中间语义的 言的，与传统分类器不同的是待分类数据集是批量 跨语言文本分类【12】，把不同语言的样本投影到PLS的．参照文献【12，15】的处理方法，首先用工具Google 潜在空间中，从而解决语言之间的障碍．文献[15】首 Translator将中文翻译为英文，计算共现特征的共现 熵。选取部分特征信息作为分类知识通过已标注的