WEB+PAGE的自动分类.pdfVIP

第35卷专辑 兰州大学学报(自然科学版) Vol35 Supp 1999年8月 一一一 ．!!!翌!!璺兰!!!竺竺!芏!!：!!!!：!望!!竺型!!!!竺!! 垒!堡!!!1 文章编号 0455-2059(1999)0603_—05 WEB PAGE的自动分类 张阳1， 李战怀1， 近藤广幸2 摘要：本文运用数据挖掘技术，提iI{了一种网页信息闩动分类的方法该技术通过对网页中文 本信息的分析，判断出该网页内容的主题． 荚键词数据挖掘．模式．规则 0引言 随着嘲络技术的发展，在Web上的信息的规模也在迅速增长人_【在WebL寻找指定 主题的信息，效率低，信息资源的利用率低．为了充分应用WebL的信息资源，准确有效 的在Web上寻找指定主题的信息，我们运用数据挖掘技术开发了日文网页自动分类系统． 1体系结构 日文网页自动分类系统利用数据挖掘技术，对H文刚页的内容进行分析，将网页按其 主题进行分类，最终提出网页属于某一主题的可信度．本系统采用的结构如图1所示． 预挖掘对原始数据进行预处理和提纯以使原始数据具有统一的格式，去除其中的垃圾 数据．生成的数据仓库经过挖掘形成为判断网页主题而服务的模式．判断的结果及用户的 反馈信息将反馈给数据仓库以更新、提纯数据仓库，提高挖掘的质量 囤1系统的结掏FigThl：sl『u(1utc ofIImsysLcm 2预挖掘 网页的内容丰富多彩，格式上也各不一样．本系统对日文网页内容的理解是在词的层 次上进行的．在挖掘前必须进行预处理： 去陈网页Irl、MI。文件中的…ML标记；统一记载日 收稿13期：1999—0,5—10 作者简介：张阳(197fi一)，男．硕士研究乍． 型 兰些 篓娑曼型主鉴! 苎i!查 文文本的日文内码及表示符号、 文孚符的【_i=l码；进行文本解析，单词筛选；最后得到的 单词序列作为以后处理的输入 ～一～一 纛 篡 一一糙一一一一一一嬲 ㈣{黧躲一一镞 ～一一一～一咖～一 ．一一一一一旧一一 淼一，?y 一卜竺垒!釜塑：!拦一 ～。t螂(}％嚣，+∑h搿黟 这里，考虑到概率的分布P(cjw)，利月；j逻辑概率分布： m，≮—1-Fl _1 exp(-西； 庄以上公式中反跌逻辑概率分布，对： p c(奢矧轴∑6甜(lpxe一．、，h {w1一‘ ：!竺!!!． ’mx时6∑h烈泠 ’。‘ 。的，可以认为是负例文件；对P(cfP)接近o5的，呵以认为是与主题无关的文件 …。蔓磐些篓参量的f51|页文本，从中X,tr某～主题选出少量的止例文件、负例文件形成原 始的数据止例数据、负例数据集，遥J}J以上算法可得剑新的』E例数据、负例数据曩．i委 主璺 查竺兰!!!!墅竺塑望兰坌查 !堕 运用该算法可不断纯化得到的正例数据、负例数据集 3数据挖掘 ～个主题T，通过对其正例数据、负例数据集的挖掘，uJ以得到反映该主题的模式． 设单词w在正例中出现了a次，在负例中出现了b次，定义单词的再现率为： 艇c么儿(W)=÷；