Web数据挖掘及虚拟数据库的应用.pdfVIP

Web 数据挖掘与虚拟数据库的应用 胡江洪，高伟峰 (武汉理工大学计算机学院，湖北武汉 430070) 摘 要：本文就目前数据挖掘领域的一个研究热点即Web 数据挖掘进行介绍，描述了Web 数 据挖掘的分类、与传统数据挖掘的异同、实现的关键技术等要点，并针对Web 数据库中的半 结构化数据，结合实例说明使用虚拟数据库(VDB)技术将半结构化、分布广泛等特征的数据构 建为统一的基于Web 的数据仓库对Web 数据挖掘的重要性。 关键词：Web 数据挖掘；虚拟数据库；数据仓库 1、引 言 万维网上丰富的信息资源蕴含着大量有价值的数据和知识, 面对 Web 巨大的数据量，而 且数据分布极为广泛，具有海量、复杂、结构多样性等特点，如何准确、快速从中获取我们 所需要的信息、提高在 Web 上检索的效率是目前许多研究人员探讨的热点。目前在 Web 上搜 索信息基本上都是用有哪些信誉好的足球投注网站引擎来完成，但它的效率不高，有哪些信誉好的足球投注网站出来的信息有很多是无用的， 还必须自己手动地去查找。因此需要一种能够 自动的从万维网上查找、发现、过滤信息，不 需要人工干预，决策者能以交互的方式对数据进行多维、多角度的分析，这样就出现了 Web 数据挖掘技术。 Web 数据挖掘就是从 Web 资源上发现潜在的、隐含的规律性的内容，解决数据的应用质量 问题的过程。它是数据挖掘的一个重要分支，但又有很多自身独有的特点。比如：Web 的数据 结构为半结构化的，动态的、不完全的、混沌的特点。因此 Web 数据挖掘比传统数据挖掘要 复杂得多，涉及到的许多问题成为 NP-hard 问题。对 Web 数据构建数据仓库是 Web 数据挖掘 有效实现的重要方法，其关键是怎样构建基于 Web 的数据仓库？虚拟数据库(VDB)和XML 技术 的出现为构建基于 Web 数据仓库难题的解决带来了希望。VDB 技术构建 Internet 上所有 XML 的文档为一个数据仓库，使得应用程序可以提供对分散在各类原始数据源中的数据进行访问 的服务，同时让不同结构的数据在研究人员面前呈现出规范的 RDBMS 的数据表现，使得更加 容易地实现 Web 数据的挖掘。 2、Web 数据挖掘 2.1 Web 数据挖掘的分类 面向 Web 的数据挖掘是一项复杂的技术，它处理的对象大致分为三类：Web 数据，即Web 的文档内容、Web 的结构数据、Web 的使用信息，相应的 Web 挖掘可分为 Web 内容挖掘(Web content mining)、Web 结构挖掘(Web structure mining)、Web 使用挖掘(Web usage mining)。 下面分别详细讲述这三种 Web 挖掘。图 1 给出了 Web 挖掘的分类图： -1- Web 挖掘 Web 内容挖掘 Web 结构挖掘 Web 使用挖掘 Web 文 有哪些信誉好的足球投注网站结 Web 组织 网页引用 一般访问 定制使用 档挖掘 果挖掘 挖掘 挖掘 模式跟踪 跟踪 图 1 Web 挖掘的分类 2.1.1 Web 内容挖掘 Web 内容挖掘是从文件内容及其描述中获取有用的信息的过程，是一种基于网页内容的挖 掘，实际上包括 Web 文档内容的挖掘和有哪些信誉好的足球投注网站结果的挖掘。其中文档内容的挖掘就是对 Web 上 大量的文档集合的内容进行摘要、分类、聚类、关联分析、以及利用 Web 文