基于MAS的分布式ETL模型.pdfVIP

第 39卷第4期 郑 州大 学 学报(理 学版) Vo1．39 No．4 2007年 12月 J．of Zhengzhou Univ．(Nat．Sci．Ed．) Dee．2007 基于MAS的分布式ETL模型 徐艳华， 郭朝珍 (福州大学数学与计算机科学学院 福州350002) 摘要：提出了基于MAS的分布式ETI 模型，该模型将数据处理分配到多计算服务器，利用Agent的协作性、主动 性、反应性和交互性，控制多计算服务器的协同处理来提高系统计算能力．与原有的ETL工具相比，该模型不仅可 以提高ETI 流程的运行效率，而且充分利用了企业系统中所有的服务器资源，从而降低了运行ETI 服务器的硬 件成本． 关键词：数据仓库；数据抽取；数据转换；数据加载；ETI ；分布式计算；Agent；MAS 中图分类号：TP 3l1 文章编号：1671—6841(2007)04—0118一O4 0 引言 数据ETL即数据抽取(Extraction)、转换(Transformation)和加载(Loading)，所完成的工作主要包括 三方面：首先，识别数据源的相关信息，对数据源信息进行抽取；其次，标准化和集成来自多数据源的信息，成 为统一的格式，运用数据库基本原则和业务规则清洗得到中问数据；最后，加载数据到数据仓库或数据集市． ETL主要作用在于屏蔽了复杂的业务逻辑，从而为各种基于数据仓库的分析和应用提供了统一的数据接 口，解决了企业存在的信息孤岛问题，加强企业内部各部门之问、企业问信息系统的资源共享和应用集成． ETI 产品很多，但是这些工具不仅价格昂贵，而且大多采用集中式架构，将ETL的设计、运行、管理都 集中在一点上，造成了只有价格昂贵的高性能服务器才能保证这些ETL产品具有较高的效率，增加了构建 数据仓库的硬件成本．文献[1]提出分布式ETL模型，可以在一定程度上降低ETL工具对服务器硬件性能 的要求，但是该模型并没有考虑分布式系统中关键的负载平衡问题，也就无法保证该模型的稳定、高效．本文 在文献Eli的基础上提出了一种基于MAS的分布式ETL模型(ADETL)，利用Agent的协作性、主动性、反 应性和交互性来构建分布式架构的ETL，不仅鳃决集中式架构ETL的不足，而且解决了分布式ETL的负 载平衡问题，从而保证在降低硬件成本的同时，提高ETL执行效率的稳定性和高效性． 1 基于MAS的分布式计算 分布式计算是指借助计算机网络将分布在不同地点的计算实体组织在一起，进行信息处理的一种方式． 分布对象技术在2O世纪9O年代成为分布计算发展的主流方向，但由于分布对象技术是基于经典的客户／月艮 务器模式，因此存在以下局限性l_2j：①不支持主动服务机制，使得信息提供者不能适时地将信息主动提供给 最需要的用户，信息使用者也不知道哪里能够找到急需的信息；②不支持服务器对客户的直接控制．MAS是 由多个交互的Agent所组成的系统，弥补单个Agent的不足，主要研究一组自治的Agent在分布式开放的 动态环境下，通过交互、合作、竞争、协商等行为完成复杂的控制或任务求鳃 ]． 基于MAS的分布式计算模型就是在分布式对象技术的基础上，将多Agent系统技术引入分布式计算 环境，突破了传统分布式计算的局限性，具有以下优点 ]：①通过Agent的协作提高了系统的并行能力；② 利用Agent的协作性，使其能够有效地与其他Agent协同工作，共同完成复杂、困难的任务；③利用Agent 的主动性，可以主动地提供服务；④利用Agent的反应性，能够感知所处的环境，并对相关事件作出适时反 收稿日期：2007—04—20 作者简介：徐艳华(1982一)，女，硕士研究生，主要从事数据迁移技术、元数据管理和分布式技术研究，E—mail：xuyanhua2955@163．corn；通 讯作者：郭朝珍(1953一)，女，教授，主要从事计算机支持的协同工作及分布式数据库研究，E—mail：guocz@263．net． 第4期 徐艳华等：基于MAS的分布式ETI 模型 119 应；⑤利用Agen