基于Web Services数据抽取的研究与实践.pdfVIP

2010年 第 24期总 第 335 基于WebServices数据抽取的研究与实践 胡晨光 (北京 电子科技职业学 院 信息 中心 ，北京 100029) 摘 要 ：通过对 webServices技术和数据抽取 的研 究 ，提 出了基于 webServices技术 的数据抽取解 决方案 重点介绍 了增量数据 自动化产生方法，提 出了基于webServices技术的解 决方案 ，该方案是建立在数据端到端安全传输规范和并行 数据抽取的基础之上，通过使用简单的标准适配器和接 口，来完成粗粒度数据交换服务和高效的数据传输 ，能够满足大型异 构企业环境的数据交换 需求。基于webServices技术的数据抽取提高了数据抽取的安全性和执行效率，使企业数据交换更 加方便 、灵 活、可靠，伸缩性也更强。 关键词 ：WebServices；并行数据抽取 ；增量数据 ；服务安全 中图分类号：TN91134；TP311 文献标识码 ：A 文章编号 ：1004—373X(2010)24—0065—03 ResearchofDataExtractionBasedonW ebServices H U Chen—guang (CenterofInformationManagement，BeijingVocationalCollegeofElectronicScience，Beijing100029，China) Abstract：ThesolutionofdataextractionbaseonW ebServicesisproposedaccordingtotheresearchofadvancedtechnologyW eb Servicesanddataextraction．A methodtoautomaticallygeneratetheincrementaldataisdiscussedindetail．Theschemeisbasedon thedataend—to-endsecuritytransmissionnorm andparalleldataextractiontorealizetheinteroperationofwide-granularitydataservices andhigh-efficientdatatransmissionbysimplestandardadaptersandinterfaces．Itcanmeettheintegrationrequirementofbigandhet— erogeneousenterprises，andmakethedataexchangemoreconvenient，agile，credibleandflexible． Keywords：W ebServices；paralleldataextraction；incrementaldata；servicesecurity 0 引 言 1 数据抽取方法 数据抽取用于将数据从源数据库装载到 目标数据 数据抽取有两个过程 ：全量数据抽取和增量数据抽 库中，高效、安全 、通用的数据抽取过程是信息整合的关 取 。全量数据抽取过程用于数据请求者的数据初始化， 键 ，然而复杂的数据源和 网络环境是数据抽取效率、安 增量数据抽取过程用于数据初始化后的增量维护 。 全性和通用性难以提高的瓶颈问题。 目前有不少商业 1．1 全量数据抽取 化 ETL工具用 以实现数据抽取 ，比较有代表性 的有 全量数据抽取是捕获特定时刻数据源快照的过程， AscentialSoftware公司的DataStage、Informatica公 司 可 以看成是相应数据源特定时刻 的视图定义 。一般在 的PowerCenter、NCR Teradate公 司的ETLAutoma— 数据初始