云计算平台与决策支持系统数据处理的整合.pdfVIP

2013年第 5期 信 息通信 2Ol3 (总第 127期) INFORMAT10N COMMUNICAT10NS (Sum．No l27) 云计算平台与决策支持系统数据处理的整合 吴 明 (河北全通通信有限公司，河北石家庄 050021) 摘要：决策支持系统引入云计算平台，在分担运算压力的同时也破坏了现有数据抽取、转换、加载的架构，无法与决策支 持系统现有数据处理流程完好结合，从而影响数据处理的整体性和高效性。文章提出一种跨平台数据处理整合方法，将 云计算平台与决策支持系统进行有机结合，实现跨平台任务相互触发、依赖，达到提高效率，优化流程，方便使用的目的。 关键词：决策支持系统；云计算；数据处理 中图分类号：TV737 文献标识码：A 文章编号：1673—1131(2013)05—0080—01 决策支持系统作为一种计算机应用系统，为决策者提供 2具体实施步骤 分析问题、建立模型、模拟决策过程和方案的环境，帮助决策 2．1配置模块 者提高决策水平和质量。随着数据量的不断增长和业务发展 配置云计算平台任务与决策支持系统任务之问的依赖及 的不断深入，决策支持系统性能凸显不足，作为系统核心的数 触发关系。 据处 将嘶临着巨大挑战。因此利用云计算 “低硬件成本、高 建立依赖及触发关系配置文件 JOB—DEPENDENCY．ini， 综合利用率、可扩展性强、高可靠性”的特点，引入云计算 台， 该配置文件只配置涉及跨平台任务，该配置文件包含 以下字 将大量消耗系统性能的数据处理过程从决策支持系统巾剥离 段 内容：任务名称、任务所依赖及触发的任务名称、描述。 出来 以分担运算压力。 2．2扫描模块 现有技术方案中，决策支持系统的数据处理过程与云计算 台的数据处理过程作为两种不同的数据处理模式独立进行。 扫描模块对配置文件进行扫描处理，步骤如下： 决策支持系统数据处理流程如下：将数据文件传输至 (1)读取配置文件。扫描模块读取配置文件，获取平台间 ETL加载服务器；通过ETL加载服务器将数据文件装载至 的依赖及触发关系，例如表 1所示。 数据仓库；数据的处理 (清洗、转换、汇总、关联等)在数据仓 表 1配置文件样例 库 内进行。 任务名称 任务所依赖及触发的任务名称 描述 云计算平台数据处理流程如下：将数据文件传输 云计 决策支持系统任务 D霄jOB_A与云 蕊jOBA CL0UD_JOB_B 计算平台任务CL0UD_JOBB间的依 算 台；利用云计算平台对数据文件进行处理 (清洗、转换、汇 赖及触发关系 _ 总、关联等)；将处理完成的数据导出为文本。 (2)对配置文件进行初始化处理。根据表 1可得知决策支 由此可见，两套平台的任务不能进行相互触发、依赖，不 持系统任务 DW_JOB_A与云计算平台任务