java ee企业级应用向hadoop平台迁移的技术研究 migration of java ee enterprise application to hadoop.pdfVIP

信息技术 Java EE 企业级应用向Hadoop 平台迁移的技术研究* 郭庆 （京华信息科技股份有限公司） 摘要：对典型的Java EE 企业级应用架构和Hadoop 平台功能进行分析，介绍将Java EE 企业级应用迁移到 Hadoop 平台的相关技术，并通过分析比较提出相应的应用迁移策略。 关键词：Hadoop ；Java EE ；企业级应用；迁移 0 引言 见表1。 表1 Java EE 技术与系统层次的对应关系 企业级应用指的是支持企业、事业单位或者政府 [1] 系统层次 支撑技术 等机构各项业务运作的软件系统 。企业级应用主要 负责显示、操作和存储大量复杂数据，并对这些数据 Web 层 JSP 、Servlet、JSF [2] 进行支持和自动化 。随着社会的进步和网络技术的 业务逻辑层 EJB 、JAX-RS 、JAX-WS 、JPA 发展，众多企业和组织为了使业务能够与供应商、合 作伙伴乃至最终用户更紧密地联系在一起，纷纷将企 企业信息系统层 JDBC 、JNDI 、JPA、JCA、JTA 业级应用推向互联网。但面对海量的业务数据处理 容器提供的 API 和运行环境的支持使得应用的 时，传统企业级应用架构在扩展性上遇到了瓶颈。近 代码实现更统一，为应用迁移提供了较清晰的切入 年迅速发展成熟起来的Hadoop 平台以其高效和易扩 点。 展等特性受到高度关注，将企业级应用迁移到Hadoop 平台成为应对海量数据处理技术挑战的新思路。本文 2 Hadoop 平台功能 围绕Java EE 企业级应用迁移到Hadoop 平台展开研 Hadoop[5]是由Apache 开源组织的一个分布式计 究，分析比较各种技术方法，并根据实际应用情况提 算框架，设计用于在大量（廉价的）硬件设备上构建 出相应的迁移策略。 一个具有高可靠性和良好扩展性的集群系统，以分布 1 Java EE 企业级应用架构 式处理大数据集。Hadoop2.0 包含以下模块： Java 平台企业版（Java Platform Enterprise 1) Hadoop 通用模块：支持其它Hadoop 模块的 Edition，Java EE ），是Sun 公司为企业级应用推出的 通用工具集； [3] 2) Hadoop 分布式文件系统（HDFS ）：支持对 标准平台，现属于Oracle 公司 。Java EE 自1998 年 发布以来得到了迅速地发展，已成为企业级应用的主 应用数据高吞吐量访问的分布式文件系统； 流技术平台之一。以Java Pet Store[4]为代表，典型的 3) Hadoop YARN ：用于作业调度和集群资源管 Java EE 企业级应用最主要的功能是围绕业务数据进 理的框架； 行存储、操作和显示。整个系统一般可分为Web 层、 4) Hadoop MapReduce ：基于YARN 的大数据 业务逻辑层和企业信息系统层（Enterprise Information 并行处理系