必威体育精装版Spring-batch简介.docxVIP

工程师/胡顺强2013-01-23，引言1，什么是批处理在现代企业应用当中，面对复杂的业务以及海量的数据，除了通过庞杂的人机交互界面进行各种处理外，还有一类工作，不需要人工干预，只需要定期读入大批量数据，然后完成相应业务处理并进行归档。这类工作即为“批处理”。从上面的描述可以看出，批处理应用有如下几个特点：数据量大，少则百万，多则上亿的数量级。不需要人工干预，由系统根据配置自动完成。与时间相关，如每天执行一次或每月执行一次。同时，批处理应用又明显分为三个环节：读数据，数据可能来自文件、数据库或消息队列等数据处理，如电信支撑系统的计费处理写数据，将输出结果写入文件、数据库或消息队列等因此，从系统架构上，应重点考虑批处理应用的事务粒度、日志监控、执行、资源管理（尤其存在并发的情况下）。从系统设计上，应重点考虑数据读写与业务处理的解耦，提高复用性以及可测试性。2，什么是 Spring BatchSpringSource与Accenture合作开发了Spring BatchAccenture在批处理架构上有着丰富的工业级别的经验，SpringSource则有着深刻的技术认知和Spring框架编程模型Accenture贡献了之前专用的批处理体系框架，这些框架历经数十年研发和使用，为Spring Batch提供了大量的参考经验Spring Batch是一款优秀的、开源的大数据量并行处理框架。通过Spring Batch可以构建出轻量级的健壮的并行处理应用，支持事务、并发、流程、监控，提供统一的接口管理和任务管理。另外Spring Batch 是一款批处理应用框架，不是调度框架。它只关注批处理任务相关的问题，如事务、并发、监控、执行等，并不提供相应的调度功能。因此，如果我们希望批处理任务定期执行，可结合 Quartz 等成熟的调度框架实现上图寓意：火车通行处理，在很多火车都要通过该站台的时候，我们无需耗费大量的人力资源，人工协调处理。二，Spring Batch结构1，Spring Batch体系结构这种分层结构有三个重要的组成部分：应用层、核心层、基础架构层。应用层包含所有的批处理作业，通过Spring框架管理程序员自定义的代码。核心层包含了Batch启动和控制所需要的核心类，如：JobLauncher、Job和step等。应用层和核心层建立在基础构架层之上，基础构架层提供共通的读（ItemReader）、写（ItemWriter）、和服务（如RetryTemplate：重试模块。可以被应用层和核心层使用）。2，Spring Batch主要对象三，Spring Batch流程介绍上图描绘了Spring Batch的执行过程。说明如下：??? 每个Batch都会包含一个Job。Job就像一个容器，这个容器里装了若干Step，Batch中实际干活的也就是这些Step，至于Step干什么活，无外乎读取数据，处理数据，然后将这些数据存储起来(ItemReader用来读取数据，ItemProcessor用来处理数据，ItemWriter用来写数据) 。JobLauncher用来启动Job，JobRepository是上述处理提供的一种持久化机制，它为JobLauncher，Job，和Step实例提供CRUD操作。??? 外部控制器调用JobLauncher启动一个Job，Job调用自己的Step去实现对数据的操作，Step处理完成后，再将处理结果一步步返回给上一层，这就是Batch处理实现的一个简单流程。?四，Spring Batch之Step执行过程介绍从DB或是文件中取出数据的时候，read()操作每次只读取一条记录，之后将读取的这条数据传递给processor(item)处理，框架将重复做这两步操作，直到读取记录的件数达到batch配置信息中”commin-interval”设定值的时候，就会调用一次write操作。然后再重复上图的处理，直到处理完所有的数据。当这个Step的工作完成以后，或是跳到其他Step，或是结束处理。??这就是一个SpringBatch的基本工作流程。五，Spring Batch应用1，简单应用构建应用如“引言”中所述 Spring Batch 按照关注点的不同，将整个批处理过程分为三部分：读、处理、写，从而将批处理应用进行合理解耦。同时，Spring Batch 还针对读、写操作提供了多种实现，如消息、文件、数据库。对于数据库，还提供了 Hibernate、iBatis、JPA 等常见 ORM 框架的读、写接口支持。对象定义首先我们需要编写用户以及消息类，比较简单，如清单1和清单2所示：清单1. User 类package org.springframework.batch.sample;public class U