Oozie作业调度讲诉.ppt

什么是Oozie ? 1.Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中。 2.Oozie工作流中的任务是在远程运行，Oozie负责任务的调度分发，将资源发送到JOB的运行环境。 3.Oozie工作流中拥有多个Action,所有的Action以有向无环图（DAG). 4.Oozie工作流通过HPDL来构造。 5.oozie是基于hadoop的调度器，以xml的形式写调度流程，可以调度java，pig，hive，shell，jar等等。 6.Oozie工作流中包含可控制的工作流节点(control flow node)和Action节点(action node)。 主要的功能有: Workflow： 顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个） Coordinator，定时触发workflow Bundle Job，绑定多个coordinator 怎么使用Oozie ? Oozie工作流程图 Oozie工作流程定义 Oozie 工作流是控制依赖有向非循环图 (DAG) 中安排的 Oozie 操作的集合。控制依赖（Control dependency）可确保以下操作在前面的操作已成功完成后才会启动。 控制流节点：可以定义开始（start）,结束(end),错误(fail)节点，也提供控制工作流的执行过程，如选择（decision）,并行(fork),join接点。 DAG由控制流节点或动作节点组成，各个节点又是通过箭线互相连通。 在Oozie中工作流的状态有几种：PREP(准备状态)，RUNNING（运行），SUSPENDED（挂起），SUCCEEDED（成功），KILLED（杀死），FAILED（失败）。 控制流节点 1. 启动控制节点：是工作流作业的入口点。在工作流启动时，它会自动过渡到启动过程中指定的节点。 workflow-app xmlns=uri:oozie:workflow:0.2 name=ooziedemo-wf start to=timeCheck/ /workflow-app 2. 末端控制节点：是结束工作流作业时所用的节点。它表示工作流操作已经成功完成。一个工作流定义必须有一个末端节点。 workflow-app xmlns=uri:oozie:workflow:0.2 name=ooziedemo-wf end name=end/ /workflow-app 3. 停止控制节点：可使工作流作业自行停止。在到达停止节点（kill node）时，如果工作流作业启动的一个或更多操作正在运行，那么当前运行的所有操作都将停止。工作流定义可以包含零个或更多停止节点。 workflow-app xmlns=uri:oozie:workflow:0.2 name=ooziedemo-wf kill name=fail messageSqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]/message /kill /workflow-app 控制流节点 4.decision 决策控制节点：可使工作流确定要采用的执行路径。决策节点的工作原理类似于拥有一组谓词转换对（predicates-transition pair）和一个默认转换的 switch-case 块。谓词是按顺序进行评估的，直至其中一个评估为 ture 为止，同时还会进行相应的转换。如果没有一个谓词被评估为 true，则会采用默认转换。 workflow-app xmlns=uri:oozie:workflow:0.2 name=ooziedemo-wf decision name=master-decision switch case to=sqoopMerge1 ${wf:actionData(hiveSwitch)[paramNum] eq 1} /case default to=sqoopMerge2/ /switch /decision /workflow-app 控制流节点 5.分支-联接控制流节点（fork...join）--并发执行任务 workflow-app xmlns=uri:oozie:workflow:0.2 name=ooziedemo-wf fork na