用UNIX Shell写批量调度管理.pptVIP

* 用UNIX Shell写批量调度管理 2010-04-19 东南融通 软件开发五部 余模清 mqyu@ * 提纲 调度程序目标 实现的功能 应用环境 调度程序层次结构 关键代码导读 使用到的shell编程技巧 常用的shell编程元素 * 调度程序目标 调度维护无需编程，全配置 可以设置不同的并发量 批量出错不必全部重新执行所有脚本 可以灵活配置脚本的调度频率 有统一的日志跟踪调度执行过程 支持多种调度频率，最小调度频率：日 * 实现的功能 实现以日为最小调度单位的批量调度 支持定期执行的日批量、周批量和月批量，指定执行日期的批量 支持脚本的分组调度，每个组可以单独设置各自的脚本并发个数 调度策略完全可配置，可配置脚本的组，执行日期约束等 脚本支持所有在unix下可执行的程序和shell脚本，perl脚本和python脚本SQL脚本，BTEQ脚本等，并可扩展 记录执行日志 脚本执行出错后支持全部重新执行和从出错点恢复执行的选择 软件应用环境 大量的批量执行程序和脚本需要调度的项目。 最小批量调度单位为日 需要项目组自己写批量调度的项目或其他场合，软件依赖一个数据库来记录批量执行状态。 数据库没有限制，任何在unix可以使用的数据库支持标准的SQL就可以使用 * 调度程序层次结构 * 分组调度 程序调度 分组调度配置文件 程序调度配置文件 日志 用户界面 EssBase SQL 参数 存储过程 Perl Python 关键代码导读 programSchedule.sh * 使用到的shell编程技巧 函数和模块 使用信号在主程序和子程序间通信 唯一性的临时文件（用C扩展） * 常见Shell编程元素(程序） 常用于编程的命令 ls find grep sed tee echo awk * cat copy mv rm mkdir date ps kill 常用shell编程元素（逻辑控制） 条件执行 if /then/else/fi 分叉 case/esac 循环 for/do/break/continue/done while/do/break/continue/done 退出 exit * 常用shell编程元素（环境） env 获得环境变量列表 引用环境变量 $PATH 设置环境变量 export ETLDATE打开的文件 0：标准输入 1：标准输出 2：标准错误 * 常用shell编程元素（参数） $n shell 程序命令行中的第n 个参数，n为0-9，当n 为0时表示命令名 $# 命令行中参数的个数 $$ 本shell 命令的进程号 $! 最后一个后台进程的代号 $* 所有命令行参数（不包含$0) $@ 与$*相似，但其值不同（不包含$0) shift [n] 将命令行参数往左移n位(缺省1)，但$0不变 * 常用shell编程元素（文件操作） 每个程序执行都会从父进程继承三个文件（0，1，2） 可以用重定向方法改变其标准输入/标准输出和标准错误 管道对接（将一个程序的输出直接导向到另一个程序的输入） 将程序的输入重定向到shell脚本的后续行中 * Shell编程模块化 . Module.sh sh和 . 的区别 sh和.都执行脚本中的代码 但.保留脚本中的变量设置和函数定义给调用者，在脚本中设置的环境变量也会保留给调用者 * 变量问题 * #!/usr/bin/sh sub() { i=`expr $1 + 3` echo $i } i=0 while [ $i -lt 10 ] do f=`sub $i` echo f=$f,i=$i i=`expr $i + 1` done i=0 while [ $i -lt 10 ] do sub $i echo i(caller)=$i done 运行结果 * f=3,i=0 f=4,i=1 f=5,i=2 f=6,i=3 f=7,i=4 f=8,i=5 f=9,i=6 f=10,i=7 f=11,i=8 f=12,i=9 3 i(caller)=3 6 i(caller)=6 9 i(caller)=9 12 i(caller)=12 * * 必威体育官网网址须知：本文件及其书面或其他任何形式的附件乃以必威体育官网网址形式提供，其著作权归属于本公司，仅供阁下内部使用。未经过本公司的审核、确认及书面授权，阁下不得以任何方式在任何媒体（包括互联网）上公开引用或在阁下的任何资料中引用本文件及其附件中的任何数据和信息，不得以任何方式将本文件及其附件中的任何内容提供、披露给其他单位或个人。敬希阁下与我们共同遵守法律。 谢谢大家！ 任何