ETL开发指南V0.3.doc

ETL开发指南 开发流程 程序版本管理 保持版本唯一 所有程序源码在文档机上维护一套必威体育精装版版本，同时在测试环境和生产环境尽量不留源码，像Shell等无法进行编译的脚本性语言例外，以保证测试环境和生产环境程序的稳定。如果需要在测试环境和生产环境进行编译，则在测试或上线完成后需要将对应的源码删除。 开发测试阶段： 程序的开发和修改只能在开发环境进行，完成后上传到文档机进行管理。在测试和上线时只能从文档机获取程序，如果在测试环境进行测试时发现有程序需要修改的，需要记录下错误情况，然后到开发环境进行修改。 上线阶段： 在程序测试完成，具备上线条件时将相应模块打包存放到发布区。以维持每一个模块包历史版本的管理。 变更记录管理 程序变更记录通过两种方式进行同步管理： 程序添加变更注释 在开发程序时需要在程序头添加开发人员、开发日期、程序功能等注释 每次对程序进行变更时，要在程序头注释变更记录，注释内容包括变更人员、变更日期和变更内容说明；同时还要在修改的程序行、或程序块前后注释修改的人员、日期及内容说明，以方便查询和修改。 在程序外部进行记录 对于Shell、Perl、SQC等公共程序的源码，在后续工作中可能会牵涉到增加功能或修改功能的情况，需要建立一个公共程序变更管理Excel，在该Excel中要需要记录所有公共程序和配置文件的功能，并记录程序变更记录，以保证公共程序变更管理Excel中的变更记录同程序内部变更记录一致。程序变更管理模板如下所示： 对于每个表开发的Shell、Perl、SQC、DataStage等非公共程序维持现有的程序变更日志管理，用于对每个表的上线时间进行管理，方便以后可以查找到哪些程序在哪天进行了上线。 组长及项目经理监管 由于人员有限，不可能安排专人对版本进行管理，只能由开发人员在文档机上对各自修改的程序版本进行控制。但版本进行管理的工作会比较枯燥，并且会增加人员工作量，在管理初期可能会有人员重视程度不够，但为了保证版本的正确性，需要各模块组长对所有程序的变更进行监督管理，项目经理不定时进行抽查。 开发、测试及上线流程 开发人员在完成开发、配置、部署脚本及步骤后，要该将这部分输出物放到文档机上，采用文档机统一管理；将文档管理贯彻到开发、测试、上线每一个环节中。 测试方案设计人员在开发人员开发前要按照测试标准（会在后续的文档中提炼出适合中信ODS项目的测试标准）提出测试方案。将测试方案提交给相关人员（包括测试人员、开发人员等）审查，审查过程中相关人员要对测试内容的全面性进行审查，不断完善测试方案，确认没有遗漏时，再交给测试人员按照测试步骤完成测试。 测试人员拿到测试方案后，要严格按照测试步骤进行测试。测试过程中产生的问题要记录下来并反馈给开发人员，每一次修改都要同步文档机程序，测试人员只能从文档机上获取程序。 测试过程中按照中信银行运行部要求，完成测试报告和上线步骤，提交到运行部，审核通过后才能安排上线。。 上线人员进行上线时要严格按照上线步骤执行，并对每一个步骤执行完后进行验证。 验证人员要在上线人员上线过程中监督上线人员按照上线步骤正确执行，当发现上线人员操作错误时要及时提醒，并在上线完成后验证数据正确性。 ETL目录规划及命名规范 ETL目录规划 ETL 任务命名 根据不同ETL JOB规则实现的差异(在向目标系统加载数据时有一对一、一对多、多对一等情况，对于不同的JOB其加载策略与抽取方式也不相同),需要通过JOB的命名来进行约束与规范，以简化开发视图，降低维护成本，并对元数管理的标准化提供依据。数据加载策略与抽取方式具体的命名见下面的列表; 任务策略说明 数据库表处理策略： 加策略编号 加载策略名称 T1 全表覆盖加载 T2 按日期删除后追加 T3 主表加载[del、insert、update] T4 主表加载[insert、update] T5 历史拉链表加载 T7 初始化加载 T9 定期同步加载 TA 特殊时点加载 TB 预处理 TC 年终结转 文件处理策略： 处理策略编号 处理策略描述 处理手段 FO 文件预处理 F1 全量比对增量 DataStage F2 增量表覆盖 File Copy F3 全表覆盖 File Copy 处理周期： 处理周期编号 描述 处理手段 P0 每日 调度平台 P1 每周[周末] 调度平台、任务封装 P2 每旬[旬末] 调度平台、任务封装 P3 每月[月末] 调度平台、任务封装 P4 每季[季末] 调度平台、任务封装 P5 半年[6.30] 调度平台、任务封装 P6 年末 调度平台、任务封装 P7 初始化一次性加载 调度平台、初始化手工 P8 错误重跑时加载 P9 定期同步时加载 PA 年初 PB 历史数