Hive开发规范分析.docxVIP

ABC项目Hive开发规范ABC架构图Oracle包或过程转换成Hive脚本图具体案例：Oracle建表脚本.sqlHive建表脚本.sh Hive程序脚本1.sqlB、Oracle程序包.sqlshell调度脚本.shHive程序脚本2.sqlC、Oracle存储过程.sqlshell调度脚本.shHive程序脚本.sql项目文件夹命名规范项目文件夹命名规范项目英文名称缩写如ABC作业成本项目：abc_cost程序文件夹命名规范p_项目名称_模型名称_Param_Job如ABC作业成本项目：p_abc_waybill_model_Param_Jobshell脚本文件命名规范shell建表脚本文件命名规范p_项目名称_模型名称_Tab.sh如ABC作业成本项目：p_abc_waybill_model_Tab.shshell调度脚本命名规范一级调度脚本：p_项目名称_程序名称_Param_Job.sh (只调sql脚本)二级调度脚本：p_项目名称_程序名称_Param_Job_run.sh (只调一级shell脚本)总调度脚本：p_项目名称_模型名称_Param_Job_Total_run.sh (只调二级shell脚本)如ABC作业成本项目：一级调度脚本：p_abc_waybill_input_Param_Job.sh二级调度脚本：p_abc_waybill_input_Param_Job_run.sh总调度脚本：p_abc_waybill_model_Param_Job_Total_run.shsql脚本文件命名规范Sql程序体脚本文件命名p_项目名称_模型名称_程序名称_Body.sql如ABC作业成本项目：p_abc_waybill_model_input_Body.sql临时表命名规范项目名称_模型名称_程序名称_TMP如ABC作业成本项目：abc_waybill_model_input_tmp01注意：在hive中临时表建成内部表，需要时创建不需要时删除。数据类型如下：时间：STRING整形：INT, BIGINT字符串：STRING浮点：DOUBLE基表命名规范项目名称_BSL_模块名称_程序名称如ABC作业成本项目：abc_bsl_waybill_model_input基表数据存放路径：/result/系统编码/数据库/bsl/表名如ABC作业成本项目：/result/fin_abc/fin_abc/bsl/abc_bsl_waybill_model_input案例如下：注意：在hive中基表建成外部表，因为外部删除表结构不会删除数据。数据类型如下：时间：STRING整形：INT, BIGINT字符串：STRING浮点：DOUBLE结果表命名规范项目名称_fact_模块名称_程序名称如ABC作业成本项目：abc_fact_waybill_model_input结果表数据存放路径：/result/系统编码/数据库/fact/表名如ABC作业成本项目：/result/fin_abc/fin_abc/fact/abc_fact_waybill_model_input案例如下：注意：在hive中结果表建成外部表，因为外部删除表结构不会删除数据。数据类型如下：时间：STRING整形：INT, BIGINT字符串：STRING浮点：DOUBLE配置表命名规范项目名称_rel_表名称如ABC作业成本项目：abc_rel_product_split_rule配置表数据存放路径：/ods/系统编码/数据库/rel/表名/表名如ABC作业成本项目：/ods/fin_abc/fin_abc/rel/abc_rel_product_split_rule/abc_rel_product_split_rule案例如下：注意：在hive中配置表建成外部表，因为外部表删除表结构不会删除数据。维度表命名规范项目名称_dim_表名称如ABC作业成本项目：abc_dim_asu_prod配置表数据存放路径：/ods /系统编码/数据库/dim/表名/表名如ABC作业成本项目：注意：在hive中维度表建成外部表，因为外部删除表结构不会删除数据。日志记录格式Hive日期表结构如下：记录方式如下：注释表和字段的注释都必须使用comment语句加以注释。例如：WAYBILLNO STRINGCOMMENT运单号Partition列Hive Partition列在Data中并不存储，这会导致当以文件形式对外提供数据时，数据会有缺失，为此，我们对所有的Partition列冗余存储。示例：当以列名为type的列作为partition列时，我们除了保存type列外，增加一列hp_type列做为partiiton列。字符集Hadoop