对公数据集市项目培训材料.pptx

对公数据集市介绍对公数据集市项目组2014年1月目录数据仓库概述05030706010402银行业务简介对公集市背景及目标对公集市架构介绍对公集市功能介绍补录与产品、报表重跑对公集市下游介绍 目录数据仓库概述07040105060203银行业务简介对公集市背景及目标对公集市架构介绍对公集市功能介绍补录与产品、报表重跑对公集市下游介绍 数据仓库概述数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。数据仓库的四个特点： 1）面向主题 2）集成 3）非易失 4）随时间变化面向主题操作系统是面向事务处理的。事务处理关注的是整个事务操作流程，即操作系统是围绕事务操作流程来组织数据的。数据仓库是面向主题的。主题是管理人员分析问题的重点。面向主题就是所有的数据都是根据主题来组织的。即数据仓库的数据都是围绕分析的重点来进行组织数据的。面向主题操作系统数据仓库票据客户信用证协议贷款产品集成集成是数据仓库最重要的特性。集成并不是简单的把数据聚合在一起，还要消除数据的不一致性。由于数据仓库是面向主题的，一个主题下可以包含多个源系统的数据，只有统一各个源系统不同的编码，才能在同一个主题下汇总、分析数据，从而消除不同系统间的信息孤岛问题。操作系统数据仓库客户 A：A1性别 男：M机构 O：O1客户 A：A性别 男：M机构 O：O核心MAPPING客户 A：A2性别 男：0机构 O：O2信贷…客户 A：A3性别 男：1机构 O：O3国结非易失操作系统是实时、事务级的更新和小数据明细的查询。数据仓库是定期、批量更新和大数据汇总查询的。由于数据仓库一般并不会更新历史数据，所以数据仓库是非易失的。操作系统数据仓库修改查询访问载入增加删除随时间变化操作系统一般只会保留数据的必威体育精装版记录。数据仓库需要保留各个历史时点的数据，已便于对数据在时间维度上进行分析、挖掘。操作系统数据仓库时间期限：近三个月记录更新日期戳可有可无时间期限：5~10年复杂的快照数据时间维度数据仓库的两种建设方式自顶向下：先建设数据仓库，再建设数据集市自底向上：先独立建设数据集市，在统一维度总线的基础上合成数据仓库自顶向下自底向上对公集市零售集市风险集市…统一维度总线数据仓库对公集市零售集市风险集市数据仓库…核心信贷国结核心信贷国结……一般银行业数据平台架构数据架构中的关注点（五个维度） 缓冲层 基础层 汇总层 应用集市层目标服务数据加载；直接提供基于源系统结构的简单原貌访问；长期的，细节的，整合的数据存储；为BI环境中的各类业务需求提供支持相对通用，具业务意义的初加工数据；作为上层应用数据加工的基础，或供业务人员直接访问；服务特定应用原则简单处理，不考虑整合；关注保留策略；面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式偏源系统模型； 少量数据保留短暂历史；部分数据保留全量面向主题设计；偏范式化；长期保留历史；初步数据加工；分层设计；形式各异，依具体应用不同；重点理解源结构主题定义框架设计整合策略实施方法应用筛选应用提炼整体性一致性用途业务原貌查询即时报表数据质量检查灵活查询整合规则检查常规报表灵活查询业务规则检查特定应用上报数据指标数据报表数据查询数据挖掘数据参数数据数据集市（DM）管理会计数据集市风险管理数据集市客户关系数据集市财务管理数据集市经营管理数据集市其他业务数据集市核心信贷国结信用卡网银基金代销....数据架构之EDW数据平台面向应用，按需定制可分为内部集市和外部集市可通过反范式提高响应性能可为汇总层提供扩充依据视情况保留较长历史EDW供统一的业务口径避免集市的重复加工随着应用建设逐步完善业务统计口径变化，ETL会随之变化视情况保留较长历史LDM汇总数据账户汇总产品汇总渠道汇总交易汇总客户汇总面向整合主题设计标准化数据3NF设计保留较长历史整合数据层（LDM）协议团体事件账务产品渠道为ETL方便设计的专用层，可加载增量或全量数据在此层完成数据同构化数据原样加载，保持与源结构一致一般按照业务系统进行命名识别可保留部分最近数据以供重新加载数据缓冲层（FDM）基金代销核心信贷国结信用卡网银数据集市从前面一般银行数据仓库的架构可以看出，数据集市是数据仓库的一个子集，是为特定的分析应用而建设的。数据集市根据所处位置的不同分以下几类：源系统数据仓库核心仓内逻辑集市信贷数据缓冲层整合数据层共性汇总层仓外物理集市国结信用卡仓内物理集市网银基金代销....目录数据仓库概述07040105060203银行业务简介对公集市背景及目标对公集市架构介绍对公集市功能介绍补录与产品、报表重跑对公集市下游介绍 银行对公业务资产业务（客户立场）： 活期：单位活期存款是指，不规定存款期限，客户可以随时存取，并按活