巨杉解决方案：新一代海量历史数据管理平台.pdfVIP

巨杉解决方案： 新一代海量历史数据管理平台  业务挑战—唤醒沉睡的历史数据  新一代大数据架构在传统行业IT 中的融合和演进成为重中之重。由于海量的结构化和 非结构化的历史数据是目前传统企业已经拥有的最重要的大数据资产，如何唤醒企业拥有的 海量历史数据、利用海量数据增强客户体验、强化风险分析、发现运营规律成为历史大数据 建设的焦点。海量的历史数据通常包括历史交易数据、历史管理(流程)数据、历史影像数据、 历史客户交互数据等等，其蕴含的巨大价值包括： • 提升客户体验，手机App 、线上直销和电商等导致线上客户的查询需求迅速增加， 尤其对于海量历史数据的灵活查询和统计需求迅速上升。 • 客户标签与画像，通过客户的历史数据分析客户的各个时间段的偏好属性与其基本 属性之间的关联。 • 大数据驱动的运营管控，需要保存更长期的历史管理数据和影像数据，并且更快的 发现业务运营上的问题。 • 大数据辅助风险分析，风险分析需要更长时间的历史数据支持，尤其是原始数据， 比如审计或司法部门要看到多年前某一时点（以天为单位）某业务系统某张表的原状（可称 时点快照）。 传统的企业IT 架构中ODS/DW 系统是数据处理的重点，ODS/DW 系统中通常会存储和 处理2-3 年历史结构化数据，包括数据的查询、统计、分析等,而非结构化的历史数据，以 及超过3 年以上的结构化数据往往由于数量太大，只能存到已光盘和磁带为主的归档系统而 无法充分加以利用。但是ODS/DW 系统并不适合用于处理海量历史数据，这是由于： 1. ODS/DW 系统基于传统通用关系数据库技术构建，所处理的数据超过一定量以后性能急 剧下降，需要成本高昂的专用一体机来处理，因此海量数据的处理成本往往限制了企业 对于更大量数据处理的渴望。 2. ODS/DW 系统基于关系型数据库技术，无法处理大量的非结构化数据。 3. ODS/DW 系统更专注于数据的集成和清洗，把生产数据变成企业管理角度所需要的主题 数据，但是对于随时变化的客户查询统计类业务、审计和司法调查类业务、以及各种需 要快速灵活变化的数据请求，往往不堪重负。 4. ODS/DW 系统的基础是模型，而互联网业务的迅速发展，使很多数据的存储和分析都无 法预先定义好完善的模型。 在上述业务需求的推动下，建设专门的历史海量数据管理系统已成为必然，它将重点解 决以下几个技术问题： • 海量的结构化和非结构化历史归档数据原来都放在磁带光盘上没有利用，历史数据 平台首先要解决多种类型的海量数据分布式存储问题，通过低成本的分布式集群为海量数据 存储提供高效稳定的平台。 • 现有ODS/DW 系统中已经累积多年数据，运行效率越来越低，而历史数据平台可以 把大量历史数据迁移出去，提供相对廉价的数据存储和计算压力卸载。比如把大量和业务主 题无关的、需求随机的数据分类查询、分析，多表关联查询，交互分析等业务拆分到历史数 据平台中处理，从而使数据仓库和历史数据平台各司其职，相辅相成。 • 由于移动客户端的使用增加，用户从移动App 上对更长期的历史数据查询与统计 需求越来越强烈，造成生产系统的查询压力陡然增加。成熟而稳定的历史数据平台除了卸载 历史数据查询和分析之外，也可以同时应对高并发的客户在线查询压力，从而成为多个高压 力生产系统的读写分离技术平台。下图以某商业银行的历史数平台为例，说明读写分离的方 式和各类不同应用同时访问海量的历史数据。 以一个有数十个业务系统的大中型企业为典型例子，每天产生数百GB 的增量数据传向 下游，而且需要定期提供全量数据查询和分析。历史数据管理平台要将所有系统每天的增量 与定期全量全部存储起来（这些增量是合成单位到天的全量快照的基础），并规划10 年以上 数据周期，其结构化数据量将达到近百亿条，而历年的非结构化的影像数据（比如图像、文 档、视频等）可以达到300TB-500TB 。历史数据平台首先保证这些数据的存储成本降低、可 以在线访问、能快速直接查询，还要能够保留数据与元数据的所有变化痕迹，针对汇总数据 进行交互式分析，实现所谓的数据全生命周期管理。 这就是新一代企业级历史数据管理的真正需求，它是银行新一代IT 建设工程中必不可 少的重要组成部分，是企业新一代数据架构规划的关键所在。  技术挑战  海