【76页PPT】数据治理平台解决方案.pptxVIP

数据治理平台解决方案

某著名企业数据治理平台DStream

?兼收并蓄各类数据来源，丰富数据资产，实现优势互补，打通数据流向。?通过多源融合、多路择优、自主计算、网络爬虫等技术手段，大幅提升资讯数据及时性、准确性、全面性。?构建灵活多样的数据服务体系，满足下游系统多种数据需求，支持不同业务场景。?针对共性需求、热点需求，打造资讯业务专题，使资讯触手可及 数据资产数据生态数据服务数据质量

丰富数据服务形式与能力提升数据质量监控与择优降低对单一数据源的依赖打造自主品牌的资讯终端打通内外部各系统数据流统一资讯数据模型与标准避免重复的数据资源投入节约20%以上资源重复投入有效解决资讯数据繁杂难用充分融合和挖掘数据价值主动发现和优化数据错误避免因数据源变化影响业务全面支持各类业务系统需求建立可持续的资讯数据资产

第三代数据中心平台FinDig (2010年)第二代数据中心平台(2007年)第一代数据中心库(2018年)最闻科技2007年之前

DDS:数据转换设计系统DVS:数据校验监控系统DTS:数据采集跟踪系统DCS:数据多源比对系统DIS:数据融合服务系统DMS:数据管理服务系统DPS:数据终端平台系统DSS:数据同步分发系统 数据融合：采集和融合各种渠道和形态的数据来源，打造统一模型标准和质量监控机制的数据仓库体系。数据应用：建立灵活高效的数据发布服务管理系统，打造自主品牌和高可控的资讯数据服务终端平台。应用融合

DMSDPS DDS融合应用DIS

数据源支持广泛分布式调度平台完整的产品体系融合大数据平台数据加工套件库增加大数据特性数据处理流式化

高时效?支持批量数据定时处理??支持增量数据实时跟踪处理通过CDC技术实现数据源变动的零延时监控多形式?结构化数据和非结构化数据、厂商数据和自产数据、??传统关系型数据、海量大数据多种形式数据处理网站、邮件、文件(PDF)、图片、终端、接口智能化采集处理能力全监控?数据库跟踪、服务器状态、作业运行与负载压力监控??数据质量跟踪校验预警监控多源融合比对择优异常提醒与运维监控 某著名企业?真正的分布式调度集群架构?实现服务集群和任务分片2层维度分解?支持对作业进行CPU\内存资源细粒度控制,确保高效稳定技术优势结构化\非结构化分布式集群架构批流一体模式数据库\作业\血缘高可用

?金融资讯数据有二进制文件、文本等大字段，这些大字段不适合推送到Kafka等消息总线?金融资讯数据的处理经常需要用到关联查询，如果采用纯流式，每条数据在处理时需要单独去查询，这样效率非常低。?同样，数据处理完成后需要写入到数据库时，也需要批量插入这样效率最高?资讯数据模型众多，数据清洗逻辑复杂，运维易操作要求高，大量硬编码模式，可操作性低 ?数据的批\流处理能力?具备实时窗口统计能力?Flink?Beam大数据集群框架金融资讯数据不适合于类似框架框架主要能力

?Mesos?ElasticJob?Mesos-master?Mesos-slave?JobSchduler?JobExecutor基于Apache开源框架分布式弹性资源管理分布式作业调度管理

Mesos:分布式资源管理框架ElasticJob分布式作业调度框架

作业失败自动重试作业资源按需配置集群资源弹性扩容作业服务器动态分配

充分利用集群资源多分片高并发模式大幅提升处理效率业务数据顺序保证

1、CDC服务监听数据源变动2、变动数据推入kafka对应topic3、转换作业监听kafka对应Topic变动数据记录4、转换作业执行数据清洗逻辑5、转换作业推送每条数据成功/失败状态到Kafka6、数据处理结果回写到Mysql数据库,提供管理支持

?每一行记录的处理都是并行的，不是串行的，不需要等待?一行记录处理完成，会通过putRow方法，直接送到下一个处理组件?整个处理过程中，不需要序列化，不需要内存复制，没有效率损失?所有执行过程是可重复执行 ?资讯数据除了新增,还有大量更新和删除操作?同一一条记录的多次变动，处理过程要保持顺序。?多次执行，结果冥等(多次执行结果一致)ETL并行处理的批模式金融资讯数据特点

?金融资讯数据转换过程中，业务逻辑复杂，如果纯编码方式进行处理，开发效率低，测试周期长，成本高。需要图形化工具来设计转换业务逻辑。适用于金融数据处理的组件。提供了提高处理效率的组件。?DSTREAM还优化了部分KETTLE原生组件。?对于ETL任务的运