大数据治理平台建设与应用解决方案.docxVIP

大数据治理平台

建设与应用解决方案

目录

目录

0大数据治理平台背景

②大数据治理平台应用场景分析

③大数据治理平台建设方案

④大数据治理平台行业案例

大数据时代到来，我们已被海量数据信息包围

大数据时代到来，我们已被海量数据信息包围

研发数据舆情信息数据

研发数据

舆情信息

数据

管理数据

刑侦信息

风险信息

舆情数据

第三方数据

持有大量用户数据，对数据资产的售出，将成为

行业的新增长点。

广告数据金

广告数据

监测数据用户信息各行业的金融信息流可结合第三方数据，

监测数据

用户信息

制造

从传统制造到互联网+的转型，大数据是核心动力

政府

有哪些信誉好的足球投注网站数据大数据已经成为国家战略，政府机构大数据将能够更好的

有哪些信誉好的足球投注网站数据

电力

社交数据大数据资产已经成为电力行业的关注重点，利用大数据在生产，营销，物资等多方面提高效

社交数据

现阶段我们已经应用了很多大数据技术

现阶段我们已经应用了很多大数据技术

实施了大数据项目，所采用的技术众多

模型算法

SparkHBase列存储

Storm流处理

BI分析数据挖掘

Hive

大数据存储应用广泛，具备大数据必备因素

现阶段大数据技术Hive、Spark、Storm、Hbase已使用广泛，解决了大数据存储问题。

ETL工具、FLUME组件负责大数据交换问题

大数据存储数据的传输问题也有大数据组件解决，如Flume,主流ETL工具等。

■数据BI、数据挖掘

通过数据BI软件、数据分析挖掘通过大数据平台的相

关组件也可以进行相关分析。

现阶段已经有了众多的大数据技术团队

现阶段已经有了众多的大数据技术团队

众多数据建设厂商，还缺哪个?

数据提供商

产品提供商

解决方案提供

商

平台提

平台提供商

数据分析厂商

业务算法提供

商

我们还需要哪些数据建设厂商?

■数据产品厂商，缺乏场景使用经验

数据平台厂商与数据应用厂商往往不是一家，平台厂商缺乏数据应用建设经验。

数据应用厂商不能理解平台内数据业务含义

具有涉密数据开发资质的厂商有限，但并不了解大数据平台内部数据的含义。

各厂商之间交换的数据质量得不到保证

大数据建设项目被分为数据平台、应用、业务等多个

独立项目和厂商，之间的衔接部分没有人管理，造成

数据质量差。

能否有效的解决大数据快速、透明化的使用

能否有效的解决大数据快速、透明化的使用

业务需求

·大数据平台没有创新需求点

·数据使用者无法理解数据模型

·平台建设厂商不懂数据

·拿到的使用数据根本没法用

·…....

业务需求集中响应

技术需求

技术需求

·大文件数据传输慢

·大数据量实时传输没有解决方案·没有统一的技术管理平台

·跨平台数据问题无法追述

·……

需要全面支撑的落地平台

管理需求

管理需求

·众多大数据厂商难以协调

·厂商管理之间的空隙没填补·数据质量问题来回推诿

.…

shuttmKstul

需要专业的大数据管理团队

目录

目录

0大数据治理平台背景

②大数据治理平台应用场景分析

③大数据治理平台建设方案

④大数据治理平台行业案例

大数据平台化的发展趋势与现状

大数据平台化的发展趋势与现状

传统的应用按照业务建设，一个厂商需要负责数据采集、存储、数据应用等全部过程；大数据时代，技术更加专注和专业，系统建设趋势是采用横向切分模式。数据中心集中建设需要解决“应用和平台分离”建设模式带来的新问题。

应用

百花齐放数据应用数据应用数据应用应用：我有数据分析经验，但是我拿不到

百花齐放

数据应用

数据应用数据应用

访问层存储层数据源厂商Z厂商

访问层存储层数据源

厂商Z

厂商Y转鞋厂商Y:

厂商Y

转鞋

厂商X厂商X:

厂商X

大数据项目实施中遇到的哪些问题?

大数据项目实施中遇到的哪些问题?

数据应用厂商

BI分析数据挖掘数据使用意理管理不规范：数据模型管理缺乏规范化体系，

BI分析数据挖掘数据使用

意理

批量导入实时同步

2)数据服务数据服务数据接入使用3使用不明确：由于数据业务特性与使用方法不统一，难以对结构化数据、半结构化、非结构化数据的快速集成和共

2)数据服务

数据服务

数据接入

使用

3

1数据管理

质量监控

大数据平台

临专题数据区基础数据区大数据平台建设厂商监控不到位：在实际数据运行中，会出现数据信息发生中断异常或数据量发生突然变化等数据

临

专题数据区

基础数据区

大数据平台建设厂商

数据源

场景一：建好数据管理体系，快速识别数据

场景一：建好