大数据云的数据交换共享平台的架构探索.pdf

星星环环科科技技

大数据云的数据交换共享平台架构探索

星环信息科技（上海）有限公司

李光跃

guangyue.li@transwarp.io

星星环环科科技技

近十年数据分析技术的发展历程

新一代的大数据技术软件栈星星环环科科技技

数据装载数据工作流数据资产可视化机器学习统计挖掘运维与

与加工开发管理报表建模开发监控

离线批处理交互式分析联机数据库机器学习深度学习图分析引擎流处理引擎

批处理框架高性能处理框架低延时流处理框架向量处理框架

MapReduceSparkFlinkTensorFlow

分布式文件系统分布式大表有哪些信誉好的足球投注网站引擎分布式缓存消息队列分布式协作服务

HDFSHBaseElasticSearchRedisKafkaZookeeper

短时任务资源管理框架资源隔离／调度／管理框架

YARNKubernetes

星星环环科科技技

大数据行业发展的概况

BigData3.0

n

iBigData2.0

m

d

A

BigData1.0

Development

星星环环科科技技

大数据云化是下一阶段技术发展的趋势

星星环环科科技技

云的特性

u按需使用

u云用户有自助使用IT资源的自由

u用户对资源或服务可以自助配置并自动化使用

u广泛接入