阿里巴巴大数据智能技术.pdf

阿里巴巴大数据智能技术 阿里巴巴数据技术及产品部 王赛 1 2 3 4 问题与挑战 Dataphin 关键技术变革 阿里数据中台普惠社会 问 题 与 挑 战 大 数 据 团 队 典 型 问 题 分析师 数据工程师 团队主管 如何高效使用数据 如何最优建设数据 如何招聘数据专家 大 数 据 之 路 的 挑 战 数据流失 存 数据资产 管 数据孤岛 通 计算性能 数据质量 实体识别 标签挖掘 跨数据源 异构 存储成本 研发效能 数据服务 业务应用 采集集成 规划设计 连接萃取 Dataphin ：让数据工作协同、智能化 让一切一起协作：数据工作台的崛起 Making everything work together: The rise of the data workbench。@The 2017 Big Data Landscape Matt Turck 国内专有云 国际公共云 国内公共云 Dataphin 产 品 架 构 管理及 面向业务的、基于主题的统一数据服务 服务层 统一数据资产及其管理 数据建设 管理方法论 数据层 垂直数据中心 全域数据中心 萃取数据中心 垂直数据处理套件 全域数据研发套件 数据连接萃取套件 OneService 数据采集管理工具 工具层 数据清洗及结构化工具 智能数据建模及研发管理工具 ID识别连接工具 OneID 数据同步集成工具 调度运维监控工具 标签画像生产工具 OneData 技术内核 业务逻辑模型 标准化数据定义 智能物理模型 智能计算框架 兼容多计算引擎 全流程一体化 向上多样化赋能场景 向下屏蔽多计算引擎 双向联动 ··· 从数据采集到数据服务全链路通 通用产品 +行业产品 +专享产品 公共云 +专有云+私有云 业务与产品技术协同互助 OneData方法论 OneID方法论 OneService方法论 数据标准化 技术