PingCAP-马晓宇-使用 TiDB 列存引擎进行实时数据分析.pdfVIP

使用 TiDB 列存引擎进行 实时数据分析 马晓宇@PingCAP 马晓宇，PingCAP 实时分析组负责人，负责 TiDB 列存引擎 TiFlash 的研发。曾担任 Quantcast SQL 平台和网易杭研大数据 插入头像 基础架构组 Tech Lead。关注分布式系统以及数据库。 数据分析平台需求 • 分析平台有诸多维度的需求 • 可扩展的存储和计算力：多业务数据集成 ，大量数据存储 ，分析和服务 • 中短程 ，中高并发查询 ：用于数据服务层 ，借助应用服务器以网页或移动设 备提供展示 • 中长程 ，中低并发查询 ：用于数据加工，模型构建等低频批量计算 • 混合查询 ：即席查询，数据探索，或者综合查询业务；形式无法预估 ，尽可 能快 • 敏捷 ：尽可能简单，减少数据加工流转的周期，更实时的查询 数据平台 离线分析 / BI 建模整理 数据孤岛 数据服务 ETL ETL Binlog / CDC ETL 实时服务 数据分析 / 服务 Icons made by Eucalyp, prettycons from Flaticon 为何如此复杂 • 各个组件特性不同，组合才能满足需求 • 传统关系型数据 ：较小的存储规模 ；服务在线业务或者数仓精化后数据的高速服务 • NoSQL ：大量数据存储 ，用于高速点查点，无法胜任复杂查询 • 数据湖 / 分析型数据库 ：胜任海量存储和复杂分析 ，但无法胜任高频数据服务 • 不同数据存储之间无法无缝衔接，需要数据移动 • 更糟糕的是，类似 Hadoop 这样批量导入系统需要复杂的 ETL 才能同步变更数 据 • 接入一个新的数据源并不是简单的事情 复杂性 OR 新鲜度 OR 一致性 OR TiDB HTAP 方案 • TiDB 是一款分布式 HTAP 数据库 • 支持方便的横向扩展 • 高吞吐 • 分布式事务支持 • 高可用 • 行列混合引擎 • 关系型模型 • MySQL 兼容的 SQL 支持 • 索引支持 • ACID 支持 TiDB HTAP 方案 • TiDB 是一款分布式 HTAP 数据库 ，同时兼具交易和分析两种能力 • 数据库领域国际顶级开源项 目 • 截至 2019 年 8 月，已被 500 余家不同行业的领先企业应用在实际生产环境 ，涉及互联网、游戏、银行、保险、证 券、航空、制造业、电信、新零售、政府