超融合时序数据库的方案与思考.pptx

timestamp cpu free_mem net_rssi battery host region 2017-01-01 01:00:00 70 500 -40 80 MyServer West 2017-01-01 01:10:00 71 400 -42 80 MyServer West 2017-01-01 01:20:00 72 367 -41 80 MyServer West 2017-01-01 01:30:01 68 750 -54 79 MyServer West 时序数据是记录对象随时间变化的数据： • Metrics / Fields：监控指标项，如CPU 、free_mem等； • Tags：监控指标对应的元数据，一般用于描述数据来源； • Point / Data：监控指标项在不同时间点产生的值； • Time Series：一台设备的一个监控指标项， 随时间产生的多 个指标值； 时序数据有着明显区别于交易类数据的特点： • Time-centric：所有数据都带有时间戳； • Append-only：基本是顺序insert写入； • Recent：操作都集中在最近时间的数据 ，早期数据极少操作； 什么是时序数据？ 1:10:00 1:10:00 1:20:00 1:30:01 cpu battery 85 80 75 70 65 60 Metrics / Fields Point / Data Timestamp Time Series Tags 3 操作集中在最近数据 ，老数据 访问频率低 大量设备产生的数据量巨大 时序数据查询以一段时间内某 种维度的聚合查询为主 数据具有保留期限 ，过期数据 可以删除 数据都带时间戳， 且基本有序 数据写入后基本不会修改 大量写操作， 少量读操作 设备以固定频率上报数据，数 据具有一定的可预测性 时序数据的特点 4 时序数据的使用场景 环境监控 智慧交通 智慧工厂 能源管控 智能楼宇 智能运维 5 5G和物联网的发展使传感器数据呈爆发式增长 随着可穿戴设备 、智能家电 、自动驾驶汽车等设备与 应用的发展， 促使数以百亿计的新设备接入网络 。预 计到2025年， 全球物联网设备基数预计将达到754亿 台， 较2017年的200亿台左右， 复合增长率达17% 。 业务从数字化走向智能化， 智能制造 、能 源管控 、智慧交通 、环境监控 、智能楼 宇 、智能运维等 ，催生对传感器监控数据 的高价值使用需求 。 在智能驾驶技术发展的驱动下， 每一辆 行驶的智能驾驶汽车都将成为移动的数 据中心 。预计到2025年， 每辆汽车每天 都将会产生5TB-20TB以上的数据 。 随着5G和物联网的发展， 传感器数量及监控数据量呈爆发式增长， 数据管理的难度和成本越来越大 。 6 时序数据是物联网数据处理平台的核心数据， 时序数据库是存储和处理时序数据的核心组件 ，主要价值有： • 提升时序数据的写入性能：是关系型数据库的5倍以上； • 提升时序数据的查询分析的性能：是关系型数据库的3倍以上； • 有效降低时序数据的存储成本：是关系型数据库的20%以下； 时序数据库在物联网数据处理平台中的位置 中心 时序数据库 边缘 边缘计算 边缘 边缘计算 数据采集 数据存储 、处理及分析 数据应用 时序预测 异常检测 数字孪生 边缘 时序数据库 边缘 时序数据库 安全安防 生产管理 厂区监控 产品品控 数字孪生 智能楼宇 设备 传感器 环境 设备 传感器 环境 不良根因分析 智能看板 中心 7 物联网需要管理多样化数据源， 单一数据库不能满足要求 – 存储成本大 – 维护成本高 – 写入吞吐低 – 查询性能差 OLAP , , , , 需占用大量机器资源 需要在上层人工分库分表 很难满足时序数据的持续写入压力 海量数据的聚合分析性能差 – 不能高效管理设备元数据 – 不能很好的处理乱序数据 – 缺乏时序分析算子 – 复杂的建模过程，必须进行预建模 NoSQL 时序数据库 单一数据库不能满足多样 化数据管理要求 ，需要同 时使用多种数据库系统。 – 没有标准化的语言 – 复杂查询效率低下 – 数据检索不一致 – 不能管理设备元数据 存在多样化的数据源 需要管理多种不同类 型的数据。 典型物联网平台架构 OLTP 8 , 指