涛思数据-陶建辉PB级结构化日志数据的高效处理.pdfVIP

大数据时代 数据采集后被源源不断的发往云端 物联网产业链 + + + 芯片模组 、终端 网络 、IoT平台 数据引擎 分析 ·应用 数据采集 边缘计算 （存储 ·查询 ·计算 ） 系统 IoT设备数量增长 IoT物联网市场增长 Gartner预计 ，2021年全球IoT设备数 2020年全球物联网市场规模将达到 量将达250亿 ，届时，物联网生成的总 1.7万亿美元, 2023年 ，全球数据库市 数据量将达到每年600ZB 场规模可超过500亿美元 通用大数据方案的挑战 ：低效 、复杂 、高成本 通常将开源的 Kafka, Redis, Hbase, MongoDB, 开发效率低 Cassandra, ES, Hadoop, Spark ，Zookeeper 等 因牵涉到多种系统 ，每种系统有 自己的开发语言和工具 ，开发精 大数据软件拼装起来 ，利用集群来处理海量数据 。 力花在了系统联调上 ，而且数据的一致性难以保证 。 运行效率差 非结构化数据技术来处理结构化数据 ，整体性能不够 ，系统资源 消耗大 。因为多套系统 ，数据需要在各系统之间传输 ，造成额外 的运行代价 。 运维复杂 每个系统都有 自己的运维后台 ，带来更高的运维代价 ，出问题后 难以跟踪解决 ，系统的不稳定性大幅上升 。 应用推向市场慢 集成复杂 ，得不到专业服务 ，项 目实施周期长 ，导致人力攀升 ， 利润缩水 。 物联网、工业大数据特征 ：时序空间数据 1 所有采集的数据都是时序的 6 数据以写操作为主 ，读操作为辅 2 数据都是结构化的 7 数据流量平稳 ，可以较为准确的计算 3 一个采集点的数据源是唯一的 8 数据都有统计 、聚合等实时计算操作 4 数据很少有更新或删除操作 9 数据一定是指定时间段和指定区域查找的 5 数据一般是按到期 日期来删除的 10 数据量巨大 ，一天的数据量就超过100亿条 TDengine 应运而生 TDengine 提供的功能 消 息 队 列 缓 存 数 据 库 流 式 计 算 数 据 订 阅 自带消息队列 ， 所有设备 实时数据库 ，历史数据库 对一个或多个数据流 必威体育精装版的数据 无需 Kafka 或其他 必威体育精装版记录实时返回 操作合一透明 实时聚合计算 可实时推送到应用 MQ 工业大数据的全栈