实时数据库历史数据存储结构及索引机制分析.docVIP

实时数据库历史数据存储结构及索引机制分析 　　摘要：随着计算机技术的发展，越来越要求数据库能够快速响应并存储海量数据，同时能够高效收集、压缩、存储、分析数据。传统的关系型数据库不再能够满足要求，实时数据库是实现海量数据采集的有效手段，实时数据库通过采用实时数据压缩算法以及特殊的历史数据存储索引机制，应对目前的需求。实时数据库推动了信息化从传统领域向新的领域发展，为企业生产、管理、数据分析、决策提供实时数据服务和多种数据管理。 　　关键词：实时数据库；索引；信息化 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）15-0008-02 　　1 实时数据库简介及应用背景 　　实时数据库是一种特殊类型的数据库，目前广泛应用于电力、石油、石化、交通、航空、水利、环保等重要领域，在“信息化与工业化融合”过程中发挥着重要作用。 　　目前数据库技术广泛应用于工业控制、企业MES环境、智能交通、智能楼宇、通信等领域。这些应用的特点主要有：维护大量共享数据和控制数据；有很强的时间性，要求在规定的时刻或在一定的时间范围内完成处理；而且，所处理的数据有一定的有效时间，过时则会有新的数据产生，所以，这种应用对数据库和实时处理功能及特性均有需求。但传统的数据库系统主要处理永久、稳定的数据，强调维护数据的完整性、一致性，考虑有关数据及其处理的定时限制。所以，传统的数据库管理系统不能满足这种实时应用的需要。 　　2 实时数据库的特点 　　实时数据库所面向的应用领域有如下特点： 　　1）单位时间内响应的数据量很大 　　例如：一个企业的SIS系统使用实时数据库来存储数据，需要处理的测点数量超过一万。这些测点的变化周期通常在1秒钟之内，即，超过一万点的数据在1秒钟之内要保存到数据库中。 　　2）存储数据的量大 　　实时数据库的核心就是对大量实时信息进行处理，大量的数据将占据大量的硬盘空间。如果同时处理一万点的系统，每 1秒钟存储一次，每次单点占用 8个字节，那么保存10年的数据量将有 10000*8*10*365*86400=25228800000000字节，接近 23TGB。 　　3）时效性非常强 　　由于每个需要处理的测点的值都与时间相关，一秒钟之后的数据与一秒钟之前的数据很有可能就不一样，所以在保存测点值的同时，必须通过某种方法将其对应的时间也纪录起来。 　　3 实时数据库的历史数据存储结构及索引机制 　　实时数据库的历史存储模块是整个实时数据库的核心的部分。对用户提供数据存储和查询的作用。该模块面对的需求有以下特点： 　　1） 数据量巨大。如果数据不设置压缩，一个测点一秒存储一次，那么一天就有86400条记录。每个数据库有10万个左右的测点。数据库运行时间都在几年以上。产生的数据量会很巨大。 　　2） 用户对数据的访问方式特殊，多数情况下用户查询一个测点一段时间的数据。如查看某个测点一天内的趋势。 　　3） 插入新数据并更新索引的效率必须非常高。因为在现实应用中实时数据库不停的写入新的实时数据。如果存储并更新索引的效率低，会影响整个数据库的效率。 　　4） 在不影响读写效率的前提下，必须尽可能地节省磁盘空间。 　　3.1 存储结构及索引机制 　　针对以上的需求特点，设计了特殊的存储和索引机制。主要特点如下： 　　1） 在磁盘中以页为基本单位进行数据存储。每个页的大小为4K。 　　2） 按照每条记录的时间戳建立索引，索引只访问到页，而不是页内的每条记录。 　　3） 每个页内存放的记录都是属于一个测点。并且页内所有的记录都按照时间戳严格升序排列。 　　4） 属于同一个测点的所有的页的时间区间，都不存在交集。如果由于特殊情况造成了交集，必须通过拆分、移动页，来避免交集。 　　5） 对于已经写满的归档文件采用B+树的数据结构组织索引。如果归档文件已经写满，重新生成B+树的索引。提高查询效率。 　　6） 对于当前活动的归档文件采用链表的数据结构组织索引。提高实时数据归档的效率。只需要将新的页的地址添加到链表的尾部即可。如果采用B+的索引方式，需要进行复杂的树的平衡操作，影响了写的效率。 　　整个实时数据库的存储结构如图1所示： 　　3.2 B+树的索引机制 　　B+树是B树的一个变种，因此必须先介绍B树。 　　B树也叫平衡多路查找树。B树是一个平衡多路查找树结构。与二叉查找树，平衡二叉查找树，红黑树等树结构相比虽然查找的时间复杂度相同都是O（logN）。B树是一种多叉的树结构，树的深度更低。降低了磁盘I/O频率，从而提高了访问及查询效率。 　　一个n阶的B 树 （n叉树）的特性如下： 　　1）树中每个结点最多有n个孩子（n=2）； 　　2）除根结点和叶子