基于动态下采样策略的时间序列数据存储优化技术研究.pdfVIP

重庆大学硕士学位论文 中文摘要 摘 要 近年来，高采样率时间序列数据在实时或高性能计算场景中的数据量呈现爆 炸式增长，而且需要持久化存储以免数据丢失引起错误的分析结果。新型非易失 性存储器 （Non-Volatile Memory ，NVM ）可以提供持久化的时间序列数据存储。 然而，频繁地向NVM 写入高采样率时间序列数据会急速加快NVM 的寿命损耗。 同时，动态时间扭曲 （Dynamic Time Warping ，DTW ）算法作为常用时间序列数据 分析算法，由于其具有弹性匹配等优点，在时间序列数据爆炸式增长的背景下也 显得越来越重要。但是，高采样率时间序列数据会严重影响DTW 算法的效率并减 慢其分析过程，这使得时间序列数据的分析存储过程更具挑战性。因此，设计一 个针对高采样率时间序列数据、以NVM 为存储介质的存储优化技术具有重要意义。 为了实现高效持久化的时间序列数据存储与分析，本文采用可字节寻址的 NVM 作为主存，针对时间序列数据的特性和DTW 算法的不足，提出了近似动态 时间扭曲（Approximating Dynamic Time Warping，ADTW ）框架下的时间序列数 据存储优化技术：动态下采样 （dynamic downsampling ）策略。主要贡献如下： 第一，针对高采样率时间序列数据的存储与分析问题，本文提出了动态下采 样策略，通过利用平滑策略消除噪声、特征点提取策略降低采样率以及线性插值 策略保证完整性，使得在不严重影响DTW 算法精度的情况下，显著减少高采样率 时间序列数据的存储开销。 第二，为了增强动态下采样策略的性能，本文提出利用相对变化以及相邻数 据点之间的斜率变化移除非重要数据点，从而提高动态下采样策略的精度；通过 使用更高阶的内插函数，提高重构精度。 第三，针对时间序列数据在NVM 上的存储，本文提出基于可字节寻址的NVM 的内存存储方案：采用诸如相变存储器等NVM 作为本地DTW 算法分析的主存以 及持久性存储器。在该存储方案的基础上，本文还提出了相应的时间序列数据存 储技术。 最后，本文利用公开可用的时间序列数据集 （如心电图数据ECG 、气温数据 Air temperature 以及音频数据等 ）进行了一系列模拟仿真实验，验证了本文提出 策略的有效性。实验结果表明，动态下采样策略可以在大多数数据集上达到90% 以上的压缩率；而在最坏情况下，压缩率也可以达到80% 以上。此外，动态下采 样策略比现有研究中提出的策略更加精确且具有更小的CPU 运行开销。 关键词：时间序列数据；缩减采样；非易失性存储器；动态时间扭曲算法 I 重庆大学硕士学位论文 英文摘要 Abstract In recent years, the amount of high-resolution time series data in real-time or high-performance computing scenarios has increased significantly. These time series data needs to be saved stably, to avoid the wrong analysis results. The non-volatile memory(NVM) can provide time-series data persistent storage. However, frequently writing high-resolution time-series data to NVM will rapidly accelerate the lifetime loss of NVM . At the same time, the dynam