行、列存储模型cache行为特性的测试与分析.pdfVIP

摘 要 近年来，CPU 的主频由于遵循摩尔定律，处理速度有了飞速的提高，但是 内存的访问代价并没有明显减少。这导致内存的访问逐渐变成了数据库管理系 统，尤其是内存数据库的性能瓶颈。这种情形下，为了提高处理器各级缓存的命 中率，进而改善各级缓存的利用，人们提出了一些数据模型，包括行存储模型， 列存储模型，混合存储模型 PAX （Partition Attributes Across ），数据变形（Data Morphing ），CSM (Clotho Storage Model)等。 在联机分析领域，数据规模远远超过内存和 CPU 各级缓存的大小，这就更 需要提高数据和指令的空间局部性、时间局部性，从而提高处理器 cache 命中率。 为了研究在 OLAP 领域，哪些因素会影响数据存储模型的微观 cache 行为特 性，本文做了如下工作： 1. 分析了行存储内存数据库 TimesTen 和列存储内存数据库 MonetDB 的查 询处理流程，以及如何获得它们的查询执行计划等，为设计实验打下基 础。 2. 学习了如何使用性能应用编程接口 PAPI 来获得处理器各级缓存统计指 标，比如第一层、第二层缓存的数据和指令失误数（cache miss ）等。 3. 研究了现代处理器上查询执行的微观流程，总结出了查询执行的总时间 公式，为实验的设计提供理论依据。 4. 学习了如何使用 Calibrator 获得处理器各级缓存的参数，比如，一次失误 导致的延迟，缓存的级数等。 5. 学习了如何使用性能分析、统计工具 PerfSuite 来监控处理器各指标，并 设计了实验，使用 TPC-H 基准测试，分别研究了顺序查询语句，选择 率，投影字段数目，多线程并行执行连接查询如何影响行存储模型、列 存储模型，并进行了相应分析，给出了数据模型和查询处理算法设计的 一些建议。   关键词： 数据存储模型，联机分析处理，处理器缓存，时间局部性，空间 局部性   Abstract During recent years, the clock frequency of processors follows Moores Law, therefore, the processing ability of the processors is improved a lot, and however, the cost of access to memory hasn’t decreased proportionally. All this make access to memory become the performance bottleneck for database management systems, especially for the memory-resident database systems. In this situation, making the hit rate of CPU’s cache as high as possible become critical, to achieve the target, then making better use of CPU’s caches, people propose some data storage models, including row storage model, column storage model, hybrid storage model that is called PAX, Data Morphing, Clotho Storage Model etc. In the On-Line Analytical Processing domain, the scale of data is much larger than the size of CPU’s caches, this ma