列存储数据库关键技术分析①.pdf

科技创新导报 2016 NO.36 Science and Technology Innovation Herald 信 息 科 学 DOI：10.16660/j.cnki.1674-098X.2016.36.106 列存储数据库关键技术分析① 王海波 (南通科技职业学院信息与智能工程学院 江苏南通 226007） 摘 要 列存储数据库具有广泛的应用价值，不仅能够进行数据的批量处理，还能够进行即时查询。由于列存储数据库能够满 ： 足人们对海量数据的存储要求，使数据在线分析变得得心应手，因此，研究列存储数据库关键技术十分重要。通过列存储数据 库发展现状、概述、特点以及应用等知识内容的研究，能够促进列存储数据库关键技术的发展。 关键词 列存储 数据库 关键技术 分析 ： 中图分类号 TP311 文献标识码：A 文章编号：1674-098X(2016)12(c)-0106-02 ： 当前，互联网技术发展迅速，我们已经进入了大数据时 为单位按照选择性进行排序，将数据的特征字段作为索引， 代，同时对列存储数据库提出了更高的要求，推动了数据存 设置个性化自定义索引设置，满足用户的不同索引要求[2] 。第 储技术的发展，使其满足企业和政府对数据的需求，同时， 二，压缩算法，压缩算法是列存储数据库的显著特点，通过 提供数据技术支持，加大对列存储数据库的技术研究，使其 压缩算法，能够实现数据文件的合理压缩，节约磁盘存储空 发挥出了重要的作用。该文的主要任务是对列存储数据库的 间，实现数据的大批量存储。由于列存储数据库中每一列数 相关内容进行整理，通过简单介绍列存储数据库的原理、概 据都是分开存储的，因而，根据数据特性，可以采用不同的 念、现状、特点等内容，为列存储数据库的发展提供重要依 压缩算法来提高压缩效率，提高压缩效果，使列存储数据库 据。 发挥出重要的作用。第三，数据迭代，通过数据迭代调用，可 以有效利用多核处理器提高运行效果，有效处理数据，提高 1 列存储数据库概述 数据处理的执行效率。第四，延迟物化，列存储数据库在执 列存储数据库的数据储存方式是以列存储架构为主，用 行过程中不需要解压数据，只是采用指针形式处理数据，保 户能够根据自己的需求，灵活地选择查询条件，进行批量存 证数据的完整输出，在数据输出之后，再进行数据解压，降 储与处理，提高工作效率，方便查询。不仅如此，还能够根据 低数据处理的复杂度，保证数据处理的方便、快捷，提高数 查询条件，自动形成统计报表，满足不同用户的需求[1] 。列存 据处理效率[3] 。第五，存储空间利用效率较高，列存储数据库 储思想在20世纪70年代中期被提出，到20世纪80年代开始 与其他数据库相比而言，数据完全是密集存储的，具有较高 展开研究，经过近些年的研究发展，列存储数据库技术日益 的压缩率，具有特定的压缩算法，不需要为数据的更新预留 成熟，在大数据时代发挥了重要的作用。列存储数据库关键 空间，能够实现存储空间的高效利用。总之，列存储数据库 技术主要包括3种，分别是物化数据技术、数据压缩技术以 具有显著的特点与优势，通过研究列存储数据库关键技术， 及成组迭代技术，通过此3种技术的研究发展，促进了列存 能够提高列存储数据库的存储能力。 储数据库的进步，使其被广泛应用于数据存储。列存储数据 库能够存储不同文件，并经过压缩算法，压缩文件数据，减 3 列存储数据库的优势 少磁盘的占用与开销，尽可能在有效空间内存储更多文件， 列存储