23评测数据自动化整理分析并生成对比图表.DOC

基于内存的NoSQL分布式数据库技术研究项目 自动化测试系统设计方案 Version?: 1.1.0 2012-06-29 By 中科大移动云计算系统实验室 DOCUMENT HISTORY Ed. Version Author Change 1 1.0.0 庄洁琼 Initial 2 1.0.1 孟宁 整理了一下内容结构 3 1.1.0 庄洁琼 根据新的设计更新了方案  目 录 一、需求分析 1 1.1 目的 1 1.2 目标 1 1.3 基本测试内容要求 1 1.4 数据库的基本性能测试 1 二、系统概要设计 2 2.1自动化执行脚本 2 2.2性能评测程序设计 3 2.3评测数据自动化整理分析并生成对比图表 5 三、详细设计 5 3.1 性能评测程序主要测试用例接口函数 5 3.2 api.h文件接口函数 6 3.3 dbapi.h文件接口函数 6 3.4 sqlapi.c文件接口函数 6 一、需求分析 1.1 目的 Key-Value 存储NoSQL数据库之间以及基于Key-Value 存储NoSQL数据库与SQL数据库之间的性能，并对它们进行评测，选择一个最优的基于Key-Value 存储的NoSQL数据库。 1.2 目标 1.3 基本测试内容要求 从DB读写访问比例、查表行为进行测试。经过评估暂时选定Redis（C/S）、HamsterDB、Tokyo Cabinet（Hash方式和数组方式）、Tokyo Tyrant+Tokyo Cabinet（C/S）与SQLite进行测试对比分析. 1.4 数据库的基本性能测试 按照与华为进一步需求对接，我们将第一阶段整个测试流程划分为4部分，10个项目。我们将最终提供所选的数据库在10个项目中的测试对比图，并且提供同一个数据库在可比较项目中的横向对比图。 读性能测试 随机读表(table_id)中某一行(row_id)的性能。 由于读取速度过快，我们选择随机读取若干表中，若干行的方法来测试。标准：行选择随机进行。 重复读表(table_id)中某一行(row_id)的性能 随机选择一个表的某一行，重复读取Number次。 iii. 顺序读取表k中若干行(row_range)的性能 重复N次测试。每次测试给定随机的表id以及顺序读的Range范围，随机选定一个开始位置，顺序读取Range范围的行，并且给出读取消耗的时间。 iv. 级联查找的效率 重复number次级联查找，求得平均值。每次级联查找测试时需要给定level和factor。其中level表示级联的层数，factor表示每次级联查找后扩放到下一级表的指数。 写性能测试 顺序写(更新)表k中若干行(row_range)的性能 重复写（更新）表(table_id)中某一行(row_id)的性能 随机写（更新）表(table_id)中某一行(row_id)的性能 不同读写比例的性能测试 读写次数之和不变（为100万），测试读写比例从99万：1万到50万：50万的性能差别。对每一个数据库进行同样的100万次读写，给出读写的时间，按照不同的读写比例绘制对比图。 4) 资源占有测试 写入10万条数据后，应用程序所占据的系统内存大小 按照最大Key和Value来构造数据，构造出10万条数据，测试进程占据的系统内存大小。该测试需分离开主测试程序，单独测试。 以满速工作期间,CPU负载情况. 测试在不对读写限速的情况下，各个数据库对CPU占有率的情况。 二、系统概要设计 本系统主要有性能评测程序、评测数据自动化整理及对比图表的生成程序。使用Makefile和shell脚本进行编译和自动化执行。 2.1自动化执行脚本 测试过程操作流程图如下： 图1 测试过程操作流程 source build.env : 环境变量设置 make :编译各数据库的测试程序生成可执行文件。 make test：此命令实现自动化编译运行和测试、测试数据整理及测试对比图表的生成和测试数据的备份，具体流程图如下: 图 2 执行数据库测试到打包成测试结果文件的自动化过程 分别依次执行并在屏幕上显示当前测试状态，以便于测试过程定位问题，当依次执行完几个数据库测试程序后生成对应的几个*.time文件，然后再将*.time文件作为输入产生*.data文件作为输出，并再将*.data文件作为输入，产生*.png文件作为输出即产生每个测试用例的测试结果对比图，最后将*.time、*.data、*.png及内存测试结果等文件打包成压缩文件并注明测试的时间日