分布式数库-数据立方软件介绍.doc

分布式数据库-数据立方软件介绍 一、软件简介 云创存储公司基于多年对海量数据存储和处理的技术积累,推出数据立方软件平台。数据立方软件平台旨在为海量数据处理提供企业级的数据管理功能，它能满足广大应用场合的海量数据处理需求，提供存储，检索和挖掘功能，响应快速、高可靠、易扩展。使用数据立方软件平台，用多个普通机器就可以达到价格昂贵的高端小型机的效果，并已在移动通信数据处理，城市视频监控等领域广泛应用。 本文档简要介绍了数据立方软件平台的产品特性，产品架构，云技术以及抗灾容错性。它说明了数据立方软件平台管理海量数据的优势，阐述了面对海量数据，企业级业务如何获益于数据立方软件平台。 二、软件规格说明 数据立方云计算一体机软件规格说明 规 格 说 明 项目 内容 可管理的数据总量 可高效管理超过万亿条的记录。 实时索引的数据流量 支持100Gbps以上量级的数据流实时索引，单节点数据入库索引速度可达10MB-20MB/s 任意关键字段实时创建索引 根据提供的表结构解析元数据，并根据提供的任意关键字段实时创建索引。 可移植性 Java语言实现，具有跨平台性，一次编程，任意操作系统都可运行。 查询效率 百亿条记录秒级响应，可支持对万亿条记录进行实时查询 支持简单SQL组合查询 采用和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。 负载均衡性 根据机器负载自动进行负载均衡。拔掉或增加一台节点后，仍能均匀地向各处理节点分发数据。 支持并发查询 支持并发查询，查询请求都能正常下发执行、且都能正常返回结果 数据准确性 查询条件相同情况下，每次查询结果相同。 稳定性 系统连续运行7*24小时，无任何故障， 所有周期任务均正常执行，且执行结果正确。 可靠性 没有单点故障，任意节点宕机，系统工作正常，可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。 扩展性 既可以在很小规模机器上跑,也可以在成千上万台的机器上运行，而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。 分布式计算能力 集群能增加节点、并且能正常执行查询任务，在流量没变、资源增加的情况下，增加机器前后，查询任务耗时按比例降低。 支持对外接口 提供专用API、Web访问和Web Services接口进行对外数据交互操作。 监控功能 提供web界面对分布式文件进行监控，支持查看、下载索引文件和元数据文件。 三、软件接口说明 接口名称 参数 用途 单条、多条记录入库接口 表名、记录 用于根据表结构，插入对应的单条或多条记录 带有记录的文件导入接口 表名、文件路径 用于根据表结构，导入带有记录的文件，将记录入库的接口 查询接口 时间戳、表名、其他查询条件（sql语句） 用于根据时间戳、表名等查询条件，过滤出符合的记录 单条、多条记录入库webservice接口 Webservice地址、表名、记录 用于根据表结构，通过webservice方式，插入对应的单条或多条记录 带有记录的文件导入webservice接口 Webservice地址、表名、文件路径 用于根据表结构，通过webservice方式，导入带有记录的文件，将记录入库的接口 查询webservice接口 Webservice地址、时间戳、表名、其他查询条件（sql语句） 用于根据时间戳、表名等查询条件，通过webservice方式，过滤出符合的记录 四、性能测试 入库性能： 产品 入库数据量（条） 入库时间（ms） 数据立方 5000 1,210 1万 1,320 10万 2,336 50万 11.133 200万 63,909 2000万 314,325 5000万 880,120 1亿 1,564,963 4亿 4,850,823 8亿 8,731,481 查询性能： 产品 入库数据量（条） 查询时间（ms） 数据立方 5000 1,012 1万 1,033 10万 1,350 50万 1,397 200万 1,339 2000万 1,356 5000万 1,410 1亿 2,679 4亿 8,752 8亿 15,431 五、软件应用范围 ( 安防工程（平安城市） ( 移动网络优化 ( 娱乐行业 ( 媒体 ( 大中型企业整体信息化服务 ( 中小型企业门户网站 ( 商业智能 ( 系统集成 (