曙光XData大数据教战手册.docVIP

曙光XData大数据 曙光信息产业(北京)有限公司 教战手册作用大数据 背景介绍 是大数据 大数据”并不是一项技术，而是由于数据量和数据种类而逐渐衍生出来的一种现象。因此大数据在业内没有一个统一的定义不同、不同用户，站在不同的角度，对大数据的理解不一样。说大数据的定义，主要有下面两种：第一种是Teradata Manager》上给出的一个定义大数据超出了常用硬件和软件工具在可接受的时间范围内为其用户收集、管理和处理数据的能力。是麦肯锡给出的定义，它说是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。 的特点 大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。，容量只不过是大数据特征的一个方面，数据量的话，就无法深入理解当前围绕大数据所进行的讨论。“用现有的一般技术难以理解”这样的状况，并不仅仅是由于增大这一个因素所造成的。 的特征，可以用V开头的关键词来描述： 体积——Volume 截止目前，人类生产的所有印刷材料的数据量是PB，而历史上全人类说过的所有的话的数据量大约是当前典型个人计算机硬盘的容量为TB量级，而一些大企业的数据已经接近EB级。 ——Variety 数据的多样性可以把数据分为结构化数据和非结构化数据相对于便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。这些多类型的数据对数据的处理能力提出了更高要求。 密度低——Value 密度的高低与数据总量的大小。以为例，一部的视频，在连续不间断的监控中可能仅有一两秒如何的机器更迅速完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 速度——Velocity 这是大数据区分于传统数据的最显著的。根据“数字宇宙”的报告，预计到，全球数据使用量将达到ZB。在如此的数据面前，处理数据的效率就是企业的生命。 介绍 Xdata大数据一体机是一通用的海量数据处理平台，提供对结构化非结构化海量数据的组织和查询处理功能，满足用户对海量数据的过滤性查询、统计分析类查询和关联分析的处理需求。 data大数据一体机可广泛的应用在电信数据统计分析，互联网互联网的日志和用户行为分析，物联网网络的数据监控和追踪分析，金融交易数据的离线统计和挖掘领域。特性 data大数据处理机将数据存储单元和处理单元分离，通过构架高效的服务中间件，将底层采用无共享结构的数据存储节点，聚合成一个单一的数据处理系统映像，达到较高的数据读写并发度、计算并发度，良好的系统扩展性，可靠性和可维护性。结构如图： 31 XData系统结构 data向用户提供统一的类JDBC的客户端，向下管理分布在不同存储模块上的不同类型的数据，并提供简易的用户管理界面。Xdata系统的核心计算包括自动的服务注册和负载均衡，可扩展的数据划分和分布策略，高效的批量数据加载，通用的并行查询分析和处理引擎，结构化和非结构化数据的统一访问接口，不同类型数据之间的关联查询和检索，以及全方位的熊故障和恢复处理等多项技术。data的功能特性如下： 存储 data支持分级，以降低系统的总体持有成本即数据和数据的访问，分为在线、离线和备份三个存储级别，并支持数据在各级根据策略进行迁移。 数据类型关联分析 data支持和大表嵌套类等复杂的查询语句的处理。Xdata通过将复杂查询解析成在多个数据上的并行任务流，来提高复杂查询的处理性能。 data支持用户自定义的并行查询任务流，可以任意复杂的结构化/数据处理语义，以满足更广泛的应用需求。 处理架构 data采用无共享的架构，提供高速的数据能力。写入中，采用并行写入的方式，一定数据划分策略，将数据写入到后端数据节点。 data将查询语句分解成为多个数据模块并行执行的查询，的查询处理都在节点上并行的执行，充分利用无共享结构的计算并行度。data提供任务断点执行功能，意外情况时，失效任务自动恢复执行。 /MapReduce一体化执行 XData提供类SQL访问接口：有SQL 使用经验的用户无需额外学习即可很方便的使；XData提供SQL/MapReduce混合执行框架，提供跨平台的兼容性。 3.3 产品特点 高性能 采用Intel必威体育精装版一代的E5-2600系列处理器，处理器内部集成PCI-E控制器； 处理器之间采用更多、更快的QPI总线，大幅提升CPU之间协作效率； 16根DIMM插槽，支持DDR3内存，频率支持1600MHz(由使用的处理器型号决定)，最高可支持512GB内存； PCI-E总线提升到3.0标准，极大的提高了扩展性能。 高可靠性 具有高级内存容错功能； 支持多网卡冗余，系统正常时分摊网络流量，当其中一块网卡出现问题时，自动将其负担的工作切换到其他网卡； 机箱温度检测功能，随时检测机箱内部的温度以及系统风