大数据基础技术详解.pptxVIP

知识点：大数据的基础技术;;1.分布式计算

相对于集中式计算而言的，将需要进行大量计算的项目数据分割成小块，由分布式系统中多台计算机节点分别计算，再合并计算结果并得出统一数据结论。

分布式计算的目的在于分析海量的数据，例如从雷达监测的海量历史信号中分析异常信号，从淘宝“双十一”实时计算各地区的消费习惯等。;2.分布式文件系统

分布式文件系统是将数据分散存储在多台独立的设备上，采用可扩展的系统结构，多台存储服务器分担存储负荷，利用元数据定位数据在服务器中的存储位置，具有较高的系统可靠性、可用性和存取效率，并且易于扩展。

分布式文件系统的关键技术如下：

1）元数据管理

2）系统高可扩展技术

3）存储层级内的优化技术

4）针对应用和负载

;3.分布式数据库

将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。

分布式数据库系统可以由多个异构、位置分布、跨网络的计算机节点组成。每台计算机节点中都可以有数据库管理系统的一份完整或部分拷贝副本，并具有自己局部的数据库。多台计算机节点利用高速计算机网络将物理上分散的多个数据存储单元相互连接起来，共同组成一个完整的、全局的，逻辑上集中、物理上分布的大型数据库系统。

;4.数据库和数据仓库

数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。

数据库是按照一定数据结构来组织、存储和管理数据的数据集合。

数据仓库所在层面比数据库更高，换言之，一个数据仓库可以采用不同种类的数据库实现。

;5.云计算技术

云计算（CloudComputing）是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。

;6.虚拟化技术

虚拟化是指把硬件资源虚拟化的技术，实???隔离性、可扩展性、安全性、资源可充分利用等。但看似不相关的东西，背后却依然有千丝万缕的关系。

说到虚拟化，一般是指将物理的实体，通过软件模式，形成若干虚拟存在的系统，其真实运作还是在实体上，只是划分了若干区域或者时域。而云计算的基础是虚拟化，但虚拟化只是云计算的一部分。云计算是在虚拟化出若干资源池以后的应用。

虚拟化广泛应用与IT领域中，针对不同的资源，有着不同的虚拟化技术，如今我们可以给虚拟化大致分为四类：内存虚拟化、网络虚拟化、服务器虚拟化、存储虚拟化。

;ThankYou!