大数据研究技术层面和主要研究内容.pdf

第一部分：大数据处理的基本特点 主要介绍大数据处理的主要特点和研究原则 第二部分：大数据研究技术层面和主要研究内容 主要介绍大数据研究所涉及的各个技术层面以及各 层面下主要的研究内容和热点问题 第三部分：大数据并行处理技术研究 简要介绍本课题组在大数据方面所开展的一些工作 大数据是云计算的两大核心内容之一 云计算的主要目标是：用集中管理的巨大计算资源和计算能力 1）为小粒度应用提供资源共享； 2）为大粒度应用(主要是大数据应用)提供大规模计算能力 基于云计算的共享应用与服务 基于资源 基于资源 基于资源 基于资源 共享的 基于大规模计算 共享的 共享的 共享的 基于资源共享 小粒度应用 资源的大粒度应用 小粒度应用 小粒度应用 小粒度应用 的小粒度应用 云计算资源与平台 大数据是云计算的两大核心内容之一 云计算应用与服务 小粒度应用与服务 大数据应用与服务 查询分析挖掘 虚拟资源池 云 云 并行算法 安 计 弹性资源调度管理 全 算 并行计算框架 管 管 理 理 虚拟化 分布式存储 云计算资源与平台 什么是大数据？ •Wiki百科：big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools 大数据意指一个超大的、难以用现有常规的数据库管理技术 和工具处理的数据集 •IDC报告：Big data technologies describe a new generation of technologies and architectures, designed to economically extract value from very large volumes of a wide variety of data, by enabling high-velocity capture, discovery, and/or analysis. 大数据技术描述了一种新一代技术和构架，用于以很经济的 方式、以高速的捕获、发现和分析技术，从各种超大规模的 数据中提取价值 大数据处理技术的重要性 大数据(Big Data)应用需求 出现越来越多的大数据应用和行业需求。2008年，在Google 成立10周年之际， 《Nature》杂志出版一期专刊专门讨论未 来的大数据（Big Data）处理相关的一系列技术问题和挑战。 大数据处理技术的重要性 未来10多年数据将急剧增长