大数据处理及分析理论方法技术.pdfVIP

大数据处理及分析理论方法技术

（一）大数据处理及分析建设的过程

随着数据的越来越多，如何在这些海量的数据中找出我

们需要的信息变得尤其重要，而这也是大数据的产生和发展

原因，那么究竟什么是大数据呢？当下我国大数据研发建设

又有哪些方面着力呢？

一是建立一套运行机制。大数据建设是一项有序的、动

态的、可持续发展的系统工程，必须建立良好的运行机制，

以促进建设过程中各个环节的正规有序，实现统合，搞好顶

层设计。

二是规范一套建设标准。没有标准就没有系统。应建立

面向不同主题、覆盖各个领域、不断动态更新的大数据建设

标准，为实现各级各类信息系统的网络互连、信息互通、资

源共享奠定基础。

三是搭建一个共享平台。数据只有不断流动和充分共享，

才有生命力。应在各专用数据库建设的基础上，通过数据集

成，实现各级各类指挥信息系统的数据交换和数据共享。

四是培养一支专业队伍。大数据建设的每个环节都需要

依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂

技术、懂管理的大数据建设专业队伍。

（二）大数据处理分析的基本理论

对于大数据的概念有许多不同的理解。中国科学院计算

技术研究所李国杰院士认为：大数据就是“海量数据”加“复

杂数据类型”。而维基百科中的解释为：大数据是由于规模、

复杂性、实时性而导致的使之无法在一定时间内用常规软件

工具对其进行获取、存储、有哪些信誉好的足球投注网站、分享、分析、可视化的数

据集合。

对于“大数据”（Bigdata）研究机构Gartner给出了这

样的定义。“大数据”是需要新处理模式才能具有更强的决

策力、洞察发现力和流程优化能力的海量、高增长率和多样

化的信息资产。

体量大速度快多模态

（volume（velocity（variety

不确定价值大

（veracity（value）

图2.1：大数据特征概括为5个V

（三）大数据处理及分析的方向

众所周知，大数据已经不简简单单是数据大的事实了，

而最重要的现实是对大数据进行分析，只有通过分析才能获

取很多智能的，深入的，有价值的信息。那么越来越多的应

用涉及到大数据，而这些大数据的属性，包括数量，速度，

多样性等等都是呈现了大数据不断增长的复杂性，所以大数

据的分析方法在大数据领域就显得尤为重要，可以说是决定

最终信息是否有价值的决定性因素。基于如此的认识，大数

据分析普遍存在的方法理论有哪些呢？

表2.1：数据分析的五个方面

可视数据挖掘耍预语数据质

化分析法测性分义引擎量与数据管

析能力理

大数大数据分大大数据

据分析的析的理论核心数据分大数据分析离不开

使用者有就是数据挖掘析最终分析广数据质量和

大数据分算法，各种数据要的应泛应用数据管理，

析专家，挖掘的算法基用领域于网络高质量的数

同时还有于不同的数据之一就数据挖据和有效的

普通用类型和格式才是预测掘，可数据管理，

户，但是能更加科学的性分从用户无论是在学

他们二者呈现出数据本析，从的有哪些信誉好的足球投注网站术研究还是

对于大数身具备的特点，大数据关