基于大数据时代下数据分析理念研究.docxVIP

基于大数据时代下数据分析理念研究 　　摘要：本文简单阐述了大数据的内涵、特点以及对人们思维上的转变。以气象数据分析为例，从大数据在气象数据中的数据采集、存储、分析几个方向，具体分析和探讨了在大数据时代下的数据分析。　　关键词：大数据时代；数据；分析　　中图分类号： 文献标识码：A 文章编号：1007--0246-01　　在大数据的概念中，数据的分析主要分成两个方面。一方面，是数据处理中，重点在于数据的采集、存储、?理。另一方面，是对数据进行深入的发掘。尤其是在气象领域中，应用大数据的方式可以有效的提高气象数据的分析能力。　　1 大数据的概念　　 大数据的内涵　　在对大数据进行定义中指出，大数据就是用现代信息化技术对信息以数据的形式进行收集、整理、分析、处理并能够存储的数据集。在对大数据理解的过程中，推演出大数据的四个明显特征。分别是：数据量庞大、数据种类多、数据处理速度快、数据价值密度较低。因此在大数据的内容中，其核心并不在于大，而是透过对规模庞大的数据进行分析处理，形成一种新型的信息处理思维，对数据中隐藏的信息、现象等进行综合性的分析、管理，进而对现实中各个行业的生产、经营、管理、服务等进行创新。因此，在大数据的概念中，是对于大量数据信息、大量处理分析方式、大量数据的使用思维这三者的整合统一[1]。　　对于大数据而言，传统数据在规模上是无法与其相比的，首先在基数的规模上大数据就要比传统数据高出一个层次，传统数据是有限的，而大数据的数据基础是趋于无限的。其次，由于基数的不同，也就使得在不同的数据中，有效数据的种类与数量二者也不相同，在大数据中，有效信息的数量更大、种类更多、涉及范围更广。再次，由于大数据在基数上的差别，也使得在大数据分析中，得出的结果更具备不确定性，只有更具当前所得出的数据结果才能推断出下一次数据分析时可能会得出哪种数据结果。　　 大数据的思维转变　　大数据时代的到来给人们从生活以及生产工作上造成了巨大的影响，对人们的思维模式也有着重要的转变。首先，在对事物进行分析的过程中，人们已经不再是通过简单少量的样本进行实验分析，而是更加注重了事物整体上的特征，即是关注总量大于关注样本。其次，通过对大量数据进行分析，人们已经接受对于数据多而杂乱的形式，不再着眼于数据信息的准确性，对于数据中的误差有一定的适应性。再次，对于事物的内容更加重视，而不再只是关注事物的因果联系，即是指在进行数据分析中，更需要明确“是什么”而并非“为什么”[2]。　　2 以气象数据采集为例――大数据在数据分析上的应用　　在大数据的基础上，应当对气象部门的传统数据处理方式进行有效的改革，使得气象部门的工作能够适应当前大数据技术的发展需求。　　 气象数据的采集技术　　在气象数据的采集上，传统数据的采集能力已经无法满足当前社会对于气象信息的准确程度，而数据的采集数量也处于不断上升的趋势。然而，单纯的数据量的增长还不足以形成真正的大数据。因此，在气象领域中进行大数据的采集就需要进行形成客观性强、自主性高、单体的信息成本低、实时性强、数据规模大、数据准确度低、有一定间接性等特点。于XX年止，我国一共建立了600个气象研究项目，其中气象信息的数据量已经高达117TB，在线可共享信息达到50TB占总数据的43%。　　 气象数据的存储技术　　在大数据发展的过程中，主要存在两个问题。首先是大数据的存储问题，由于信息数量的庞大，各个省级的气象部门在大数据的存储过程中已经达到了PB级的标准。其次是对存储数据进行读取的速度问题，在大数据的分析处理中，需要对气象数据实现1s输出结果还存在着一定的难度，而这两的问题有会互相矛盾，因为在大数据中，数据的数量越大，进行信息读取的速度也就会越慢。因此在解决这个矛盾的关键所在其实并不是增加存储能力，而是在于优化大数据的系统结构以及数据计算的方式上。　　 气象数据的分析技术　　对于气象数据进行分析在大数据的概念下会有着新的技术，在大数据的分析中，其关键的一点就在于对未来事物发展的预判，而大数据的分析能够推测未来的核心就在于对事物关系的分析。因此在大数据的应用中，更加注重的是与气象数据看似无关的数据分析，在这些数据量极大的信息中，不断发掘有价值的信息。所以在当前的气象部门中进行大数据的气象分析就需要从其他的方面进行全面的分析。　　3 结语　　总之，对于大数据在数据分析上有着多种方式的应用，从气象数据的角度出发，大数据可以实现从气象数据的采集、存储、分析等各个环节进行全面型的应用，在大数据时代的背景下，对与人们日常生活以及生产工作，大数据都会起到巨大的变革。