大数据背景下统计软件在数据分析中的应用.docVIP

大数据背景下统计软件在数据分析中的应用 　　摘要：大数据时代，各种数据层出不穷，如何从海量数据中挖掘有效信息并加以利用，是各行各业面临的重要问题。统计软件在数据处理过程中起到至关重要的作用。结合大数据的数据特征，本文从数据处理的角度，介绍了常用软件Excel、Eviews、SPSS、Stata、SAS、R及Python在数据整理与分析过程中各自的优势和不足，为数据分析工作者提供参考。 　　关键词：大数据；统计软件；数据分析 　　中图分类号：TP393.4 文献识别码：A 文章编号：1001-828X（2016）012-000-01 　　在大数据时代，每个人身边都存在着海量、丰富可深入挖掘的数据，人人生产数据，时时产生数据。大数据一般分为结构化数据、半结构化数据和非结构化数据，大体上，结构化数据占10%、半结构化数据占5%、非结构化数据占85%，包括各种格式的办公文本、图片、报表、音频、视频等。对统计学习而言，最大的考验是如何对这些海量的数据信息进行充分的开发，找出数据之间隐藏的规律与关系。 　　首先对于结构化的数据，一般基础数据分析用Excel等统计软件，既可满足基础要求；大数据分析用Eviews，SPSS，Stata，SAS，R，Python等，其中R和Python对于半结构化数据和非结构化数据的挖掘和分析有很好的应用。下面对各软件在大数据分析中的特点进行简单介绍： 　　Excel电子表格是Microsoft公司推出的Office系列产品之一，是一个功能强大的电子表格软件。特点是对表格的管理和统计图制作功能强大，容易操作。Excel的数据分析插件XLSTAT，也能进行数据统计分析，但不足的是运算速度慢，统计方法不全，因此Excel在大数据分析中存在一定的局限性，但适合一些基础的数据处理。 　　Eviews是美国QMS公司研制的在Windows下专门从事数据分析、回归分析和预测的工具。使用Eviews可以迅速地从数据中寻找出统计关系，并用得到的关系去预测数据的未来值。Eviews处理回归方程是它的长处，能处理一般的回归包括多元回归问题。不过这个软件的劣势在于它的黑箱式的处理过程，出来的结果可能会不够精确，有的人可能会为得到一些结论而伪造一些结果，可信度不是很高。在大数据分析中Eviews只适合时间序列数据的分析。 　　SPSS由美国斯坦福大学的三位研究生研制。SPSS系统特点是操作比较方便，统计方法比较齐全，绘制图形、表格较有方便，输出结果比较直观。SPSS在横截面数据的分析中有很大的优势，适合进行从事社会学调查中的大数据分析处理。另外，值得一提的是，必威体育精装版版的SPSS采用DAA（Distributed Analysis Architecture，分布式分析系统），全面适应互联网，支持动态收集、分析数据和HTML格式报告，使SPSS更加适应大数据的潮流。 　　Stata统计软件由美国计算机资源中心（Computer Resource Center）1985年研制。特点是采用命令操作，程序容量较小，统计分析方法较齐全，计算结果的输出形式简洁，绘出的图形精美。不足之处是数据的兼容性差，占内存空间较大，数据管理功能需要加强，这使得Stata在大数据分析中处于不利地位，但是相较于Eviews和SPSS，Stata在面板数据分析的优势是毋庸置疑的，Stata更加适合大数据中的面板数据分析。 　　SAS软件在数据挖掘上具有优势，其板块的独特功能为大数据分析提供了利器。对于不熟悉计算机编程语言的统计学习者可使用SAS。SAS软件的EM模块及sas base拥有强大的数据处理功能。在SAS的EM模块中，包含了数据处理、模型建立、简单算法等丰富的数据处理功能。例如对获取的数据可进行再次抽样，抽样的方式是多种多样的，有：随机抽样、等距抽样、分层抽样、从起始顺序抽样和分类抽样等方式。而且抽样的过程不需要程序运行，只需要建立流程图即可。更加复杂的数据模型如生存分析、神经网络、SVM、决策树、MBR等可以在数据建模中添加节点来进行。在对数据进行分析以后，SAS会导出程序记录和最后结果。尽管SAS有众多优良特性，但其并非脚本语言，所以它在数据运行上占有CPU较高，特别在使用EM模块时，花费的时间相对较长。 　　Python和R都是开源软件，相较于上述软件，在大数据分析中有着绝对的优势。Python的网络爬虫及R的RCurl包、Rweibo包等都可以进行网络数据和文本挖掘，对非结构性数据亦能进行分析处理。众多的R语言包使得其在数据可视化方面也有着很大的优势。Python和R各有其特点： 　　R的优势在于有包罗万象的统计函数可以调用，特别是在时间序列分析方面（主要用在金融分析与趋势预测）无论是经典还是前沿的方法都有相应的包直接使用；相比