大数据时代统计学专业教学改革的初步探索.pdfVIP

2015 年 9 月 教育教学论坛 Sept.2015 第 35 期 EDUCATIONTEACHINGFORUM NO.35 【教 改创新】 大数据时代统计学专业教学改革的初步探索 周茂袁 （中国民航大学 理学院，天津 300300） 摘要：大数据涵盖多学科领域的、海量的、各种复杂结构的数据。各学科之间数据互相融合和贯通，学 科 之 间 的 边 界已经重叠和模糊。大数据涉及各种数据类型，包括文本和语言、视频和图像、时空数据、网络和图形 等。对于传统的统计学专业来说，大数据时代带来的不仅是机遇还有挑战。本文初步探索了以下几个方面：《数 据 挖掘》中引入大数据分析方法；《非参数统计》中引入多元非参数方法、半参数回归；《回归分析》中引入随机 森林回归等用来处理大数据的回归方法、高维回归变量选择方法（其中以LASSO回归为典型代表）；《 多 元统 计》中引入高维统计方法；以上引入的大数据分析方法均用R语言来实现。 关键词：大数据；统计学；数据挖掘；非参数统计；回归分析；多元统计 中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2015）35-0105-02 从狭义上来讲，大数据的构成包括两方面，一 方 释这段历史。还有些人将百岁老人的血液和其他各种 面 是 大 样 本 ，在 统计学上要达到需要的精度就必须采 生物的标本等存放在冰箱里，他们认为当今的技术还 取抽样的办法降低样本数量；另一方面是高维度变 不足以测试和分析这些资源，期待今后更先进的测试 量，对于这一问题则需要采取压缩、分解以及降维等 技术能够做到。大数据就如同自然和社会的血液那样 方法。 记录着社会的现状和发展过程。 一、大数据及其意义 17世纪望远镜以及显微镜的发明使人类看到了 大部分传统的统计方法只适合分析单个计算机 以前从来没有看到过的宇宙空间和微生物，扩大了人 存储的数据。而目前大数据的环境包括以下要素。 类对自然的基本认识。大数据就像“望眼镜”和“ 显 微 1.流数据：数据快速地不断涌来，现有存储设备和 镜 ”那 样 ，使 得人们能够通过数据来观察和分析自然、 计算能力难以应付这种数据流（比如欧洲高能粒子对 经济、社 会 的 现 象 。 借 助 于 互 联 网 数 据 ，可 以 及 时了解 撞机所产生的数据，每秒钟可以达到500TB）。 疾病的疫情、科学的动态、社会的动态。谷歌借助频繁 2.磁盘存储限制：数据已不能完全存储在内存中， 检索的词条能及时判断流感从哪传播，哪些人可能已 需要硬盘存储。 经感染了流感。大数据将形成自然和人文社会的历史 3.分布存储状态：数据分布存储在多个计算机中。