数学中国培训讲义.pdfVIP

数学中国培训（之 数学中国培训（之 数数学学中中国国培培训训（（之之数据分析概论） 作者：韩海涛 大家好，这里是数学中国，数学建模在线培训活动。我是数学中国超级版主 韩海涛。我们这次讲的内容是数据分析概论。 数学中国讲师 19:01:33 数据分析是一个非常庞大的议题，所包含的原理和技术不可能在一次培训中 得到充分涵盖。所以我们在这一次培训当中，只讲一些最基本的内容。偏向 于基本概念的介绍，具体技术介绍得较少。 数学中国讲师 19:02:24 有一些具体的计算方法同学们可以自己在相应书籍当中查到。为了达到较大 的适用范围，本次培训内容尽量减少概率和统计术语的使用，偏向目的性的 介绍而不追求数学上的严格性，内容可能对某些赛题有一点作用，但其设计 并不针对特定赛题。 数学中国讲师 19:03:43 统计学、数据挖掘和机器学习等学科从本质上讲都是在收集和分析数据。它 们的偏向各有不同，统计有专门的统计专业，而数据挖掘和机器学习则属于 计算机专业。但从学科性质上讲，完全没有必要强调它们的不同，事实上， 它们的目的无非都是从数据中寻找信息，所以我们可以把它们看成统一的学 科。 数学中国讲师 19:06:24 我们通过数据分析得到的信息，从性质上和数据本身是相关的。激进一点说， 我们能得到的充其量就是“数据如何生成”的信息。更多的负担不要都加在 数据分析这项工作上，它可不一定能承担得起。 数学中国讲师 19:07:38 实际的世界是先有某种机制，再通过该机制产生了许多可观测的数据。而数 据分析则是这个流程的反问题，通过观察到的数据反演原来的机制是什么。 数学中国讲师 19:08:40 所以我们的数据原则上是可靠的，但毕竟有限，所以不够全面。推得的信息 要求具有普遍性，但毕竟带有推测性，不能强求其绝对吻合真实。这也是数 学建模的特点，不强求“正确”，更多的是“合理”或者“有用” 数学中国讲师 19:10:08 严格地讲，数据分析不是一次就能彻底结束的操作，而是一个不间断的流程。 不仅为了回答特定的问题，而且应该能指示如何改进，以提供进一步研究的 导向。 数学中国讲师 19:11:26 正因为如此，一次完整的数据分析流程，一定要包含如下几个步骤： 1：数据收集； 2：数据清洗和交叉检验； 3：建模； 4：推断分析、决策及结论； 5：对进一步调查分析的导向； 数学中国讲师 19:12:51 这几个步骤大致是按照时间顺序来排列的，但是其中也有交叉的部分。尤 其是“建模”这里，从刚接触到数据，就已经开始有了模型的介入。直到 最终，模型也拥有不可或缺的影响力。所以这个划分不是机械的。我们下 面分别叙述这些步骤的主要内容。即使是概述，估计一次也讲不完。如果 有必要，以后可以继续组织培训活动。 数学中国讲师 19:14:33 （第一步）数据收集是数据分析的第一步。 在数学建模中，由于我们很少需要进行实地调查和设计实验，所以只谈谈 如 何抽样就可以了。 数学中国讲师 19:16:14 有时可以获取的数据太多，处理起来困难，而且这些数据可能并不都是必 需的。所以需要进行抽样，只分析抽到的样本就可以了。这些样本需要代 表总体情况，所以在设计抽样方案的时候，我们需要刻意避免加入人为的 偏倚（bias）。 数学中国讲师 19:17:50 最简单的抽样方法就是随机抽样：从总体中等概率地抽取若干样本并加以 分析。如果运气不好，抽到的样本恰好是有偏的，得到的结论当然就不适 用。但我们可以有效地评估风险。 数学中国讲师 19:19:21 例如： 我们分析中国人的平均身高，随机抽取了100人作为样本。如果真的随机 抽到了1