8-第五章大数定律和中心极限定理.docVIP

第五章 大数定律和中心极限定理 大数定律和中心极限定理是概率论中两类极限定理的统称，前者是从理论上证明随机现象的“频率稳定性”，并进一步推广到“算术平均值法则”；而后者证明了独立随机变量标准化和的极限分布是正态分布或近似正态分布问题，这两类极限定理揭示了随机现象的重要统计规律，在理论和应用上都有很重要的意义。 §5.1 大数定律 设是互相独立的一列随机变量，每个随机变量取值于二元集合{0，1}，并有相同的概率分布函数 易计算它们的数学期望和方差为 如果取这些的部分和 并考虑它们的平均值，易知它的数学期望和方差为 利用定理4.2.13给出的切比雪夫不等式可知：对任何一个正数有 令，有 即 (5.1.1) 可见当很大时，部分和的平均值与相距超过任何一个数的概率都很小，而当时, 这个概率趋于0。 (5.1.1)式的结果称为弱大数定律，也称伯努利大数定律, 因为这个定律是伯努利在1713年首先证明的，是从理论上证明随机现象的频率具有稳定性的第一个定律。注意式(5.1.1)等价于 (5.1.2) 把它完整地叙述如以下定理： 定理5.1.1（伯努利大数定律） 设是互相独立的取值于二元集合{0，1}的一列随机变量，并有相同的概率分布函数 又设 则 或等价地 。 伯努利大数定律说明了概率论中一个重要的事实，设是伯努利试验中事件出现的概率，则是重伯努利试验中事件发生的次数，是事件出现的相对频率，当很大时事件出现的相对频率与事件出现的概率的偏差超过任何一个正数的可能性很小。 “概率很小的随机事件在个别事件中是几乎不可能发生的”这一原理称为小概率事件的实际几乎不可能原理，有广泛的应用，至于“小概率”小到什么程度才能看作实际上几乎不可能发生，则要视具体情况而定。例如，自动车床加工零件出现次品的概率为0.01，若零件的重要性不大且价格很低，则完全允许有1%的次品率，可以忽视100个零件中出现一个次品的可能性。但对于飞机或更昂贵的航天器来说，出现次品的概率应当几乎为零，1%的次品率是绝对不允许的。 伯努利大数定律提供了通过试验来确定事件的概率的方法。既然相对频率与事件出现的概率有较大偏差的可能性很小，因此在实践中可以通过做试验确定某事件出现的相对频率作为该事件出现的概率的近似估计，这种方法称为参数估计，它是数理统计中的重要方法，它的一个重要理论基础就是大数定律。 伯努利大数定律可以推广为以下形式的弱大数定律。 定理5.1.2（弱大数定律） 设是互相独立的一列随机变量，并有相同的概率分布函数，它们公共的数学期望和方差为 设，则 则 (5.1.3) 或等价地 。 (5.1.4) 对任何成立。 该定理的证明可以利用定理4.2.13给出的切比雪夫不等式类似伯努利大数定律证之，把它留给读者。 本定律使算术平均值的法则有了理论依据，比如要测量某个物理量，在客观条件不变的情况下重复测量次，得到个测量值，显然可以把它们看作个独立同分布的随机变量，有数学期望，由大数定律知，当充分大时，次测量的平均值可作为的近似估计，即 由此所产生的误差很小。 弱大数定律可以进一步推广为以下形式的切比雪夫大数定律。 定理5.1.3（切比雪夫弱大数定律） 设是互相独立的一列随机变量，每一个随机变量都有数学期望和有限方差，并且它们有公共的上界，设，则对任何有 (5.1.5) 或等价地 (5.1.6) 证 因互相独立，所以 又因为，由切比雪夫不等式可得 令，有 由俄国数学家切比雪夫证明的上述定律是关于大数定律的一个相当普遍的结论，前两个弱大数定律都是它的特例。 弱大数定律涉及一列概率的收敛性，此种收敛称为依概率收敛，定义如下： 定义5.1.4 设是互相独立的一列随机变量，是一个常数，如果对任意正数，有 (5.1.7) 或等价地 (5.1.8)