极限定理与条件期望.pptxVIP

第3章 极限定理与条件期望3.1 极限定理3.2 条件期望3.1 极限定理2个不等式3个大数定律3个极限定理一、问题的引入实例:考察射击命中点与靶心距离的偏差. 这种偏差是大量微小的偶然因素造成的微小误差的总和, 这些因素包括: 瞄准误差、测量误差、子弹制造过程方面 (如外形、重量等) 的误差以及射击时武器的振动、气象因素(如风速、风向、能见度、温度等) 的作用, 所有这些不同因素所引起的微小误差是相互独立的, 并且它们中每一个对总和产生的影响不大. 某个随机变量是由大量相互独立且均匀小的随机变量相加而成的, 研究其概率分布情况.问题:本节要解决的问题 ANSWER为何能以某事件发生的频率 作为该事件的 概率的估计？大数定律为何能以样本均值作为总体 期望的估计？为何正态分布在概率论中占 有极其重要的地位？中心极限定理大样本统计推断的理论基础 是什么？大数定律和中心极限定理是概率论的重要基本理论，它们揭示了随机现象的重要统计规律，在概率论与数理统计的理论研究和实际应用中都具有重要的意义。迄今为止,人们已发现很多大数定律(laws of large numbers) 所谓大数定律，简单地说，就是大量数目的随机变量所呈现出的规律，这种规律一般用随机变量序列的某种收敛性来刻画。仅介绍几个最基本的大数定律。下面，先介绍二个重要的不等式。 重要不等式 1. 马尔可夫（Markov） 不等式设非负随机变量 X 的期望 E( X )存在，则对于任意实数 a 0 ,证明（我们仅对连续性的随机变量进行证明）设 f (x) 为 X 的密度函数，则2 ——契比雪夫（ chebyshev ）不等式设随机变量 X 的均值 E(X) 及方差D(X)都存在，则对于任意实数 ? 0，有或示意图?Dx/e2j(x)xEx-eExEx+e设 f (x) 为 X 的密度函数，记证明（我们仅对连续性的随机变量进行证明）则也可由马尔可夫不等式证明，取 a=是非负随机变量， 说明 从定理中看出，如果D(x) 越小，那么随机变量 X 取值于开区间 中的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心 (E(X)) 的离散程度的数量指标．例1 设有一大批种子，其中良种占1/6. 试估计 在任选的 6000 粒种子中, 良种所占比例与 1/6 比较上下小于1%的概率.解 设 X 表示 6000 粒种子中的良种数 ,X ~ B (6000,1/6 )---注：二项分布实际精确计算：用Poisson 分布近似计算：取? = 1000 契比雪夫不等式说明，随机变量X 取值基本上集中在 EX 附近，这进一步说明了方差的意义。 同时当EX 和DX 已知时，契比雪夫不等式给出了概率的一个上界，该上界并不涉及随机变量 X 的具体概率分布，而只与其方差 DX 和ε 有关，因此，契比雪夫不等式在理论和实际中都有相当广泛的应用。需要指出的是，虽然契比雪夫不等式应用广泛，但在一个具体问题中，由它给出的概率上界通常比较保守。在叙述大数定律之前，首先介绍两个基本概念。定义1 设 为一个随机变量序列，记为 ，若对任何 n≥2，随机变量 都相互独立，则称 是相互独立的随机变量序列。定义2 设 为一随机变量序列，X 为一随机变量或常数，若对任意ε＞0，有则称 依概率收敛于 X , 记为或， . 3 契比雪夫大数定律大数定律 设相互独立的随机变量序列 分别具有均值 及方差 且若存在常数C，使 则对于任意给定的 ，有即证明 由于 相互独立，那么对于任意的 相互独立. 于是由契比雪夫不等式可得推论1 一般地，称概率接近于1 的事件为大概率事件，而称概率接近于0 的事件为小概率事件. 在一次试验中大概率事件几乎肯定要发生，而小概率事件几乎不可能发生，这一规律称之为实际推断原理． 推论1意义： 具有相同数学期望和方差的独立随机变量序列的算术平均值依概率收敛于数学期望. 即当 n 足够大时，算术平均值几乎就是一个常数,可以用算术平均值近似地代替数学期望.推论1使我们关于算术平均值的法则有了理论上的依据。如我们要测量某段距离，在相同条件下重复进行n次，得n个测量值 ，它们可以看成是n个相互独立的随机变量,具有相同的分布、相同的数学期望μ和方差，由推论1的大数定律知，只要n充分大，则以接近于1的概率保证 这便是在n较大情况下反映出的客观规律,故称为“大数”定律。比推论1条件更宽的一个大数定律是辛钦（Khinchin）大数定律,它不需要推论1条件中“方差 存在”的限制，而在其它条件不变的情况下，仍有契比雪夫式的结论。相互独立，服从同一 设分布，且具有数学期望 E(X k) = ? , k= 1,2,…,则对任意正数 ?