信息论第二章课件.pptVIP

定义：如果函数 是下凸的，则称函数 是上凸的或型凸函数。 注：这两类函数均为连续函数。常见的下凸函数有： ； 常见的下凸函数有： ；既上凸又下凸的函数： 。信息论的许多基本概念如熵、互信息等都具有下凸性。 下凸函数的性质： 定理1：如果函数 具有二阶非负(正)的导数，则函数 是下凸的(严格下凸的)。 定理2：如果函数 都是下凸函数，并且 都是正数，则 也是下凸函数。 2.重要不等式 定理3：(Jensen不等式) 如果函数 是一个下凸函数，X是一个随机变量，且其数学期望 存在，则有 更进一步，若 是严格下凸函数，则除了随机变量集中在某一点 ，即 以外，上式中不等式严格成立。 第二章 预备知识 第一节 随机过程简介 1.随机过程的概念： 定义：设 是一无限实数集，我们把依赖于 参数的族(无限多个)随机变量成为随机过程，记为 。这里，对每一个 ， 是一个随机变量， 叫做参数集，常把 看成时间，称 为时刻 时过程的状态，而 说成 是时过程处于状态。对一切 ， 所有可能取的一切值全体称为随机过程的状态空间。对随机过程 进行一次试验，(即在 上进行一次全程观测)，其结果是 的函数，记为 ，称为随机过程的一个样本函数或样本曲线。 分类： 随机过程可依其在任一时刻的状态是连续性随机变量或离散型随机变量分成连续型随机过程或离散型随机过程。 例1.考虑 ，其中 和 是正常数， 是在 上服从均匀分布的随机变量。对每一固定的 ， 是一个随机变量，因而上式确定的 是一个随机过程，称为随机相位正弦波，其状态空间是 。在 内随机取一数 ，相应地即得这个随机过程的一个样本函数 。 例2. 设某城市120急救台迟早会接到用户的呼叫，以 表示时间间隔 内接到的呼叫次数，它是一个随机变量，且对于不同的 ， 是不同的随机变量，于是 是一随机过程，其状态空间是 。 2.随机过程的统计描述： (1)随机过程的分布函数族 给定随机过程 ，对每一个固定的 ，随机变量 的分布函数一般与 有关，记为 ，称它为随机过程 的一维分布函数，而 称为一维分布函数族，它刻画了随机过程在各个个别时刻的统计特性。 为描述随机过程在不同时刻的状态之间的统计联系，一般可对任意个 不同时刻 ，引入 维随机变量 ，它的分布函数记为： 对于固定的 ，称 为随机过程 的 维分布函数族。 (2)随机过程的数字特征 给定随机过程 ，固定 ， 是一随机变量，它的均值一般与 有关，记为 ，称为 随机过程 的均值函数。 注： 是随机过程的所有样本函数在时刻 的函数值的平均值，通常称这种平均为集平均或统计平均，与下面的时间平均有区别。均值函数 表示随机过程 在时刻 的摆动中心。 其次，把随机变量