最大熵模型读书笔记-JiangtangHU.PDFVIP

最大熵模型：读书笔记    胡江堂，北京大学软件与微电子学院，Jthu@        1. 物理学的熵  2 2. 信息论的熵  2 3. 熵和主观概率（一个简单注释）  3 4. 熵的性质  3 4.1. 当所有概率相等时，熵取得最大值  3 4.2. 小概率事件发生时携带的信息量比大概率事件发生时携带的信息量多  3 5. 最大熵原理：直觉讨论  4 6. 最大熵原理：一个手工例子  4 7. 最大熵原理：正式表述  5 8. 最大熵模型的训练：GIS 算法  6 9. 最大熵模型：金融领域内的应用  7 参考文献  7   1    最大熵模型：读书笔记    胡江堂，北京大学软件学院，Jthu@            1. 物理学的熵    熵是一个物理学概念，它是描述事物无序性的参数，熵越大则无序性越强。从宏观 方面讲（根据热力学定律），一个体系的熵等于其可逆过程吸收或耗散的热量除以它的 绝对温度；从微观讲，熵是大量微观粒子的位置和速度的分布概率的函数。自然界的一 个基本规律就是熵递增原理，即，一个孤立系统的熵，自发性地趋于极大，随着熵的增 加，有序状态逐步变为混沌状态，不可能自发地产生新的有序结构，这意味着自然界越 变越无序。    2. 信息论的熵    在物理学中，熵是描述客观事物无序性的参数。信息论的开创者香农认为，信息 （知 识）是人们对事物了解的不确定性的消除或减少。他把不确定的程度称为信息熵。假设 每种可能的状态 A 都有概率p (A ) ，我们用关于被占据状态的未知信息来量化不确定 i 性，这个信息熵S 即为：    ⎛ 1 ⎞ ( )log ( )log ( )   S ∑p A ⎜ ⎟ −∑p A (p A ) i i i ( ) i ⎝p Ai ⎠ i 其中log(•) 是以 2 为底的对数，所以这个信息用位衡量。前面说过，在物理学的背景下， 这个不确定性被称为熵（在通讯系统中，关于传输的实际信息的不确定性也被称为数据源的 熵）。  扩展到连续情形。假设连续变量 X 的概率密度函数是f x (x ) ，与离散随机变量的熵的 定义类似，信息熵的连续定义为：    ∞ S (X ) =− f (x)log f (x)dx =−E[log f (x)]