概率统计与随机过程less1.pptVIP

概率统计与随机过程 宋 晖 – 2010年秋 课程简介 本课程以概率统计、随机过程的基本原理为基础，重点讲述与计算机学科领域相关的数学方法，说明如何应用该方法建立计算机科学问题的数学模型，并将其转化为已知问题的方法，要求学生学习使用Matlab工具箱实现相关算法，基于取样数据求解问题。 教学学时：48 授课：32学时 实验：8学时 考试：闭卷 主要内容 概率统计基础 概率分布 线性回归 分类决策 随机过程基础 常用随机过程 取样方法 参考教材 Pattern Recognition and Machine Learning, Springer, Christopher M. Bishop 理工科概率统计（第8版），机械工业出版社，Ronald E. Walpole 应用数理统计基础（第3版），华南理工大学出版社，庄楚强 应用随机过程概率模型导论（第9版），北京邮电大学出版社，（美）罗斯著 第一章 概率统计基础 1.1 基本原理 1.1.1 概率密度 1.1.2 期望与偏差 1.1.3贝叶斯概率 1.1.3高斯分布 1.2 曲线拟合 1.2.1 曲线拟合最小二乘法 1.2.2 曲线拟合极大似然估计 1.2.3 曲线拟合贝叶斯估计 1.3 决策论 1.4 信息论 第一章 概率统计基础 1.1 基本原理 1.1.1 概率密度 1.1.2 期望与偏差 1.1.3贝叶斯概率 1.1.3高斯分布 1.2 曲线拟合 1.2.1 曲线拟合最小二乘法 1.2.2 曲线拟合极大似然 1.2.3 曲线拟合贝叶斯估计 1.3 决策论 1.4 信息论 Example 1-1 we have two boxes, one red and one blue, and in the red box we have 2 apples and 6 oranges, and in the blue box we have 3 apples and 1 orange. 随机变量（Random Variable）：B = { r, b }, F = { a, o} Suppose : p(B = r) = 4/10 p(B = b) = 6/10 问题： 1）拿到一个苹果的概率是多少？ 2）已经拿到一个橙子，选择蓝色盒子的概率是多少？ General Example Random Variable： X = { xi,i=1,….,M }, Y = {yj, j=1,…,L} Total number of instances: N trails nij : {X= xi, Y= yj} ci: X= xi, rj: Y= yj 1）联合概率（joint probability）：p(X = xi, Y = yj) 3）条件概率（conditional probability ）： 2）边缘概率（marginal probability ）： Sum Rule：Product Rule： Bayes theorem：（贝叶斯原理） 贝叶斯原理是模式识别、机器学习等人工智能方法的核心理论 Model a probability distribution Histogram (直方图) N = 60 Back to Example 1 拿到苹果的概率？ 已经拿到一个橙子，选择蓝色盒子的概率是多少？ 由观察可得： p(B = r) = 4/10 p(B = b) = 6/10 p(F = a|B = r) = 1/4 p(F = o|B = r) = 3/4 p(F = a|B = b) = 3/4 p(F = o|B = b) = 1/4 p(F = a) = p(F = a|B = r)p(B = r) + p(F = a|B = b)p(B = b) = 9/20 = 2/3 加法与乘法原理 贝叶斯原理 贝叶斯原理 Choose Box： P(B) 先验概率（prior probability） After observe fruit : p(B|F) 后验概率（posterior probability） If p(X, Y) = p(X)p(Y ), then p(Y |X) = p(Y ) X ,Y independent (相互独立) 概率密度（P