多元线性回归分析-XMUMIREL-厦门大学.pdf

教育部-IBM产学合作专业综合改革项目精品课程 数据挖掘原理及实践 主讲教师: 吴云峰, 吴梅红, 刘恺之 助教: 罗鑫 厦门大学信息科学与技术学院 Email: cloudswu@ /course/DM 第5章数据的相关和回归分析 1 相关分析 2 简单线性回归分析 3 多元线性回归分析 4 Logistic回归分析 2 5.1 相关分析 • 现实中, 事物之间的联系是错综复杂的, 任何事物的变化都与其他事物是 相互联系和相互影响的, 事物之间的关系可以分为两类: – 函数关系。指的是变量之间一一对应的确定关系。 – 相关关系。指的是两个变量之间存在的一种不确定的数量关系, 一个变量的取值不能 由另外一个变量唯一确定。 • 简单相关分析。简单相关分析研究的是两个变量之间的相关关系。 • 偏相关分析。偏相关分析研究一个变量与其他两个变量之间的相关关系。 3 5.1 相关分析: 简单相关分析 • 简单相关分析。分析两两变量之间的相关分析。 • 简单相关分析主要包含三种典型的相关分析方法: – Pearson 相关: 适用于数值变量。 – Spearman 相关: 适用于顺序变量 – Kendall’s tau-b 相关: 适用于顺序变量 • 不同类型的变量数据, 采用不同的相关分析方法。 4 5.1 相关分析: 简单相关分析 • Pearson相关系数: Pearson相关系数适用于测度两个数值变量的相关 性。数值变换包括定距和定比变量两类, 其特点是变量的取值用数字 表示, 可以用加减运算从而计算出差异的大小。 • 设两随机变量为X和Y, 则两总体的相关系数为： X Y cov( , ) ρ var(X ) var(Y ) • 式中, cov(X, Y ) 是两变量的协方差; var(X ), var(Y) 是变量X 和Y 的方差。 总体相关系数是反映两变量之间线性关系的一种度量。 • 独立是不相关的充分不必要条件, 即独立可以推出不相关, 反之不行。 • 两个随机变量相互独立, 等价于f (X, Y)=g (X )h(Y) , 即联合密度函数等 于两个边缘密度的乘积。 5 5.1 相关分析: 简单相关分析 • 事实上, 总体相关系数一般都是未知的, 需要用样本相关系数来估计。 设 X (x 1 ,x 2 , ,x n ) , Y (y , y , , y ) 分别来自于X 和Y