Logistic回归剖析.ppt

Logistic回归模型 一.模型的引进 二.Logistic回归模型估计 三. Logistic回归模型的评价 四. Logistic回归系数的统计推断 五. Logistic回归诊断 Logistic回归模型 一.模型的引进 二.Logistic回归模型估计 三. Logistic回归模型的评价 四. Logistic回归系数的统计推断 五. Logistic回归诊断 一.模型的引进 因变量是二分类定性变量时,考虑简单线性模型: 其中yi服从两点分布： 可知 logistic回归模型 研究目的： X1，X2，X3等因素对该疾病有无影响？ 建立Y与X的多重线性回归模型？ logistic回归模型 建立p(Y=1/X)与X的多重线性回归模型？ logistic回归模型 logistic回归模型 建立logit（p）与X的多重线性回归模型: logistic回归模型 Logistic回归模型： Logistic回归模型一般形式 在有m个自变量时，公式扩展为： Logistic回归模型 一.模型的引进 二.Logistic回归模型估计 三. Logistic回归模型的评价 四. Logistic回归系数的统计推断 五. Logistic回归诊断 二.Logistic回归模型估计 Logistic回归模型估计的假设条件与OLS的不同 （1）logistic回归的因变量是二分类变量 （2）logistic回归的因变量与自变量之间的关系是非线性的 （3）logistic回归中无相同分布的假设 （4）logistic回归没有关于自变量“分布”的假设（离散，连续，虚拟） 最大似然估计（一） 最小二乘估计（OLS）： 根据现行回归模型，选择参数估计值，使得模型的估计值与真值的离差平方和最小。 最大似然估计（ MLE ）： 选择使得似然函数最大的参数估计值。 最大似然估计（二） 假设n个样本观测值y1,y2……yn，得到一个观测值的概率为 其中 或 由于各项观测相互独立，其联合分布为： 选择上式作为n个观测的似然函数 分别对参数求偏导，然后令它等于0： 求得 的估计值 ，从而得到 （pi的极 大似然估计)，这个值是在给定xi的条件下yi=1的条 件概率的估计，它代表了Logistic回归模型的拟合 值。 Logistic 回归系数的解释 因此每个 代表当保持其他变量不变时，每单位量的增加对对数发生比的影响 发生比率 Logistic回归模型 一.模型的引进 二.Logistic回归模型估计 三. Logistic回归模型的评价 四. Logistic回归系数的统计推断 五. Logistic回归诊断 三. Logistic回归模型的评价 3.1 拟合优度检验（Goodness of fit） 3.1.1 似然比检验（Likelihood Ratio Test） 3.1.2 Hosmer-Lemeshow检验 3.2 Logistic回归模型的预测准确性 3.2.1 Cox Snell R Square指标和Nagelkerke R Square指标 3.2.2 分类表 3.1.1 似然比检验 似然比检验的思想： 建立logistic回归模型后，再向模型中引入另外的变量，重新拟合模型。两模型的21nL值之差即为似然比统计量LR。 3.1.1似然比检验 似然比检验用公式表示为: 2lnL0为只有截距项的零假设模型的2lnL, 2lnLs为设定模型的2lnL，当样本含量较大时， 服从卡方分布，自由度为设定模型与零假设模型自由度之差。 3.1.2 Hosmer-Lemeshow检验 该方法根据模型预测概率的大小将所有观察单位分为十组，然后根据每一组中因变量各种取值的实际值与理论值计算Pearson卡方： 其中G代表分组数。Og为第g组的观测频数，Eg为第g组的预测频数。 3.2.1 Logistic回归模型的预测准确性 Cox Snell R Square指标 其中 与 表示零假设模型与所设模型各自的似然 值，n为样本规模。 3.2.1 Logistic回归模型的预测准确性 然而对于logistic回归，上面定义的R最大值却小于1 Nagelkerke提出一种logistic回归的调整确定系数 3.2.2 Logistic回归模型的预测准确性 分类表的思想