二项Logistic回归参数最大似然估计的计算..docVIP

二项Logistic回归参数最大似然估计的计算，其中，为随机变量。 由于因变量的取值只有两个状态：破裂()和不破裂()，因此直接寻找因变量和自变量的关系非常困难。于是，可以把研究问题转换一个角度，不去直接分析和的关系，而是分析条件概率和的关系，这等价于寻找一个取值在0到1之间的连续函数。 数学上满足这种条件的函数存在且不唯一，Logistic回归就是满足这种要求的函数之一。和线性回归分析类似，Logistic 回归基本原理就是利用一组观测数据拟合一个Logistic模型，然后借助这个模型来揭示总体中若干个自变量与一个因变量取每个值的概率之间的依存关系，并评估用这一模型模拟相关事物变化规律的准确性。具体地说，Logistic回归分析可以从统计意义上确定在消除了其它变量的影响后，每一个自变量的变化是否引起因变量取某个值的概率的变化，并估计出在其它自变量固定不变的情况下，每个自变量对因变量取某个值的概率的数值影响大小。 在使用Logistic回归分析前，需要明确模型的使用条件：1、要求因变量是分类变量，包括顺序变量和名义变量，不管哪种变量，都要用数字表示它，如可以令表示地震发生时地表破裂，令表示地震发生时地表未破裂；2、自变量可以是(i)数值型连续变量，如地震的震级，(ii) 顺序变量，如覆盖层的厚度分组(10-20m，20-40m等)，(iii)名义变量，如地震类型，可令走滑型地震为1，正断型地震为2，逆冲型地震为3。 2 多元二项Logistic回归模型的定义 由于地震发生时地表是否破裂受到多个因素的影响，故引入多元Logistic回归模型。假设因变量是一个取值为1和0的二值变量，是影响的个因素，回归系数，则关于的元Logistic回归模型定义为 (1) 由式(1)可得 (2) 3 Logistic回归参数估计 我们用最大似然估计方法去求模型的参数。 再假设从总体中抽取一个容量为的随机样本，，其中，，则有似然函数为 (3) 两边取对数，整理可得 (4) 写成向量形式为 (4’) 为求式(4)的驻点，可求对数似然函数关于的似然方程组为 (5) 写成向量形式为 式(5) 为非线性方程组，一般情况下没有解析解，可以用Newton-Raphson迭代方法求其数值解，令 (6) 则关于的Jacobian矩阵为 (7) 向量形式为 (7’) 根究Newton-Raphson方法的原理，可得参数迭代公式为 (8) 算法如下： Step 1: 给定参数的初值参数和误差容许精度，令； Step 2：计算； Step 3: 若或，即满足容许的精度，则结束，否则更新参数，，转至Step2. 当给定地震发生时，地表破裂是否发生的数据时，根据上面的算法，可以求出参数的最大似然估计。 我们按照上述算法用MATLAB编写了多元Logistic回归参数估计的程序，可以给出参数估计值，详见附录。 附录1用Newton-Raphson方法求解参数，附录2用直接优化对数似然函数方法求解参数，附录3用MATLAB自带的广义回归模型估计参数。附录4是别人做的Logistic回归的例子，用的软件是SAS（一种经过美国FDA认证的昂贵的商业统计软件）得到的结果。附录5是SPSS操作的过程和得到的结果。 附录1:Matlab Files for Logistic Regression % 假设我们有一个数据，45个观测值，四个变量，包括： % 1. age（年龄，数值型）； % 2. vision（视力状况，分类型，1表示好，0表示有问题）； % 3. drive（驾车教育，分类型，1表示参加过驾车教育，0表示没有） 和 % 4. 一个分类型输出变量accident（去年是否出过事故，1表示出过事故，0表示没有）。 % 我们的目的就是要考察前三个变量与发生事故的关系。 % 第1至4列分别为 accident age vision drive ; clear,clc,close all data = [1 17 1 1 1 44 0 0 1 48 1 0 1 55 0 0 1 75 1 1 0 35 0 1 0 42 1 1 0 57 0 0 0 28 0 1 0 20 0 1 0 38 1 0 0 45 0 1 0 47 1 1 0 52 0 0 0 55 0 1 1 68 1 0 1 18 1 0 1 68 0 0 1 48 1 1 1 17 0 0 1 70 1 1 1