缺失数据的多重填补法 上海大学3.pdfVIP

缺失数据的多重填补法 (Multiple Imputation of  Missing Data) 张卓妮 香港城市大学 1 缺失数据的三种情况 • 完全随机缺失(MCAR): – 对某一变量的缺失应答与该变量的真实 值无关，而且与解释模型中的任何其他 变量的数值无关 – 例如： • 由问卷设计所造成的缺失（对特定受访者不 适用，如未婚者的结婚年龄） • 由于输入错误导致出现无效代码 2 • 随机缺失(MAR) – 缺失与该变量的真实值无关，但与解释模 型中的某些其他变量的数值相关. – 例如: • 假如父亲的教育水平有缺失，而且这种缺失 与父亲的真实教育水平没有直接关系（控制 了受访者本身的教育水平之后），但与受访 者本身的教育水平负相关 • 注意：净效应 3 • 非随机缺失(MNAR)或不可忽略的缺失 (NI); 也叫“样本选择性偏误”(sample  selection bias”). – 缺失与该变量的真实值相关，而且可能也 与其他变量相关. – 例如: • 对于失业人士来说，收入是“缺失的”，因为 他们没有收入。但是，如果他们有工作，他们 的收入也很可能比较低. 4 处理缺失数据的方法 • 个案剔除法(Casewise deletion)–删除具缺失数 据的样本 – 如果缺失数据属于MCAR, 这种处理方法的后果是 减少了样本量，通常会大量减少样本量. – 但是，缺失数据通常都不是MCAR, 若采用个案剔 除法会使估计系数出现偏误(biased coefficients). – 如果判断是否MCAR？用其他变量预测缺失情况， 如果某些系数显著，则不属于MCAR 5 • 加权个案剔除法(Weighted casewise  deletion) – 在剔除了具任何缺失信息的样本之后，根 据已知变量(例如性别、年龄等)对样本进 行加权，使样本在这些变量的分布上与总 体分布一致.   – 结果: 增大标准误差 – 估计系数出现偏误, 除非模型设置完全正确 （几乎不可能）. 6 • 均值替换法 1. 简单地用非缺失数据的均值来替换 2. 缺失指标法：用均值替换，并增加一个虚拟 变量（如果数值是替换得到的，则赋值为1 否则为0 ） 3. 条件均值替换法：用有观测值的子样本做回 归得到预测值，然后用预测值代替缺失值. – 所有均值替换法都会产生有偏估计（通常是 低估了） – 都存在过度拟合问题，标准误差过小（因为 不能恰当地反映“不确定性”，即每个个体