精准扶贫系统大数据数据质量评估及清洗.pptxVIP

数据质量评估及清洗2018年12月 肇庆精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第1页。 一、数据清洗工作目的二、数据质量评估体系三、数据质量评估规则四、问题数据定位途径五、数据清洗方案及策略目录精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第2页。 数据清洗工作目的2018年分别在7月、9月、10月编制了3期数据质量清洗报告，针对数据质量问题，对关键指标项进行一场数据统计并进行分市单项和综合质量排名推动数据质量的提升，完善扶贫大数据平台推动各部门相关工作，如残联、公安部门办证提升内部数据管理能力，适应精准扶贫的要求精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第3页。 数据质量评估体系—工作流程数据提取质量评估数据清洗（后台核对前端修改）清洗策略制定任务分发编制规则清洗结果核查精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第4页。 数据质量评估体系—评估范围数据质量评估涉及扶贫对象基础信息、动态管理、扶贫主体及帮扶结对。贫困户家庭成员贫困户信息动态管理扶贫主体及帮扶结对精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第5页。 数据质量评估体系—计分公式质量评估规则分级及权重1级：权重系数 0.52级：权重系数 0.33级：权重系数 0.24级：不打分0.5全部1级单项规则异常率算术平均数0.30.2全部2级单项规则异常率算术平均数全部3级单项规则异常率算术平均数XXX===1级规则异常率加权平均数2级规则异常率加权平均数3级规则异常率加权平均数++总体加权异常率精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第6页。 数据质量清洗规则清洗规则动态调整汇总异常记录进行数据纠错精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第7页。 数据质量清洗规则解释一、省内贫困人口重复按照身份证号码重复筛选异常记录精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第8页。 数据质量清洗规则解释二、证件号码异常按照证件号码位数不符合以下条件筛选异常记录（1）一代身份证15位（2）二代身份证18位（3）残疾人证（20或22位或粤**）精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第9页。 数据质量清洗规则解释三、脱贫户两不愁三保障相关规则按照以下条件筛选异常记录（1）人均可支配收入低于6883元（2）义务教育阶段健康儿童不在校（3）未解决饮水问题（是否饮水安全、是否饮水困难）（4）住危房（5）因病致贫预脱贫户有患病成员未参加医疗保险精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第10页。 数据质量清洗规则解释四、必录基本信息及重要指标项空缺按照以下条件为空筛选异常记录（1）“致贫原因”/“民族”/“劳动能力” /“文化程度” /“在校生状况”/“与户主关系” （2）“是否通生活用电” （3）“是否饮水安全”“是否饮水困难” （4）“有无卫生厕所” （5）“耕地面积” （6）“住房面积”（7）“与村主干路距离” 、“入户路类型”精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第11页。 数据质量清洗规则解释五、重要指标间逻辑关系或业务逻辑矛盾按照以下条件筛选异常记录（1）“与户主关系”与“性别”对应关系异常 （2）“户主与配偶同性别” （3）“16-60岁健康人口丧失劳动力” （4）“享受低保人员家庭收入无低保金或五保金” （5）“脱贫户（不含五保户）住房面积为0或空” （6）“残疾人无残疾证”精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第12页。 主要数据质量清洗规则解释六、帮扶主体情况按照以下条件筛选异常记录（1） 帮扶责任人未结对贫困户（2） 帮扶责任人职务级别为省部级及以上（3） 驻村工作队队员职务级别为厅局级及以上（4）帮扶责任人联系方式为“空”或号码异常精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第13页。 数据质量清洗规则解释七、贫困村相关指标按照以下条件筛选异常记录（1）贫困村无贫困（含脱贫）户（2）贫困村无驻村工作队（3）贫困村贫困发生率超过100%（4）贫困村农村人口数为空或0（5）贫困村未解决饮水农户数、住危房农户数大于总农户数精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第14页。 数据质量清洗规则解释八、项目情况按照以下条件筛选异常记录（1）小额信贷单笔贷款超过10万元（2）小额信贷贴息利率超过5%精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第15页。 问题数据定位途径筛选业务系统及EXCEL技能培训精准扶贫系统大数据数据质量评估及清洗全文共18页，当前为第16页。 数据清洗方案及策略 定期开展清洗工作，目前1-2个月清洗一轮根据数据清洗规则整体或分批提取异常记录分发到地市