数据仓库中的数据清洗.pdfVIP

数据仓库中的数据清洗 ① ② 刘玉 陈金雄 ①福州大学物理与信息工程学院，350002，福州市工业路523号 ②南京军区福州总医院，350025，福州市西二环北路156号 关键词 数据清洗 二次清洗 数据仓库 摘 要 以病种分析为例，介绍了在数据仓库中数据清洗的方法——二次清洗法，二次 清洗完成的工作是不同的，第一次的清洗主要负责清洗源数据中的“脏数据”，第二次清 洗则负责维度的提取。 1 引言 随着时间的发展，医院信息系统中积累了大量的业务数据，越来越多的医院选择建立 数据仓库以提取其中有用的信息，用于分析和决策。病种分析就是当前比较热门的主题， 可以通过病种分析主题考察单病种的治愈质量、平均费用、平均住院日及单病种的病人构 成情况，有利于单病种的合理限价，提高医院的竞争力。病种分析的星型结构见图1。病 种分析中涉及到众多的数据，数据的准确与否直接关系着决策质量的好坏。为了能够准确 的决策，必须对进入数据仓库的数据进行清洗。 事实表 年龄维 病种维 SYM_ID AGE ID SYM ID AGE_ID ADD_ID 性别维 SEX_ID SEX ID 地理维 CHARGE_ID ADD ID CHARGE_DEPT 费别维 DISCHARGE_DETP CHARGE ID DOCTOR_ID 数量 医生维 科室维 平均住院日 DOCTOR ID DEPT ID 平均费用 图1 病种分析主题的星型结构（事实表中红色的字段为其度量） 由于数据的清洗需要占用系统较多的资源，为了不影响“军卫一号”日常的处理速度， 同时保证数据尽可能的准确，我们采用了“二次清洗”的方法：将源数据抽取至数据缓冲 区时进行第一次的数据清洗；将数据缓冲区的数据送入数据仓库时进行第二次的清洗，两 [1] 次清洗的作用范围是不同的 。清洗的过程见图2。 170 第一次 清洗 第二次 清洗 军卫一号 数据缓冲区 数据仓库 图2 数据清洗的过程 2 第一次清洗 病种分析涉及到“军卫一号”中的5张相互关联的业务数据表，14张公用字典表，第 一次清洗主要是负责清洗源表中的“脏数据”，本次清洗在数据缓冲区中进行。根据“脏 数据”种类的不同，有下面四种清洗的途径。 2.1 业务数据表间关联的清洗[2] 病种分析主题中所需要的源数据来自“军