第二十章 信度与效度分析-2PPT.ppt

表20.2 200张某病 X线片的诊断结果 第三节 信度的评价方法 例20.2 在某大型的流行病学现场调查中，需要测量调查对象腹部皮肤皱折的厚度以评价其是否肥胖。在正式调查前对调查员进行培训，以保证调查结果真实可信。在培训结束后，安排10名调查员重复测定5名成年女性的腹部皮肤皱折厚度，结果见表20.3。那么测量结果的信度如何呢？ 表20.3 10名调查员重复测量腹部皮肤皱折的厚度(mm)的结果 在本资料中存在3项误差来源，即调查员间的差异、调查对象间的差异以及随机误差。 表20.4 10名调查员重复测量腹部皮肤皱折的厚度(mm)的方差分析表 在相同条件下，对同一观察对象重复测定结果的均值可靠性高于一次测量的结果。 因此，当信度未达到规定的要求时 ( 如要求ICC≥0.90)，如果每个观察对象重复测定的费用不是很高，在正式调查时可对同一观察对象进行重复测定，用重复测定结果的均值作为该观察对象的测量结果。 重复测定的次数(m)用公式(20.4)估计： 测量手段的信度和效度评价 在科学研究中采用的主要方法有调查研究(survey)和实验研究(experimental study)。 尤其是调查研究被广泛用于公共卫生、临床医学、社会学、教育学等领域。 调查研究的重要内容之一就是制定调查表或问卷。 问卷以及调查质量反映在调查结果的真实性和可靠性两个方面，应采用一定的统计指标和方法加以定量考评。 本章主要介绍信度(reliability)和效度(validity)分析方法，特别适合于各项目均为线性方式或等级方式的问卷或量表，如心理测量、教育测量、态度测量、生命质量测量等的标准化测定量表。 第一节 效度和信度的概念 一、 效度 效度具有特殊性和相对性，即每个测量工具只对某特殊目的有效，仅能对其特定项目作正确的度量。 或者说测验的效度总是针对着要解决的问题来说的，亦即针对着打算作出的应用来建立的。 收集大量资料和证据来检验测验效度的过程称为效度验证(validation)。 严格地说，任何测验在正式实施以前都应做出效度验证。 由于“真实值”往往未知，所以对效度的评价常常不可能有绝对肯定的答案。尽管我们不可能证明效度，但是可以用指标来评价效度。 一般来说，有四种类型的效度：标准效度、内容效度、结构效度和区分效度。内容效度是一种基于概念的评价指标，其它三种是基于经验的评价指标。 (一) 标准效度 标准效度 (criteria validity) 又称为效标效度，以相对准确的测量手段或指标的测量结果作为“金标准”，考察待评测量手段或指标的测量结果是否与其一致。 例如，评价新的影像学诊断手段的效度，常以病理学检查结果作为“金标准”，考察两种诊断手段诊断结果的一致性。 (二) 内容效度 内容效度(content validity)评价测量指标的涵义是否能准确反映真实情况。 内容效度是一个定性评价效度的指标，它关心测量手段是否能够测量我们所需要测量的抽象概念、领域和方面。 对比事先对概念的定义和最终的测量工具，可以得到关于内容效度的评价。 可以采用专家评价的方法了解内容效度的大小。 例如，对比生存质量的定义和用于测量的量表，可以得出该量表内容效度的好坏。 缺乏内容效度的测量会歪曲对所关心概念的理解，就像利用不具有代表性的样本对总体进行推断会得到错误结论一样。 (三) 结构效度 结构效度(construct validity)又称构想效度，评价多个测量结果是否具有稳定的结构，是在评价量表效度时最常用的指标。 由于在心理学及社会学领域中一些概念的定义不是十分明确，内容效度在实际应用中存在困难，而标准效度往往因为缺乏比较的标准而难于应用。在这种情况下，可以使用结构效度。 (四) 区分效度 如果测量的结果能区分已知的不同特征的人群，就认为该测量具有区分效度(discriminant validity)。 例如，测量结果能够区分“健康人”和“病人”，分别调查两类人群，计算量表各领域得分和总得分，再进行t检验或方差分析，比较这两类人群得分的差别是否有统计学意义，从而判断量表是否具有区分效度。结果有统计学意义提示量表有区分不同属性人群的能力，具有区分效度。 二、信度 信度(reliability)又称可靠性、重复性、稳定性或精密度，用以