第五章 效度与系统误差.pptVIP

第五章 效度与系统误差 一个现实的问题 ? 1997年1月，湖北省政府宣布从社会各界 公开招聘36名厅、局级干部(均为副职)。 经过各种测验与测评,36名干部从4000 多名候选者中脱颖而出,如期上任。 ? 其中使用的测验技术包括：结构化面试,评价中心,纸笔考试(专业知识)等。 ? 你从测验学的角度将如何看待这一举措？不考虑政治因素。 根据智力测验分数作出推断的例子 ? 得这个分数的人能顺利完成医学院的学业 ? 得这个分数的人可能成为最令人满意的工程师 ? 得这个分数的人极有可能从工厂里偷东西 测量效度=测量的准确性、有效性 效度是一个测验能够测量其所要测量的特质的准确程度(the extent or degree to which the test measures what it was designed to measure)。 ? 或根据测验分数做出的推断的正确性。 即：这个测验测的是什么？ 这个测验测得准不准？ ? 一个测验的效度不止一个,不存在一个一般的效度,因为一个测验可能测的是一个非常宽泛的概念,如智力,根据测验分数可以做出许多推断。 效度的概念理解 1、效度是一个相对的概念。 效度是相对于一定的测量目的而言的。 效度不是一个全或无的概念。 2、效度是系统误差和随机误差的综合反映。 3、效度不是直接可以测量到的，判断一个测验是否有效要从多方面搜集证据，从证据去推论测验的效度 (犹如法庭上收集证据一样) 。 测量学中的效度概念 ? 与测量目的有关的真实变异(或有效变异)在实测值变异中的比例 ?即 rXY=SV2/SX2 对同一测验之有效与无效的推断 ? 使用MMPI你可以对患有心理障碍的人做出有效推断，但不能对“正常人”做出有效推断。 ? 尺子可以用来度量长度,但不能用来度 量重量,即便每次度量的结果都完全一样。 效度与信度关系 (1)高效度,高信度 (2)高信度,低效度 (3)低信度, 低效度 信度是效度的必要而非充分条件 ? rXY=SV2/SX2 =(SX2- SI2 - SE2)/ SX2 =1- SI2 / SX2 - SE2 / SX2 = rXX - SI2 / SX2 ? SI2 ≥0 ? rxy≤ rxx 信度的平方根为效度的最高限 即 ? rXYmax=rXY/(rXX*rYY)1/2 ? 1.0≥rXY/(rXX*rYY)1/2 ? rXY≤(rXX*rYY)1/2 ? rXY≤(rXX)1/2 一个测验的效度总是受它的信度所制约 效度的种类 证明一个测验是有效的(validation),必须保证在以下三方面均是有效的 ? 内容(content) ? 效标关联或实证(criterion-related or empirical) ? 构想或结构(construct) 不能只独立地保证一方面。 1.内容效度(Content Validity)及其估计 内容效度指测验实际测到的内容与所要测量的内容之间的吻合程度。 ? 基本前提: 测验试题应为所欲测内容或行为范围的有效性样本。 ? 基本条件： 1)每个试题应与所界定内容或行为范围有适度相关 2)测验内容应能确切涵盖所界定对象之范围 3)试题分配应能反映范围内各种变项或成分所应占 的比重 4)保证有一定的题量 ? 主要用于建构或评价成就测验 ? 依赖专家判断(基于逻辑)—定性分析 ? 其他估计方法: 复本法 再测法 经验法 内容效度与表面效度 Face validity: 表面看起来测验内容与测验目的的一致性程度。市井或通俗测验多有高的表面效度，但它不能保证测量的正确性。 对表面效度的要求 最高水平测验: 高; 典型行为测验: 低 提高表面效度可以起到“包装”的作用 内容效度适用于 领域参照测验 成就测验 职业(选拔与分类)测验 不适用：智力与人格 为什么?——基于任务目标的分析 2.构想效度(construct Validity)及其估计 构想效度是指测验对理论上的构想或特质的测量程度。 例如: 一个测验在多大程度上测量了“幸福感”(责任感、自主性等等)？ 这个面试(interview)测量了人际技能了吗？ 构想效度估计方法: 假设验证与实验操作 内容效度和效标关联效度都体现了构想效度 考察已知组别的分数—测验内法 如,将一个艺术能力测验施测两组人,艺术系和法律系学生。二者的差别？ 考察一个新测量与