大规模教育考试命题理论和实践问题.ppt

大规模教育考试 大规模教育考试关注的基本问题 考试考学生什么？ 考试分数准确、可靠吗？ 考试对所有的考生公平、公正吗？ 考试的价值观与社会的公认价值观一致吗？考试对学校的教育、教学有正面的作用吗？ 抽象出的考试理论和实践问题 考试的信度——可靠性或分数的误差 考试的效度——考试的有效性或对考试结果的解 释和适用是否适当、有效。 考试的公平、公正性——考试平等对待所有考生 考试的后效影响——考试对社会价值观、对学校 教育教学有何影响 教育考试的心理学基础——基本假设 假设1：人的心理特质是存在的 心理特质：一个个体与其他个体不同的、可以识别的、相对稳定的特征（Any distinguished, relatively enduring way in which one individual varies from another） 。例如，人的智力、认知方式、适应性、兴趣、态度、价值观、一般个性、特殊个性等 根据对人的行为样本的观察可以确定心理特质及其强度。 观察方式：direction observation analysis of self-report statements testing 教育考试的心理学基础——基本假设 假设1：人的心理特质是存在的 心理结构（construct）：an informed, scientific concept to explain behavior. 知识与技能、过程与方法、情感、态度和价值观 相对稳定(relatively enduring):个体在某种程度上表现出某一特质是具有环境依赖性的. 一个个体与其他个体不同的特征（one individual varies from another）：心理特质的这个属性说明心理特征是一个相对现象，在教育和心理测试与评价中，评价者也要将对象的评价情况与假设的一般人，做出比较，或者直接将同一评价群体中的不同个体作比较。 教育考试的心理学基础——基本假设 假设2：心理特质或心理结构是可以量化并且测量的 定义心理结构 行为目标：根据什么样的行为来判断对象具备的心理结构的强度。 如何使考生表现出要观察的行为：用何内容的试题 如何对行为进行量化：赋分 如何用数学模型进行处理 教育考试的心理学基础——基本假设 考试的效度——有效性 效度是指各种证据和理论对考试结果的解释和使用的支持程度。 有效性是一种价值判断 建立价值判断的标准 收集支持价值判断的证据 标准——测量目标 证据来源——考试大纲、试题、试卷、考试 结果数据等。 证据类型——内容、应答过程、内部结构、与其它变量的关系、考试的后果。 教育考试的测量目标——来源 课程标准 课程标准中学习目标的基本要求 可评估性 可理解性 可执行性 可完成性 中外课程标准学习目标的对比 考试的测量目标——构成 测量目标——Goals Goals are broad statements which specify what the students are supposed to be able to know and to do. 具体目标——Objectives Objectives are specific statements which specify what behaviors the students are supposed to show to demonstrate their knowledge and abilities. 表现水平标准——Performance Standards Performance Standards specify how good of the students’ behaviors is good. 考试的效度——证据类型 考试或试卷的内容 应答过程 内部结构 与其它变量的关系 考试的后果 考试的信度——传统的认识 信度——不同测量的一致性 Temporal stability ——相关系数r Form equivalence ——相关系数r Internal consistency——alpha信度系数 内部一致性信度 内部一致性系数一般是指Cronbach系数、KR-20系数或分半系数，最广泛使用的是Cronbach系数 Cronbach系数 信度是效度的前提条件 没有高的信度就没有高的效度 考试分数的信度 ——经典的真分数理论 考试的信度——新的认识 不能再将Cr