学业测验的现代理论与技术.pdfVIP

学业测验的现代理论与技术 赵守盈 贵州师范大学 测量的理论与实践－－现实与前沿 • 测量的存在之基 ▫ 差异的存在 ▫ 差异的稳定问题 • 教育测量－－前提与问题 ▫ 教育实践的需要 ▫ 教育资源的相对不足 ▫ 当前中国教育测量的现实问题 分数的合成－－中国当前教育考试的典 型做法 分数的合成－－中国当前教育考试的典 型做法 分数的合成－－中国当前教育考试的典 型做法 •对中国当前教育考试的攻击 山中 教育测量的经典理论回顾 • 测验的题目质量分析 ▫ 难度 题目的难易程度 ▫ 区分度 题目有效区分被试能力水平的程度 ▫ 多项选择题的质量分析 教育测量的经典理论回顾 • 测验的质量分析 • 信度 用同一份测验测量同一批被试，测量结果的 一致性程度。 • 效度 一份测验真正测量到所要测量的能力水平的 程度。 经典测量理论的不足 • 信度估计精度不高。 • 误差指标笼统单一、不精细。 • 各种参数的估计对样本的依赖性太大。 • 参数指标之间的配套性较差 信度估计精度不高 • 根据真分数理论的假设，测验原始分数X线性分解为测验真分数T和误差分数E两 部分，并且进一步假设真分数是测验原始分数的期望，误差分数与真分数相互独 立，从而导出测验信度为真分数方差与原始分数方差之比。如此定义的信度并无 助于信度的估计，因为在定义中除原始分数方差可得之外，真分数方差与误差分 数的方差都是无从求取的。为实际估计测验信度，经典理论又提出了平行测验等 概念，从而推演出若干信度的公式。但严格的平行测验是不存在的，由此造成了 实际估计的信度精度就比较差。测验信度是测量误差的重要指标，测验编制的一 个重要原则就是要降低测验的误差，而作为测验误差大小的指标信度本身却还 不能准确估计，所以说，这种理论存在严重的缺陷。因此，改造经典理论的信度 概念，提高信度估计的准确性，成了测验理论研究的一个重大课题。 信度估计精度不高。 。 误差指标笼统单一、不精细 • 经典理论导出测验测量标准误差为: SE Sx g ( 1-rxx ) • 以此估计真分数置信区间。但我们应该注意到，这个SE是所有被试测量误差 的标准差，或称为平均标准误差，因此此值可以用来描写所有被试的测量精度。 从应用上讲，这样非常的方便，但实际上却是经典理论的一大不足。因为不仅 是不同的测量有不同的测量误差，相同的测量对于不同的被试也会有不同的测 量的误差。一个被试的水平与一份测验的难度相当，测量的结果会比较准确， 否则误差就会增大。被试水平与测验难度相差越大，误差就会越大。因此，用 一个笼统单一的或称为平均的误差指标来刻画所有被试的测量精度，是难以令 人满意的。寻求针对每个被试的更为精细的测验误差指标，是测量理论研究上 急需解决的一个重要问题。 经典测验理论各种参数的估计对样本 的依赖性太大 • 经典测量理论中，用信度、效度、难度、区分度来描述测验与题目的特 性。要编制出高质量的测验离不开对测验 “四度”的估计。经典测验理 论提出了用相应的样本统计量值作为总体参数估计值的方法。但是，在 经典理论中，这些参数的估计对样本的依赖性是很大的。其中有很多指 标都是通过相关计算的，而相关系数的估计受样本全距的影响很大。相 同的题目，样本全距越大，相关系数值越大，样本全距越小，相关系数 值越小。经典测量理论为避免样本偏倾而导致参数估计误差过大，特别 强调抽样时要注意保证样本对总体的代表性。但这毕竟是 “随机”抽样， 存在偏差。这样，所估各种测量参数指标对测验编制的指导价值就非常 有限。能否找到对被试样本依赖性较小甚至没有依赖的测验参数指标， 在经典理论框架内难以办到。 经典测量理论参数指标之间的配套性差 • 测量工作者应用测题去测被试，理所当然要选择最适合被试水平的试题 上。以经典理论中，题目水平的刻画量是题目难度，被试水平的刻画量 是卷面得分。题目难度的参照系是被试群体，难度0.2就是试题有被试