对2001年国家公务员录用考试试题公平性分析.docVIP

对2001年国家公务员录用考试试题的公平性分析 任杰 谢小庆 （作者简介：任杰，在读硕士，副研究员，北京语言文化大学汉语考试中心第四研究室主任。谢小庆，博士，研究员，北京语言文化大学汉语考试中心副主任，北京，l00083。） 摘要：2001年国家公务员考试的试卷是由192个单选项题目和45个多选项题目构成。本研究运用分析项目功能性差异(DIF)的SIBTEST方法和MH方法对单选项题目进行分析，运用经过修改的SIBTEST方法对多选多的题目进行分析，并对造成题目明显不公平的原因进行了分析。结果显示，利用MH和SIBTEST两种方法同时进行分析，效果比较好。所有题目综合起来看，2001年国家公务员考试的试卷对于不同性别、地区和专业的考生基本是公平的。 测验考试项目功能差异(DIF)MH；SIBTEST；国家公务员考试 一、引言 受国家人事部委托，我们对2001年国家公务员考试试题进行了信度、效度分析。这里，仅介绍我们对试题，尤其是多选多试题进行公平性分析所使用的方法，并对试题产生的项目功能差异(Differential Item Functionin，简称DIF)原因进行了分析。 DIF关系到考试的公平性，是指题目在不同群体间表现出的、与测验目的无关的功能性差异。例如，某一含有足球知识的数学题，对于具有相同数学能力的两组被试，由于足球知识水平不同，因而影响他们对题目的正确反应。如果出题者只是想测试考生的数学能力，那么，该题目对于足球知识很少的考生，就是不公平的。这时，我们就说该题目存在项目功能差异，即有DIF。 多选多题目是与单选项题目相对而言的。单选项题目的正确答案只有一个，得分不是O，就是1；而部答对、部分答对或完全答不对而不同。对于单选项题目的DIF的检测，我们采用MH和SIBTEST两种方法。对于多选项题目的DIF的检测，我们采用修改后的SIBTEST方法。IBTEST方法，也叫同时性项目偏差估计(Simultaneous Item Bias，简称SIB)，它适用于单选项题目分析，经过张华华等人的修改，形成了适用于多选项的题目分析的Py-SIBTEST方法。 二、理论介绍 考查题目是否存在DIF，关DIF分析(包括测验的部分或全部题目)，即当两组被(Reference group)和目标组(Focal group)，目标组通常是可能被不公平 (一)单选项题目的检测和分析方法 1．SIBTEST方法 由healy和Sut提出的IBTEST分析方法用潜在能力作为匹配变量，(regression—based correction)方法来估计匹配分数。起初，对NN-1题匹大于某一界限(例如，由Dans Holland，l993年推荐的)的题目，作上DIF显著的标记，这些题目就是被怀疑的；第二步，仅对没有DIF标记的题目进行分析，每一轮以一道题作为怀疑对象，其他题目作为匹配子集，对结果中仍没有DIF标记的题目再次进行分析，直到没有任何题目被怀疑；第三步，将在各次分析中一直没有被怀疑的题目作为最终的匹配变量，其他有DIF标记的题目作为被怀疑的子集，经过计算，所有的题目就是最终被怀疑有DIF的题目。 匹配题目的总分记为X，怀疑有DIF的题目的总分记为Y，k为某一匹配分数，n DIF指标为：① 是目标组在X=k时的通过率，和是对照组与目标组在X=k时的平均分。 检验统计值为：② 其中，是当匹配分数X=K时，组(g=R或g=F，即参照组或目标组)被试在被怀疑有DIF的题目上得分的方差，和N分别是参照组或目标组在匹配分数X=K时的人数。 当两组被试具有几乎相同的能力分布，如果题目DIF，B近似于N(0，1)的正态分布；而当两组被试能力分布不同时，估计值B具有较高的I型错误，为了减少这类错误，Shealy和Stout采用线形回归——KR 20对值进行了矫正。 2．MH分析方法 MH分析方法(Mantel和Haenszel于1959年提出)首先需要确定参照组、目标组和匹配变量，并且根据匹配变量的不同能力水平将数据分组(匹配小组)。其次分别计算在相应的匹配小组中参照组R和目标组F在某题目上的答对、答错人数，计算某题目的固定偏移(constant odds ratio)和固MH D-DIF。 表1 某匹配小组在某题目上人数分布情况表示某题目的功能差异程度： 为了便于理解，ETS将标准化为： 该值的正值表示对目标组有利，负值表示对参照组有利。 它的标准误是： 其中DIF的三种水平(ETS的分类标准)： A级：可忽略；级：中C级：显著的。 (二)多选项题目的SIBEST方法 多选项题目的DIF分析方法除了SIBTEST方法外，还有Mantel和SMD方法，只是我们没有这两种方法的详细资料，故此，我们只用SIBTEST方法。 Hua Hua Chan