主观评分保守现象形成机制及控制探究.docVIP

主观评分保守现象形成机制及控制探究摘 要：研究对某次大型人事考试的主观评分结果进行分析。结果表明，各题上考生得分的离散程度偏小，评分者所评分数的分布比较集中且处于低分段，体现出评分者打分时相当保守，同时分数全距缩小也降低了主观性试题的效用。各题均值和标准差都随评分时间的增长而有所减小，体现了评分保守是一个“习得”的过程。为控制这种现象的发生，在不降低评分一致性的前提下，进一步提升评分的准确性，可通过优化误差监控的指标，插入标准卷，以及采用分步增值评分模式进行流程控制。 关键词：主观评分；评分保守；误差控制 中图分类号：B841.2 文献标识码：A 文章编号：1003-5184（2012）05-0429-10 1 主观性试题的评分者误差与控制 主观性试题是考试的重要题型之一，与客观性试题相比，它给考生留下了较大的发挥空间，它可以考查考生对知识的分析、综合、应用和评价等多方面的能力素质，可以更有效地区分考生，同时还可以避免考生的猜测。从测量理论来看，主观性试题的信度受到诸多因素的制约，如题目本身，评分过程的复杂性，评分者等。其中，来自于评分者的误差最为复杂，成为影响主观性考试信度的关键因素。在一些考生众多的主观性考试中，评分工作可谓是一项庞大而又复杂的工程。 大量关于评分者的研究揭示了来自于评分者方面的误差。例如，Lane和Stone（2006）曾经在研究中发现，造成评分者误差的原因是多种多样的。评分者对标准的掌握、评分的宽严程度，评分者的个人喜好、疲劳程度，以及在评分过程中的犹豫等个体差异都会损害评分信度。这些误差的主要表现形式有（McNamara Adams，1991）：不同评分者对同一考生的评分尺度不一致；不同评分者对同一题目的评分尺度不一致；同一评分者对不同考生的评分尺度不一致；同一评分者在不同时间段的评分尺度不一致等诸多情况。以作文评分研究为例，Lumley（2002）的研究指出，尽管评分者在评分过程中遵循相同的步骤，但是他们总会在对作文的第一印象、作文的具体特征以及评分标准拟订的规则之间采取权衡的态度，由于评分标准不可能包罗万象，评分者不得不采取各自的策略来应付评分过程中遇到的各种问题。可见，尽管评分者尽可能地坚持评分标准的规则，但不同的评分者对同一篇作文的评分可能是不一样的。McQueen和Congdon（1995）的研究指出，评分者的宽严度并非一成不变，而是会随着时间的延长随机波动。此外，试题类型也会同时影响考生的做答和评分者的评分。考试中不同作业任务难度上的差异，也会引起评分员评分的差异（Hidi McLaren，1990）。 为了控制评分过程中的评分者误差，通常需要采用事前对评分者培训、事中对评分流程监督、事后对评分结果校对等手段。然而，以往所采用的有纸化阅卷方式在控制评分误差方面存在一些弊端（丁琳，2003；张昌应，2003）。首先，有纸化阅卷根本谈不上对评分流程进行监督，评分者在接受简单的培训后，各自为战，只有到评分结束后才能进行校对和复查。其次，在事后校对阶段，一方面要组织或安排专门人员对已评答卷进行复查或复核，复核量要达到一定比例以上，另一方面将每名评分者评分结果输入计算机，进行评分一致性分析，并对其评分结果进行相应调整，以控制评分误差。但是，这两种方法都是在全部试卷评完后才进行，而且，复核或分析调整的对象不是全部考生的答卷，只是部分考生的答卷，对控制误差的效果也只能做出定性的评价而不是定量的分析。因而，这种误差控制是不完整的、不彻底的。最关键的是，对于一些较大规模、高利害的考试来说，这种阅卷方式将会花费巨大成本，费时费力，效率和评分质量都很难保证。 近年来，在主观题评分领域新兴起了无纸化（网上）阅卷技术，它主要是利用高速图像扫描与识别技术、网络技术、大型分布式数据库及大容量智能化的网络存储等先进的电子技术和计算机技术进行辅助评分。在网上评分的过程中，可以采用多种技术手段对评分者的评分过程和结果进行实时监控，控制评分误差，准确预测评分进度。 网上阅卷技术除了可以确保考生的每道答题由每名评分者独立评阅外，对评分者个人与群体评分的一致性，个人与自身评分的一致性也提供了检验。对于群体评分一致性检验，计算机可以自动根据评分者的评分量返回一定比例的标准卷，监控评分者对评分标准的掌握；对于自身评分的一致性检验，计算机可以从每位评分者已评过的试卷中随时、随机地抽取一定比例的试卷返回重评，测定与原来评分结果的差异。网上阅卷系统还可以实现对每位评分者的阅卷情况进行实时监控，如记录每位评分者每道题的评阅时间，比较每个评分者给分的分数分布和整体的分数分布，了解个人和整体的评分进度等。既增加了评分者的责任心，又有利于及时发现和纠正问题，提高了评分质量。 2 研究问题的提出