用多元概化理论对全国优秀博士学位论文通讯评议进行信度分析.pdfVIP

堂堡皇翌查塑燃㈣溺溉涵燃 用多元概化理论 对全国优秀博士学位论文 运讯谶谶每傣摩翁橱 巾刘桔关守义 摘要运用概化理论对优秀博士学位论文评选的信度进行研究，分析了各种误差源及误差的 大小。结果表明，评选的信度从总体上是较高的。在资源有限的情况下合理的论文评价人数为5～ 7人。 全国优秀博士学位论文的评选，已连续进行了 总体评分尺度是否存在差异，而只关注评分者对于 五年，在研究生教育领域产生了深刻的影响，对于提 评价目标的相对评价是否一致。中系数用于绝对决 高博士生培养质量，促进创造性人才培养发挥了积 策，不仅考察评分的随机误差，同时还考察评分专家 极的作用。评选结果作为衡量学位授予单位特别是 的系统偏差。因此G系数可作为相对一致性的指 其优势学科博士生培养质量的标志之一，受到学位 标，中系数可作为绝对一致性的指标。④可以指导 授予单位、博士生指导教师以及管理工作者等方方 决策者选择最优测量方案。由于上述特点，概化理论 面面的高度重视。随之，评选工作的科学性受到普遍 在解决一些测评情景比较复杂、影响因素较多、评分 关注。 主观性较强的实际工作中具有很大优势，在行为与 作为一种教育评价，评选工作的科学性首先要 心理测量领域得到了广泛的应用。 求评选结果具有较高的信度。信度是评价可信程度 概化理论的框架包括G研究和D研究(Decision 或一致性的衡量指标。本文运用现代测量理论—— 概化理论对优秀博士学位论文的评选信度进行研 方差分量分解的方法对误差进行分解；D研究则是 究，以期为改进评选工作提供科学依据。 在G研究的基础上，计算概化系数G和依存性指标 中，在最大化概化系数和最小化误差基础上，选择最 一、概化理论的特点 优测量方案。G系数和中系数越大，测量误差越小， 概化理论(Generalizability鸭eory，GT)是当今教 可靠性越高。对于具体数值，不同的任务有不同的要 育测量领域最有影响的理论之一。较之经典测量理 求。一般认为，G系数大于O．85，已达到较高的信 论，它具有独特的优势：①可以辨明多种误差来源。 度。 经典测量理论的缺陷之一是所定义的随机误差很笼 概化理论分为单变量概化理论(UGT)和多元概 统，不能有效地分离误差的来源及各自产生的误差 化理论(MGT)。对于测量涉及不同指标而且指标之 大小。概化理论运用方差或协方差分量分解的方法， 间又具有一定相关的测量，应用多元概化理论比单 将各类误差进行分解，从而揭示了测验变异的影响 变量概化理论更具有现实效度。 因素及大小。②用“随机平行测验”的弱假设，代替了 二、样本选择和研究方法 经典测量理论的“严格平行测验”假设，从而使分析 问题的条件较容易得到满足。③提供可靠性系数即 优秀博士学位论文的通讯评议采取相关学科专 概化系数(G系数)和依存性指标(中系数)用于不同家分组评议的办法进行。每篇论文分送7名本学科 的决策任务。G系数和中系数均可用于表示信度。 的专家，每名专家一般评议4—6篇论文。评议专家 G系数用于相对决策，这时并不考虑不同评分者的 是从专家库中随机抽取的，每位专家独立进行评 2003年第7期 黼躐黼灞函黼岛黼豳黼望塑塑查竺塑 分。通讯评议使用两级指标体系，即要求评议专家从 4～6篇，样本数量偏少。为了得到较为准确的结果， 3个方面的7个指标(见表1，自然科学与社会科学本研究在选取样本时，将近四年的评