第四章 人员素质测评工具的评价与选择1.pptVIP

第四章 人员素质测评工具的评价与选择 第一节 人员素质测评工具 的测量学特征 一、信度 2、复本信度 3、内部一致性信度 （2）ａ系数分析 4、评分者一致性信度 5、影响信度的因素 二、效度 （一）效度与信度的关系 二、效度的种类 内容效度应用中应注意 2、构想效度 3、实证效度 （三）影响效度的因素 三、难度和区分度 2、项目区分度 三、标准化 第二节 人员素质测评的常用工具 一、标准化纸笔测验 标准化纸笔测验的优缺点 二、投射测验 3、投射测验的分类 三、行为模拟与观察类测验 行为模拟与观察类测验的优缺点 四、基于工作情景的综合类测验 第三节 人员素质测评工具设计 一、素质测评工具设计和编制的一般程序 （一）测量目标的分析 （二）制定编题计划 （三）编辑题目 （四）题目的试测与分析 （五）组合成测验与标准化 （六）对测验的鉴定 （七）编写测验说明书 二、测题的设计与测量的编制 (三)测验题目的来源及注意事项 1、测验题目的主要来源有： ①从已经出版的各种标准的测评工具中选择合适的题目； ②聘请专家设计题目； ③自行设计题目。 1.将测验相同因素的题目排列在一起； 2.尽可能地将同一类型的试题组合在一起； 3.难度测验的题目应按由简到难的顺序排列； 4.对于人格测验，要尽量避免将测验同一特质的题目编排在一起。 预测试应注意： 1.预测试与正式测试的对象、环境等条件相同； 2.取样要具有代表性，人数适中，一般不少于30人； 3.时间可适当放宽，最好使每个被试都能将题目答完，以便分析结果有效性； 4.应对测试的情况做出较为详细的记录，以便分析和修改。 1、搜集有关资料 2、选择题目形式 3、编写和修订题目 1、试测对象 2、过程与情境要真实 3、时限可适当放宽 4、详细记录 1、题目编排组合方式 并列直进式 混合螺旋式 2、复本难度与区分度把握 1、测量学特征、指标分析 2、获取有关的信度、效度资料 1、标题名称、作者、实施形式和记录形式 2、测验的目的和功能 3、测验编制的理论背景和选题依据 4、测验实施方法、时限、注意事项、对主试的要求 5、标准答案与评分方法 6、对分数的解释 7、测验的信度、效度等资料数据 (一)命题的一般原则 符合测验目的 具有代表性 避免歧义和误解 文句简明扼要 答案唯一确定 各个题目彼此独立 不要隐含暗示 难度适中 避免个人隐私 实施评分简便 2、收集题目应注意： ①题目来源要尽可能的丰富； ②题目要有普遍性 ③要尽量避免文化背景差异的影响。 (四)题目类型及编制要领 1、是非题 优点：评分客观、迅速 缺点：带有一定的机遇成分（50%） 注意： 内容以有意义的事实、概念和原理为基础； 每道题只能包括一个重要概念； 避免模棱两可和暗示性词语； 对错的数量大致相等并随机排列 2、选择题 优点：①适用范围广；②积分客观；③有诊断作用 ④阅卷快捷方便 ⑤必威体育官网网址性较好，可反复使用 缺点：答案固定，测评的内容有限；有技巧的成分 原则： 题干问题明确、选项要简练； 答案要有迷惑性，错误不要太明显； 选项形式上要协调一致，文字长短相当； 正确答案的位置、频次大体相当，不要呈现规律。 3、匹配题 优点：短时间内测量大量相关材料，覆盖面广； 缺点：只能测量简单记忆的事实材料 原则： 一般应采用非完全匹配的形式，减少猜想成分； 各题干及各选项之间性质相近。 结构：一列刺激项与一列反应项组成 类型：完全匹配与不完全匹配 4、匹配题 优点：短时间内测量大量相关材料，覆盖面广； 缺点：只能测量简单记忆的事实材料 原则： 一般应采用非完全匹配的形式，减少猜想成分； 各题干及各选项之间性质相近。 结构：一列刺激项与一列反应项组成 类型：完全匹配与不完全匹配 5、其他题型 填充 简答 论述 操作测验 (四)题目的编排 (五)测试题的预测试 为了对测试题目的效果进行把握，需要将准备好的试题进行一定规模的小样本预先施测，测试后进行分析、修改，这一过程就叫做预测试。 * * 信度是指测验结果的可靠性、稳定性，即测验手段和结果不受随机误差干扰的程度。 1、再测信度 也称稳定性系数，指同一测评对象在不同时间用同一测评工具测量两次（间隔一定时间），两次测评所得结果的（分数）之间的相关系数（差异程度），表示测评工具在时间上的稳定性。 通过积差相关系数来计算，验证测评的科学性与可靠性。 又称等值系数，反映的是两个相等的（等值的）复份测验之间的一致性，是两个平行测验分数的相关性。 优点： ①避免再测信度的记忆效果和练习效应； ②适用于长期追踪研究或调查某些干涉变量对检测结果的影响 ③减少作弊的可能性 缺点： ①不能消除练习效应； ②副本与正本之间仍有迁移作用 ③副