3.ReviewofLiterature.pptVIP

全国商务英语考试的信效度、难度及趋势研究 江进林 对外经济贸易大学 jinlinj@ Outline 研究对象 研究目的 研究问题 研究方法 研究结果与讨论 结论 I. 研究对象 全国国际商务英语考试（二级） 商务部中国国际贸易学会与对外经济贸易大学联合开发的商务英语应用能力测试，主要考查考生在国际商务环境中应用英语的能力，考试对象为有意从事国际商务工作的高等院校学生、国际商务从业人员以及其他社会人员。 包括听、说、读、写、译五个模块，涵盖语言和商务知识两方面的内容，其中商务知识包括国际贸易、国际金融、国际市场营销、跨国公司管理、国际商法等6类，涉及国际商务中的主要业务，如国际贸易的基本概念、合同磋商的基本环节等（王立非等，2009） II. 研究目的 以2009、2010年的考试数据为依据，对该考试的信度、效度及各题项的难度进行统计分析，并对两年的考试成绩进行比较，以检验其有效性、科学性和稳定性，提出改进意见。 III. 研究问题 商务英语二级考试的信度和效度如何？ 考试各题项的难度如何？ 两年考试成绩的走势如何？ IV. 研究方法 信度：测量结果一致、稳定，本研究采用分半信度与Cronbach’s Alpha来检验考题的内部一致性。 效度：理论论据和经验证据对测试分数的解释、使用，以及建立在测试分数上的种种推断及行为决策的充分性和合理性的支持程度（AERE, 1999; Messick, 1989: 13）。本研究采用题项与总分的相关度来考察题项是否有效地测量了所要考的内容。 IV. 研究方法（cont’d） 难度指题项能测量的量的多少，如果题项的难度太低，得分会聚集在高分端，出现天花板效应；如果难度太高，得分会集中在低分端，出现地板效应。本研究采用项目反应理论（IRT）中的多面Rasch模型考察各题项的难度。 模型的基本思想：测试结果并不仅仅反映考生能力，而是考生能力、考生类型、评分员严厉度、试题难度等多种因素（即多个面）共同作用的结果。该模型可以排除这些因素的影响，将考试中各个面的真实测量值分离出来，用同一个logit尺度进行估算（Linacre, 2011；江进林、文秋芳，2010；张新玲、曾用强、张洁，2010；刘建达，2005）。 V. 研究结果与讨论 5.1 基本情况统计 5.2 测试信度分析 5.3 测试效度分析 5.4 测试难度分析 5.5 两年成绩比较 基本情况统计 年份 模块 2009 2010 最低分 最高分 平均分 标准差 最低分 最高分 平均分 标准差 听力 1 29 15.50 4.64 2 27 15.38 4.86 阅读 0 30 17.13 4.62 0 28 17.27 4.16 翻译 英译汉 0 9 6.07 1.79 0 9 6.59 1.90 汉译英 0 9 5.29 1.93 0 10 6.01 2.03 总分 0 18 11.36 3.07 0 18 12.60 3.16 写作 0 19 10.66 3.88 0 19 14.02 3.05 口语 5 49 35.43 5.99 17 49 36.48 5.38 总分 33 130 90.08 15.20 38 131 96.13 13.33 基本情况统计（cont’d） 听力、阅读、翻译、写作与口语模块的最低分基本上为0，最高分都接近满分。除了口语外，其他部分的平均分仅略高于满分分值的一半，成绩偏低。口语模块的标准差最大，可能是因为口语的分值最大（50分），导致考生成绩的差异较大。 基本情况统计（cont’d） 独立样本t检验：两年考试中本、专科院校各模块的成绩及总成绩均具有显著差异，符合本科院校成绩好于专科院校的整体情况。 2009年本、专科院校总平均成绩的差异高达9.15分，阅读和听力模块的平均分差异最大，分别达到2.51和2.38分；口语平均分的差异最小，为0.94分。2010年本、专科院校总平均成绩的差异达到8.91，阅读和听力模块的平均分差异仍然最高，分别达到3.13和2.97分；写作的平均分差异最小，为0.56分。 测试信度分析 考试分为口试和笔试，口试为若干套平行试题，笔试包括A、B两份平行试卷，其主观题完全相同，客观题部分仅4个选项的顺序不同，可视为一份试卷。由于每名考生只考一次，适合采用分半信度和Cronbach’s Alpha来考察试卷信度。 测试信度分析—分半系数 计算分半信度时，采用按模块分半和按奇偶分半结合的方法，将听力、阅读、翻译、写作、口语模块内的题项都按奇偶数分为两半。需要注意的是，写作只有1道题，口语部分也只有4道题的总分，无法一分为二，因此笔者将写作和口语分别划入第一和第二部分。不过，这种做法会在一定程度上降低信度系数。统计结果表明，2009年考试的Guttman