_作文内容_的构念效度研究_运用结构方程模型软件AMOS5的尝试.pdf

2007 年第 3 期 外语研究 2007 , №3 总第 103 期 Foreign L anguages Research Serial №103 “作文内容”的构念效度研究 ———运用结构方程模型软件 A MO S 5 的尝试 文秋芳 (北京外国语大学中国外语教育研究中心 ,北京 100089) 摘 　要 : 本研究运用结构方程模型软件 A MO S 5 检验限时英语议论文“内容”的构念效度 。笔者根据限时议 论文作文思维过程的基本环节 ,确定了代表“内容”构念的四个观测变量 :文章切题性 、观点明确性 、说理透彻 性与篇章连贯性 ,然后运用结构方程模型软件 A MO S 5 检验这四个观测变量对作文总体质量的预测力 。研 究结果表明 , 由这四个观察变量形成的“内容”构念能够解释作文质量 56 %的差异 。本研究终结 目的是为计 算机 自动评分的前期人工评分提供较为精确的“作文内容”分项指标及其评定标准 。 关键词 : 作文内容 ; 人工评分 ; 结构方程模型 中图分类号 : H3 19 　　文献标识码 : A 　　文章编号 : 1005 - 7242 (2007) 03 - 0066 - 06 1 . 引言 1. 1 问题的提出 ( ) 近年来 , 国外多种作文自动评分系统相继问世 。我国梁茂成 2005 已完成了中国学生英语作文 自动 评分的理论建模 , 目前正在研发具有中国知识产权的大规模英语作文 自动评分系统 。人工评分是研发 自 ( 动评分系统和运用自动评分系统的首要环节 。这种非传统意义上的人工评分 后面简称为机助人工评 ) 分 ,需要在精细的评分指标和统一评分标准的控制下完成 。计算机依靠人工评分的结果提取能够预测 成绩的有效参数来建构某批作文的评分模型 ,然后依据这一模型对大批量的同一批其它作文评定分数 。 由此可见 ,前期人工评分的质量直接关系到后期系统 自动评分的好坏 。而效度好 、信度高的人工评分很 大程度上依赖于可操作的分析性评分指标和标准 。逻辑上说 ,评分指标越精细 ,评分标准越明确 ,人工评 分的效度和信度就越高 ,计算机模拟人工评分的效果就越好 。当然指标越精细 ,人工评分需要投入的时 间与精力就越多 ,而实施大规模测试 自动评分之前的机助人工评分通常时间比较紧迫 , 需要在规定的有 限时间之内完成 。因此指标数量的确定需要同时兼顾评分质量和评分效率两个方面 。笔者认为 ,现有的 几种分析性二语作文评分指标体系存在明显缺点 ,不能够达到机助人工评分的要求 。本研究重点探究 “作文内容”指标的设定 、评定标准及其效度 。本研究另一个 目的是尝试运用结构方程模型软件 A MO S 5 检验“作文内容”的效度 。该软件具有三个明显优势 : ( 1) 灵活性显著增加 ,它允许回归方程中自变量含有 测量误差 ,允许变量之间存在协方差 ; (2) 可对原始数据进行直接加工 ,提供标准化和非标准化两种估计 结果 ,不像 L ISR EL 需要输入各相关变量的相关系数表 ; (3) 采用视窗界面 , 易学易用 ,不需要使用者书写 ( ) 任何命令 ,一切操作均只需点击鼠标 程开明 2006 。 1. 2 评述现有三种分析性二语作文评分系统 Weigle (2002) 认为 目前比较有影响的分析性二语作文评分体系有三种 :J acob s et al ( 1981) , Weir ( 1990) , HampL