文秋芳 大规模英语考试主观题自动评分系统的研制.pptVIP

大规模英语考试主观题自动评分系统的研制 主要内容 研究的意义 研究的意义 研究的意义 课题简介 课题简介 主观题自动评分方法 主观题自动评分方法 主观题自动评分方法 主观题自动评分方法 主观题自动评分方法 主观题自动评分方法 自动评分演示及相关问题 未来的研究 中国外语教育研究中心 文秋芳 梁茂成 秦 颖 等 研究的意义 课题简介 主观题自动评分模型构建及评分方法 自动评分演示及相关问题 英语作文自动评分系统 汉英翻译自动评分系统 未来的研究 我国的大规模英语考试 初中阶段 高中阶段 大学阶段 研究生阶段 继续教育阶段 大规模英语考试中的主观题型 作文 翻译 听写 简答题 完形填空（不提供选择） 主观题评阅中的困难 财力物力开支 人力开支 评分的主观性 评分信度 双人或多人评分 支撑项目及课题的构成 江苏省研究生创新项目 英语作文自动评分模型构建 教育部哲学社科项目 大规模考试英文作文自动评分系统的研制 教育部国家重点文科基地重大研究项目 大规模英汉互译自动评分 汉英翻译自动评分模型构建与系统研发 英汉翻译自动评分模型构建与系统研发 涉及学科 第二语言习得 语料库语言学 语言学和翻译学 语言测试 自然语言处理 信息检索 统计学 国外相关研究 国外作文自动评分系统 Project Essay Grade Intelligent Essay Assessor E-rater IntelliMetric 机器翻译自动评价方法 BLEU NIST 国外相关研究中的自动评分方法 多元回归（E-rater, PEG） 本体（ontology）（IntelliMetric） Latent Semantic Analysis （IEA） 国外相关研究中的自动评分方法 What’s in the blackbox? 变量类型 变量提取技术 本研究中的自动评分方法：多元回归 人工评分 变量挖掘 相关性分析 模型构建与优化 程序设计 程序优化 大规模实验 模型的构建的过程 训练集 验证集 预测变量 文本自动分析 备选变量 相关性分析 自动评分模型 诊断与优化 +-×? 得分 专家评分 人评得分 文本自动分析 预测变量 信度分析 专家评分 得分 本研究中的自动评分过程 专家评分 训练文本 文本自动分析 相关性分析 自动评分模型 更多文本 文本自动分析 诊断与优化 备选变量 预测变量 预测变量 得分 +-×? 人评得分 英语作文自动评分系统 翻译自动评分系统 稍后演示 及时反馈型在线评分系统 其它主观题型的自动评分 评分系统的不断优化 谢谢！ Next… 其他主观题型，如：简答题 比如初中阶段的中考，高中阶段的的高考，大学阶段的四六级考试，英语专业八级考试，继续教育阶段的职称考试等等。 据统计，每年高考的人数达一千万人，四六级考试的规模也在一千万左右。 将文本特征视为与语言质量相关的预测因子（自变量），最终的得分视为因变量，用多元回归分析法寻找语言质量和文本特征之间的关系，得到评分模型。多元线性回归的数学模型为： 这里的y就是文章的得分，X1—Xp是与质量有关的文本特征。 具体有哪些变量以及如何提取这些变量都是隐秘的，有关文献中对关键变量的阐述都有所保留。