Pensieve 评分器：一款基于人工智能的即用型平台，实现轻松的手写 STEM 评分-计算机科学-人工智能-大语言模型-手写识别.pdfVIP

Pensieve评分器：一款基于人工智能的即用型平台，实现轻松的手写

STEM评分

YoonseokYang*†MinjuneKim*MarlonRondinelliKerenShao

PensieveInc.

{yoon,minjune,marlon,keren}@pensieve.co

摘要定义的标准评估学生的回答，并且通常会随着

常见错误模式的出现而迭代地细化评分指南。

手写开放性答案的评分仍然是大型大学

本STEM课程中的主要瓶颈。我们介绍Pen-然而，这一过程非常耗时，特别是对于数学、

sieveGrader(https://www.pensieve.co)，物理和工程中常见的手写或开放式回答。潦草

译这是一个借助大型语言模型(LLMs)转录的笔迹、杂乱无章的推理以及表面正确但实际

中和评估学生作业的人工智能辅助评分平上无关的工作常常阻碍评分过程。这些挑战因

2台，为教师提供与评分标准对齐的成绩、班级规模的不断扩大而进一步加剧，这导致反

v

1转录内容和置信度评级。与之前专注于特馈延迟并使教学团队超负荷工作。

3定任务（如转录或评分标准生成）的工具不

4像Gradescope(Singhetal.,2017)这样的工

1同，PensieveGrader支持整个评分流程——

0.从扫描的学生提交到最终反馈——并在人具通过数字化提交内容和启用结构化评分标准

7类在回路界面中进行操作。的应用，简化了工作流程的一部分。然而，人

0

5PensieveGrader已在超过20个机构的真类评阅者在解释复杂、非结构化的学生作业方

2

:实课程中部署，并已评分超过300,000份面仍然至关重要。传统的自动评分系统由于无

v

i学生答卷。我们展示了在四个核心STEM法处理自由形式的输入或理解语言语义，在这

x

r学科中的系统细节和实证结果：计算机科些情况下表现不佳。

a

学、数学、物理和化学。我们的研究结果显近期在生成式人工智能——尤其是大型语

示，PensieveGrader将评分时间平均减少了言模型（LLMs）——方面取得的进展提供了

65%，且没有显著降低准确度。

一种有前景的替代方案。LLMs在自然语言理

1介绍解、零样本推理和反馈生成方面表现出强大的

能力。在自动短答案评分（ASAG）和自动长答

在过去十年中，各大高校的大型入门级

案评分（ALAG）等领域，LLMs被用于转录学

STEM课程的注册人数显著增加。诸如计算机

生回答、生成评分标准、制作评分理由以及提

科学