LLM 导师院长:通过 LLM 反馈评估者探索全面和自动化的 LLM 生成教育反馈的评估.pdfVIP

LLM 导师院长:通过 LLM 反馈评估者探索全面和自动化的 LLM 生成教育反馈的评估.pdf

此“教育”领域文档为创作者个人分享资料,不作为权威性指导和指引,仅供参考
  1. 1、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

LLM导师院长:通过LLM反馈评估者探索全面和自动化的LLM生成教育反馈

的评估

KeyangQian,YixinCheng,RuiGuan,WeiDai,FloraJin,KaixunYang,SadiaNawaz,Zachari

Swiecki,GuanliangChen,LixiangYan,DraganGašević

CentreforLearningAnalytics,FacultyofInformaitonTechnology,MonashUniversity

Melbourne,VIC,Australia

{keyang.qian,yixin.cheng,rui.guan,wei.dai1,flora.jin,kaixun.yang1,sadia.nawaz,zach.swiecki,guanliang.chen,

lixiang.yan,dragan.gesevic}@

Abstract算课程中(Nguyenetal.2014;ofSciencesetal.2018)。

因此,在教育技术研究中,将大型语言模型(LLMs)

基于大型语言模型(LLM)的辅导系统为学生的作业提

交提供自动化教育反馈在AI教育(AIED)领域受到了应用于生成自动化反馈已成为一个重要关注领域(Kim

本广泛关注。然而,LLM的概率性质和幻觉倾向可能会etal.2025;Rudolph,Tan,andTan2023;Daietal.

译损害学习体验的质量并违反伦理标准。为了解决这一问2024a),尤其是在计算机科学教育领域(Dennyetal.

中题,我们提出了一种方法,使用LLM反馈评估器(决策2024;Balseetal.2023;Hellasetal.2023;Liffitonetal.

LLMs)自动全面地评估由LLM导师生成的大学作业提2023;Leinonenetal.2023;PankiewiczandBaker2023;

1交反馈,在这些反馈传递给学生之前进行。这使得可以Phungetal.2023a,b;Pratheretal.2023)。

v

2拒绝低质量的反馈,并允许基于评估结果改进LLM导师虽然LLMs的发展在生成教育反馈方面显示出巨

5生成的反馈。我们首先提出了一个全面的评价框架,用

9于评估LLM生成的教育反馈,其中包括六个反馈内容大的潜力,但研究人员对LLM生成内容中经常出现的

5维度、七个反馈效果维度和三个幻觉类型维度。接下来,幻觉现象表达了担忧(Yanetal.2024)。幻觉是指LLMs

0

.我们使用八种常用的商业LLM生成了一个虚拟作业提生成的内容不相关、虚构或不一致的现象(LakeraAI

8交数据集(n=200个作业提交),涵盖来自43门计算机2024)。关于幻觉是否是LLM生成过程中固有的一部

0

5科学课程中的85项大学作业。我们将作业数据集进行了分,在GenAI研究社区内部正在进行激烈的辩论(San-

2标注并开源,以支持LLM反馈评估器的微调和评价。我garé2023)。一种普遍的观点(Xu,Jain,andKankanhalli

:

v们的发现显示,o3-pro在零样本标签反馈方面表现出最2024;Banerjee,Agarwal,andSingla2024)建议,幻觉

i

x佳性能(准确率74.3%,F1分数74.5%),而o4-mini则在LLMs中不可

您可能关注的文档

文档评论(0)

专业Latex文档翻译 + 关注
实名认证
服务提供商

专业Latex文档翻译,完整保持文档排版,完美处理文档中的数学公式和图表等元素,并提供 arXiv Latex 论文中文翻译。

1亿VIP精品文档

相关文档