- 1、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
LLM导师院长:通过LLM反馈评估者探索全面和自动化的LLM生成教育反馈
的评估
KeyangQian,YixinCheng,RuiGuan,WeiDai,FloraJin,KaixunYang,SadiaNawaz,Zachari
Swiecki,GuanliangChen,LixiangYan,DraganGašević
CentreforLearningAnalytics,FacultyofInformaitonTechnology,MonashUniversity
Melbourne,VIC,Australia
{keyang.qian,yixin.cheng,rui.guan,wei.dai1,flora.jin,kaixun.yang1,sadia.nawaz,zach.swiecki,guanliang.chen,
lixiang.yan,dragan.gesevic}@
Abstract算课程中(Nguyenetal.2014;ofSciencesetal.2018)。
因此,在教育技术研究中,将大型语言模型(LLMs)
基于大型语言模型(LLM)的辅导系统为学生的作业提
交提供自动化教育反馈在AI教育(AIED)领域受到了应用于生成自动化反馈已成为一个重要关注领域(Kim
本广泛关注。然而,LLM的概率性质和幻觉倾向可能会etal.2025;Rudolph,Tan,andTan2023;Daietal.
译损害学习体验的质量并违反伦理标准。为了解决这一问2024a),尤其是在计算机科学教育领域(Dennyetal.
中题,我们提出了一种方法,使用LLM反馈评估器(决策2024;Balseetal.2023;Hellasetal.2023;Liffitonetal.
LLMs)自动全面地评估由LLM导师生成的大学作业提2023;Leinonenetal.2023;PankiewiczandBaker2023;
1交反馈,在这些反馈传递给学生之前进行。这使得可以Phungetal.2023a,b;Pratheretal.2023)。
v
2拒绝低质量的反馈,并允许基于评估结果改进LLM导师虽然LLMs的发展在生成教育反馈方面显示出巨
5生成的反馈。我们首先提出了一个全面的评价框架,用
9于评估LLM生成的教育反馈,其中包括六个反馈内容大的潜力,但研究人员对LLM生成内容中经常出现的
5维度、七个反馈效果维度和三个幻觉类型维度。接下来,幻觉现象表达了担忧(Yanetal.2024)。幻觉是指LLMs
0
.我们使用八种常用的商业LLM生成了一个虚拟作业提生成的内容不相关、虚构或不一致的现象(LakeraAI
8交数据集(n=200个作业提交),涵盖来自43门计算机2024)。关于幻觉是否是LLM生成过程中固有的一部
0
5科学课程中的85项大学作业。我们将作业数据集进行了分,在GenAI研究社区内部正在进行激烈的辩论(San-
2标注并开源,以支持LLM反馈评估器的微调和评价。我garé2023)。一种普遍的观点(Xu,Jain,andKankanhalli
:
v们的发现显示,o3-pro在零样本标签反馈方面表现出最2024;Banerjee,Agarwal,andSingla2024)建议,幻觉
i
x佳性能(准确率74.3%,F1分数74.5%),而o4-mini则在LLMs中不可
您可能关注的文档
- EC2 模块专家系统: 自适应端云管道协作支持可扩展的专家混合推理.pdf
- 多功能 chirp 信号在下一代多载波无线网络中的应用:通信、感知和 ISAC 视角.pdf
- 清晰注意力:通过结构稀疏性正则化 TRANSFORMER.pdf
- ExploreGS: 带有虚拟相机采样和扩散先验的可探索三维场景重建.pdf
- 手拉手:LLM 驱动的 EMS 助手用于操作技能学习.pdf
- 快速运动估计和上下文感知优化在高效拜耳域视频视觉中的应用.pdf
- 动画场景:可控制相机的任何场景动画.pdf
- DAFMSVC: 基于双注意力机制和流匹配的一次性歌唱语音转换.pdf
- 具有扰动意识的空地双模无人机的动力学轨迹规划.pdf
- 跨市场推荐的双重原型注意力图网络.pdf
- 小型博物馆中用于无障碍和包容性的社会与远端存在机器人.pdf
- 以功能为导向的双臂装配遥操作技术用于拆卸连接部件.pdf
- 模块化真空夹具系统用于自适应拆卸工作空间集成.pdf
- ASLSL:基于不完整多模态生理数据的自适应共享潜结构学习用于多维情感特征选择.pdf
- REFS: 具有缺失多维标注的鲁棒 EEG 特征选择用于情感识别.pdf
- 训练和弦识别模型的人工生成音频方面.pdf
- 记忆之战:人工智能记忆、网络效应与认知主权的地缘政治.pdf
- VISTA: 视觉-语言情景思维和注意力模仿在动态环境中的类人驾驶关注点.pdf
- 迈向透明的伦理人工智能:可信机器人系统的路线图.pdf
- 通过将视觉基础模型与强化学习相结合以提升物体交互能力.pdf
- 专业Latex文档翻译 + 关注
-
实名认证服务提供商
专业Latex文档翻译,完整保持文档排版,完美处理文档中的数学公式和图表等元素,并提供 arXiv Latex 论文中文翻译。
文档评论(0)