决策导向的文本评估-计算机科学-大语言模型-自然语言生成.pdfVIP

决策导向的文本评估

Yu-ShiangHuang,1,2Chuan-JuWang,1Chung-ChiChen3

1AcademiaSinica,Taiwan

2NationalTaiwanUniversity,Taiwan

3NationalInstituteofAdvancedIndustrialScienceandTechnology,Japan

ntu.edu.tw,cjwang@citi.sinica.edu.tw,c.c.chen@acm.org

摘要叠（蓝得分,ROUGE）或句子层面的可信得分

等内在措施。

自然语言生成（NLG）越来越多地应用于高摘要可能看起来“忠实”，但却遗漏了实质

本风险领域，然而常见的内在评估方法，如n性风险；流畅的出院记录可能会引导临床医生

译元语法重叠或句子可信度，与实际决策效采取不安全的治疗方案；措辞得当的市场简报

中力的相关性较弱。我们提出了一种面向决可能会引导投资者进入亏损的位置。

策的框架，通过直接测量生成文本对人类

2

v和大型语言模型（LLM）决策结果的影响因此，关键问题变成了：当我们评估生成

3来对其进行评估。使用市场摘要文本——文本的价值最终由其提供的决策决定时，我们

2

9包括客观的晨间总结和主观的收盘钟分析应该如何进行评估？

1——作为测试案例，根据仅受这些文本影我们通过采用以决策为导向的评估视角来

0

.响的人类投资者和自主LLM代理执行交易

7回应。与其评估系统是否反映参考用语或达到

0的财务表现来评估决策质量。我们的研究

5高平均意见分数，我们评估其输出是否能使人

2发现，无论是人类还是LLM代理，在完全

:依赖于摘要的情况下都无法始终超越随机或自动化代理做出合理的决策。我们的试验平

v

i表现。然而，更丰富的分析评论使协作的台是每日市场摘要，这是一种具有即时和可量

x

r人类-LLM团队能够显著超过单独的人类化经济影响的类型。具体来说，我们考察（i）

a

或代理基准。我们的方法强调了通过评估早晨简报，它简洁地总结了前一个会期并突出

生成文本促进人类和LLM之间协同决策的过夜的重要事件，这是一个本质上客观的概括

能力来衡量其重要性，突显了传统内在指任务，以及（ii）收盘钟报告，它解释日内波动

标的关键局限性。

并对下一个会期进行推测，这是一个固有主观

的分析任务。我们通过（a）散户投资者和（b）

1介绍

前沿规模的LLM代理仅基于提供的文本进行

自然语言生成（NLG