评估大型语言模型和人类语言创造性的比较方法-计算机科学-大语言模型-语言创造力测试.pdfVIP

评估大型语言模型和人类语言创造性的比较方法

AncaDinuAndra-MariaFlorescuAlinaResceanu

UniversityofBucharestInterdisciplinarySchoolofDoctoralStudiesUniversityofCraiova

Bucharest,RomaniaUniversityofBucharestCraiova,Romania

anca.dinu@lls.unibuc.roBucharest,Romaniaalina.resceanu@edu.ucv.ro

andra-maria.florescu@s.unibuc.ro

2025年7月20日

本

译ABSTRACT

中以下论文介绍了一种针对人类和大型语言模型（LLMs）的通用语言创造力测试。该测试包

含各种任务，旨在评估它们基于词汇生成过程（派生和复合）以及比喻性语言使用生成新原

2

v创单词和短语的能力。我们对24名人类和同等数量的LLMs进行了测试，并使用OCSAI工

9具根据三个标准自动评估了他们的答案：原创性、详细说明和灵活性。结果显示，LLMs不

3

0仅在所有评估的标准上都优于人类，在八个测试任务中的六个中表现更好。然后我们计算了

2个体答案的独特性，这显示出人类和LLMs之间存在一些细微差异。最后，我们对数据集进

1.行了简短的手动分析，发现人类倾向于E(扩展)-创造力，而LLMs则更偏好F(固定)-创造力。

7

0Keywords语言创造力大型语言模型比较方法

5

2

:

v1介绍与理论背景

i

x

r创造力代表人类基于现有知识和经验，创造新颖且可行事物的内在能力[1]。吉尔福德[2]指出，在创造性过

a

程中有两种主要思维类型：发散性思维，指的是在面对创造性任务时产生的众多想法；收敛性思维，则将这

些想法限制为最合适的那些。这两种思维对于成功的创造性过程都是必需的，并且隐含在创造力的概念之中。

不久前，创造力被认为是一种人类特有的特质。计算创造力是一个相对较新的领域，起源于1960年，在过去

五年随着人工智能和大型语言模型的兴起而迅速发展。各种类型的创造力，如观念创新、问题解决创新、写

作创新、语言创新、形象（图像）创新、音乐创新等，现在都由机器展示出来，而不只是人类。本文的重点

是人类和机器的语言创新能力。

语言创造力，最广泛地说，是指个体使用自然语言的新颖和不寻常方式的能力。它深深植根于我们的日常沟

通[3]中，在我们使用和操纵语言的方式以及我们在消费的媒体中的持续流动中。它的无所不在和迅速增长

使语言创造力成为众多学科的研究课题，从心理学、神经科学、计算机科学[4]到语言学[5]、历史、批评乃

至管理理论[1,6,7]。

这种多维性质突显了构成“语言创造力”的内容根据不同的分析视角而根本不同。Sampson[8]区分了两种类

型的语言创造力：F-创造力（固定的）和E-创造力（扩展的），它们并不形成一个离散的空间，而是连续的

一个。F-创造力定义的一个实例是乔姆斯基的：“语言是一个自由创造的过程；其法则和原则是固定的，但生

成原则的使用方式是自由且无限多样的”[9]。这种创造力指的是基于规则的句法生产性、形态生产性和语义

生产性（如雪克隆）。Bergs对创造力的定义侧重于E-创造力：“这真正意义上的创造是指我们创造了原创的、

APREPRINT