通往基于常识的神经符号 AI 的道路能否用词语作为分类器来铺就？-计算机科学-机器学习-计算语义-语言模型.pdfVIP

通往基于常识的神经符号AI

的道路能否用词语作为分类器来铺就？

CaseyKenningtonDavidSchlangen

DepartmentofComputerScienceDepartmentofLingusitics

BoiseStateUniversityUniversityofPotsdam

caseykenningtondavid.schlangen

@boisestate.edu@uni-potsdam.de

Abstract及因此语言与物理世界如此紧密相连，以至于

语义的计算模型也应该如此。

形式、分布和基于语境的计算语义理论各最近，当经典的、正式的意义表示被自然

有其用途和缺点。语言模型已经通过添加

语言处理和机器学习领域内的分布式表示所取

视觉知识转向了基于语境的模型，并且有

代时，出现了一个戏剧性的转变。基本的分布

人呼吁用符号方法丰富语言模型，以获得

本形式、分布和基于语境理论的好处。在本理论通常归功于JRFirth，他观察到“你将通过

译文中，我们试图证明统一这三个语义领域一个词周围同伴来了解这个词”(Firth,1957)，确

中的一个潜在路径是词汇作为分类器模型，实，在言语和文本中词语会与其他词语相伴出

这是一种词级基于语境的语义模型，已在现，因此在文本中词语的表现方式必须与它们

1文献中的形式化和分布式语言模型中被采的意义有关。与此同时，文本数据集的规模扩

v

5用，并且在交互式对话设置中得到了很好大并扩展到了不同的领域，为分布假设提供了

3的验证。我们回顾了相关文献，通过认知

3实证基础。简单的共现方法被更合理的模型所

6科学领域的近期工作来阐述词汇作为分类

0取代，例如word2vec(Mikolovetal.,2015,2013)，

.器模型的重要性，并描述了一个小规模实

7验。最后，我们勾勒出一个通过词汇作为其中“意义”可以用可计算向量（即n维空间

0

5分类器统一语义的模型。中的点；参见图3的示例）表示，并且可以与流

2

:行的神经启发的机器学习模型和硬件兼容并使

v

i1介绍用文本数据进行训练。这被认为是对正式表示

x

r的巨大改进，因为词语的意义不再是由符号系

a

在他著名的中国房间思想实验中，约翰·

统内在决定的；相反，向量及其相互之间的距

塞尔认为当时的经典人工智能(AI)方