计算机专业英语.pptxVIP

计算机专业英语

-计算机专业英语01目录Content

计算机专业英语1

计算机专业英语摘要?虽然序列到序列模型通常在i.i.d.数据的语义解析中取得良好的性能，但在组合泛化方面的性能仍然较差

为了缓解这一问题，已经提出了几种数据增强方法

然而，之前的工作只利用了肤浅的语法或规则来进行数据增强，这导致了有限的改进

我们建议使用子树替代来进行组合数据增强，我们认为具有相似语义功能的子树是可交换的

我们的实验表明，这种增强的数据显著提高了sCAN和GEOQUERY的性能，并在GEOQUERY的组合分割上达到了新的SOTA

我们已经在

?

/GT-SALT/SUBS

?公开发布了我们的代码

计算机专业英语介绍?语义解析将自然语言的表达转化为形式语言

因为意义表示或程序本质上是组合的，所以语义解析是组合泛化的理想测试平台

尽管神经seq2seq模型可以在i.i.d.数据的语义分析中达到最先进的性能，但由于缺乏推理能力，它们在组合泛化方面失败了

也就是说，它们不能很好地泛化到训练时没有看到的形式语言结构

例如，一个模型在训练时观察最大国家的人口是多少?和USA最大的城市是什么?的问题可能无法推广到诸如USA最大城市的人口是多少?这将导致旨在衡量构成的数据分割的性能大幅下降泛化(compositionsplitting)，与人类的泛化能力形成对比

?

为了提高语义分析中的组合泛化(组合语义分析)，之前的工作主要集中在将归纳偏差直接纳入模型或数据增强中

计算机专业英语010203050406从模型的角度来看，一些工作使用神经符号模型(Chenetal.，2020)，生成中间离散结构(HerzigandBe-rant，2020Zheng和Lapata，2020)，或者进行元学习(Lake，2019)从数据的角度来看，Jia和Liang(2016)提出用简单的同步上下文无关语法(scFG)重组数据，尽管不是为了构成泛化Andreas(2019)使用了一些简单的规则进行数据增强，其中具有相同上下文的令牌被认为是可交换的这些技术仍然是有限的，因为它们只利用了表面的语法或规则，当有语言丰富的短语或从句时就失败了?为了填补这一空白，我们建议使用基于诱导或注释(语义和句法)树的各种组合示例来增强语义解析的训练数据

计算机专业英语1具体来说，我们建议交换根具有相似意义函数的子树2由于我们考虑了所有树中的所有层次结构，因此考虑了深度结构和复杂短语或子句来进行数据增强，这是组合泛化的关键3例如，在图1中，如果我们以最大作为其根的意义函数交换子树，那么thepopulationofthe和thebiggestcityintheminimumstateinUSA最小州的最大城市的组合就会得到一个新的增强结构thebiggestcityintheminimumstateinUSA最小州的人口4尽管在其他NLP任务中已经探索了某些子结构替换方法(Shietal，2021)，但具有细粒度意义函数的子树替换尚未得到充分探索5我们的实验表明，这种增强的数据可以显著提高SCAN的性能(Lake和Baroni,2018)

计算机专业英语和GEoQUERY，并在GEOQUERY的组合拆分上达成新的SOTA

计算机专业英语方法?假设训练集为{(xi，zi)}Ni=1，其中xi为自然语言话语，zi为相应的程序。一个话语x可以映射到一个跨度树T，使得程序(T)=z，其中确定性函数程序(·)将跨度树映射到程序(Herzig和Berant,2020)?如图1所示，生成树T是一棵树，其中每个节点覆盖一个具有令牌xi的跨度(i，j)j=(xi,xi+1，...，xj)一个跨度子树可以被看作是从每个跨度(i,j)到单个类别c∈c的映射，其中c是一组特定于领域的类别，表示领域常量，其中包括实体(例如图Ⅰ中的countryid#usa)和谓词(例如图1中的loc_2)最终的程序可以通过函数程序(·)从跨度树确定性地计算出来

计算机专业英语具体来说，程序(T)自底向上迭代T中的节点，并为覆盖跨度(ij的每个节点生成程序zi:j123456对于终端节点，zi:j=c对于内部节点，zi:j通过组合其子节点zi:s和zs:j的程序来确定，其中﹔是分裂点与组合范畴语法(CombinatoryCategoricalGrammar)一样，组合就是简单的函数应用，其中使用特定于领域的类型系统来确定哪个子节点是函数，哪个是参数跨度树可以通过硬em算法或半自动注释来诱导我们建议读者参考Herzig和Berant(2020)来了解如何获得生成树

计算机专业英语子树替换，语义解析?2.1子树替换(SUBS)?如图1所示，我们认为具有相