相位编码出现在优化了模算术的递归神经网络中-计算机科学-循环神经网络-深度学习.pdfVIP

相位编码出现在优化了模算术的递归神经网络中

APREPRINT

凯思·T.穆雷

murraykeith64@

ABSTRACT

递归神经网络（RNN）可以通过利用一系列动态，如振荡、吸引子和瞬态轨迹来实现复杂的

本计算。越来越多的研究强调了相位编码——一种信息在网络活动的相对相位中被编码的震荡

活动类型——在为工作记忆任务训练的RNN中的出现。然而，这些研究依赖于明确促进震

译荡解的架构约束或正则化方案。在这里，我们探讨是否可以通过训练连续时间RNN来执行

中简单的模数算术任务而不带有振荡促进偏差，从而纯粹从任务优化中出现相位编码。我们发

2现，在没有这样的偏差的情况下，RNN可以学习相位编码解。令人惊讶的是，我们也发现了

v通过质性不同的动态和动力机制解决我们的模数算术任务的丰富多样的替代解。我们绘制了

8任务的解决方案空间，并表明相位编码解占据了独特的区域。这些结果表明，相位编码可能

0

9是训练RNN在模数算术上的自然但并非不可避免的结果，并突出了RNN可以学习到的多种

7简单任务解决方案。

0

.

0Keywords循环神经网络阶码振荡动力学解空间

1

3循环神经网络（RNNs）广泛应用于计算神经科学，以建模生物电路的计算和动态

2

:

v

i1介绍

x

r

a

。令人惊讶的是，任务优化的RNN所学习到的动力学和表示通常与在生物系统中发现的相似，尽管它们的

实现细节有明显差异(SussilloandBarak,2013;Sussillo,2014;Barak,2017)。这种收敛的一个诱人的解释是网络

学习这些解决方案是因为它们对执行任务来说是唯一最优的(Manteetal.,2013;Sussilloetal.,2015;Chaisang-

mongkonetal.,2017;Sohnetal.,2019)。然而，人工网络不仅针对任务性能进行优化，还受到其架构、损失

函数或训练程序中编码的各种归纳偏置的影响。这引发了是否网络发现某些解决方案是因为它们真正是最

优的任务解决方案，还是因为这些解决方案反映了任务和训练过程中施加的归纳偏置联合优化的问题(Mah-

eswaranathanetal.,2019;Kanwisheretal.,2023)。

这种人工网络与生物网络之间趋同的一个显著例子是相位编码——一种通过振荡活动的相对时间来表示信

息的神经机制。此类编码已在大脑(O’KeefeandRecce,1993;Siegeletal.,2009;Watrousetal.,2018)中广泛观察

到，并在经过优化以处理工作记忆任务的递归神经网络RNNs(Palsetal.,2024;Dueckeretal.,2024;Liebeetal.,

2025;Effenbergeretal.,2025)中得到了重现。然而，之前的这些RNN研究包含了一些归纳偏置，例如架构约

束或正则化项，这些都明确偏向于振荡解决方案。因此，尚不清楚RNN是否因为相位编码对任务性能真正

最优而学习到了它，还是仅仅因为它被引导去学到了这一点。

在这里，我们通过在简单的模块化算术任务上训练连续时间RNN来解决这个问题，并故意避免那些鼓励振

荡的归纳偏见。除了询问相位编码是否出现之外，我们还探索了网络在不同超参数设置和随机初始化下学习

相位编码在RNN中出现