收缩性、临界性和容量：从动力系统视角看回声状态网络-计算机科学-机器学习-回声状态网络-神经生物学.pdfVIP

收缩性、临界性和容量：从动力系统视角看回声状态网络

∗†‡

PradeepSingh,LavanyaSankaranarayanan,BalasubramanianRaman,

计算机科学与工程系艾伯塔大学数学与统计科学系

罗尔达尔印度理工学院加拿大艾伯塔省埃德蒙顿市T6G2J5

印度罗尔达尔-247667加拿大艾伯塔省埃德蒙顿市T6G2J5

Abstract

回声状态网络（ESNs）提炼了一项关键的神经生物学洞察：丰富的循环但固定的电路与

自适应线性输出相结合，可以以惊人的效率转换时间流。然而，关于稳定性、记忆和表达能

本力的基本问题仍然分散在各个学科中。我们提出了一种统一的动力系统处理方法，将泛函分

译析、随机吸引子理论和最近的神经科学发现结合起来。首先，在紧凑的多变量输入字母表上，

中我们证明了回声状态属性（初始条件的消退）与全局Lipschitz动态必然地产生了消退记忆属

性（对远距离输入的几何遗忘）。紧密的代数测试将激活特定的Lipschitz常数转化为经过验

1

v证的谱范数界限，涵盖了饱和和整流非线性。其次，采用Stone-Weierstrass策略，我们给出

7了一个简化的证明，表明具有多项式水库和线性输出的ESNs在因果、时间不变衰减记忆滤

6

4波器的Banach空间中是稠密的，将普遍性扩展到随机输入。第三，我们通过Jaeger的记忆容

8量谱量化计算资源，展示拓扑结构和泄漏率如何重新分配延迟特定能力，并将这些权衡与混

1

.沌边缘的Lyapunov谱联系起来。最后，将ESNs作为斜积随机动力系统来处理，我们建立了

7

0唯一拉回吸引子的存在性并推导了条件Lyapunov界限，提供了皮层临界性的严格类比。分

5

2析得出了具体的设计规则——谱半径、输入增益、激活选择——同时基于数学和神经科学，

:并阐明了为什么适度大小的水库通常在实践中与完全训练的循环网络相匹敌。

v

i

x

r

a1介绍

大脑作为自然储水库。皮质微电路密集、异质且高度递归；动作电位在回路中震荡，其突触时

间常数范围从AMPA主导的轴突中的几毫秒到富含NMDA的树突棘中的数百毫秒。[7,6]这种多

尺度震荡赋予神经组织一种形式的衰减记忆：近期刺激在状态空间中雕刻出瞬态轨迹，而较早

的扰动则以几何级数衰减——这是短期工作记忆和时间上下文整合的一个特征。[8,25]同时，持

续的突触轰炸将皮质网络推向一个边缘稳定的“混沌边缘”区域，在这里李雅普诺夫指数接近于

零，从而最大化了灵敏度和信息传输能力[3,2]。这些观察结果促进了水库计算范式的形成，其

优雅的实现是Jaeger[15]的回声状态网络(ESN)以及Maass等人士。[20]密切相关的液态机器。

∗Email:pradeep.cs@sric.iitr.ac.in

†Email:lsankara@ualberta.ca

‡Email:bala@cs.iitr.ac.in

1

动机。尽管在混沌天气预测[22]、脑机接口和模拟光子处理器方面取得了显著的实证成功，但

对如何和为什么ESN继承生物网络计算优势的第一性原理解释仍然支离破碎。特别是，将ESN

设计参数（激活函数、拓扑结构、泄漏率）与如Lyapunov谱和信息率等神经科学测量联