基于结构学习和迭代自映射的自联想记忆模型A-软件学报.PDFVIP

1000-9825/2002/13(03)0438-09 ©2002 Journal of Software 软 件 学 报 Vol.13, No.3 基于结构学习和迭代自映射的自联想记忆模型 危 辉 (浙江大学 计算机科学系 人工智能研究所,浙江 杭州 310027); (复旦大学 计算机科学系,上海 200433) E-mail: weihui@ 摘要: 传统的人工神经元网络连接结构是固定的,是对权值的学习.提出一种基于生理神经元特征的人工神经元模 型,并在以此为单元构成的用于实现自联想记忆的神经网络上进行对结构的学习.学习算法以设定神经元的输入/输 出感受野、调整突触和轴突末梢的连接、并行的自投影迭代为特征.给出了此网络模型的矩阵描述和实验结果. 关 键 词: 联想记忆;人工神经元网络 中图法分类号: TP 18 文献标识码: A 目前,人工神经元网络与神经科学的联系还较弱,权值的调整技巧被称作是一种“black arts”,很难预料与掌 握.通常的人工神经元网络的学习方式是“对权值的学习”,本文讲述一种“对结构的学习”.它将“用数值隐含表示 记忆模式”转向“用结构连接表示记忆模式”. 在新生儿的脑生理发育过程中有一个突触的爆发生长期(bloom bursting),产生极为巨量的神经连接.在新 生儿以后的认知发展过程中,随着对外界刺激的加工的增加,这些神经连接会进行自行调整和裁剪[1] ;不仅如此, 认知发展成熟以后,神经元树突的形态也是经常变化的[2],使神经元能改变接收信息的对象的范围.这些显然都 是对结构的学习. 联想是一种记忆,心理学中进行的再认实验是一种自联想,再认的成功率比回忆的成功率要好很多, 比如对 测试“ 回忆国家的名称”和“根据词头回忆国家的名称” 的成绩进行比较,后一个包含可供联想的依据的测试成 绩会好许多,这似乎能隐含地说明实现联想记忆的机理是结构表示和结构间的激励. 已有的联想记忆模型[3]无 论是映射式,还是将联想记忆过程看成是非线性动力系统的演化过程,都是基于连接固定、对连接权值进行优 化计算的方法,那么能否将自联想记忆建立在对结构学习的网络模型上呢? 1 网络结构设计 1.1 逻辑神经元设计 经典的神经元模型是数值计算型的,它的活跃函数和输出函数通常选择连续型的函数.用权值表示突触的 连接强度. 由于神经网络连接关系固定、均质和呈现高度规律性,所以,权值成为网络中唯一可以通过学习来改 变的部分,这也就决定了对模式的记忆是通过权值而不是通过结构来进行的.当把模式的表示基础转向通过结 构来进行时,权值的设置就不必要了,对权值进行学习的低效率的算法也就可以放弃了. 生理神经元在信息处理上有以下几个特点[2,4] :(1) 神经元的轴突和树突的形态是可变的,使其能改变接收 信息的神经元范围,也能改变其输出信息的范围.在神经科学中感受野的概念是非常重要的,所以,文中称接收 信息的范围为输入野,称输出信息的范围为输出野.(2) 突触连接间传递信息是通过神经递质的释放来改变生 收稿日期: 2000-02-15; 修改日期: 2000-08-03 基金项目: 国家高性能计算基金资助项目(970064) 作者简介: 危辉(1971 －),男,江西南昌人,博士,副研究员,主要研究领域为人工智能,认知科学. 危辉:基于结构学习和迭代自映射的自联想记忆模型 439 物膜的通透性,从而引起膜两边正负离子的流动来实现的.如果能使正(负)离子流入( 出) 突触后端(postsynaptic dendrite),那么这是一个兴奋性的突触连接,它总给出更多的动作电位(action potentials);相反,如果能使正(负)离 子流出(入) 突触后端,那么这是一个抑制性突触连接,它总是减少动作电位的数量.(3) 轴突传递动作电位时, 由 于管道膜交替改变两边的电势,钠离子不断地进入轴突,使动作电位能不衰减地被传递.动作电位到达其他神经 元的树突后, 由那些突触的性质来解释它,动作电位的强度并不被再次传递. 由(2)和(3)可见,生理神经元处理的 信息更注重它们的性质,而不是具体的数值;抑制性突触是对轴突信号的求反运算,表现出一种布尔运算的特 征,它似