脑启发计算解析.docxVIP

脑启发计算 这个题目的内容叫脑启发计算。其实我觉得我们中国的 文字很有意思，我们在翻译的时候，我们说 翻译 成计算机是很准确的，其实这个词进入中国的时候我们就对 它就很强的工作，我们希望它跟脑一样，通过脑的工作原理 我们从当中能提取什么内容。 那人工智能年，实际上计算机发展也差不多是这样的 时候。我们都知道计算机的整个架构，计算机是怎么工作 的？是基于一种很简单的架构，输入输出，但最重要的一点 是 和内存，这两点之间数据的交换。我们真正在实现 这个架构的时候会构建很多的总线，比如控制的总线、地址 的总线、数据的总线，最基本的原理就是希望内存和 之间有很好的交换。就是由于这样的构成造成了很大的瓶 颈，我们知道深度学习有很多好的突破，今天早上我们也看 到了他们做的显卡。为什么在深度学习里需要 的计算 会有问题呢？就是因为总线的架构会阻碍内存和 之间 信息的交流。不管你内存加多大，之间就像一个单路的信息 通道。 我们再看脑的工作方式，脑是一个很有意思的构建。 生物体在一开始的时候是没有大脑的，然后慢慢在一些神经 的末端会有膨大的部分，然后再慢慢形成脑。我们现在对脑 的解剖学上面已经有了很好的认识，这里面有两张图，是解 剖图。脑里面最基本的单元就是神经元，神经元之间通过突 触联接。我们想讲的是脑做的推理或者计算，都基于这样的 构造。首先讲人的大脑有 亿个神经元，也就是说我们 现在一般的机器最多 核，但是我们的脑子里面是有 亿个神经元的计算。第二点就是它是非常强的连接关系，有 万亿个突触的连接，平均每个神经元之间有 个连 接。这种连接造成了后面会讲的，比如说我们发现脑的频率 或者是主频并不高，大约是 赫兹到 赫兹之间，但它 能做很复杂的运算，也就是因为这样的连接。假定是 个连接的话，两层就可以做到一兆，三层就可以做到 G 脑的H作是非常低频率的，而且是一个非常非常充分连接的 计算系统。 我们另外看到脑里的信号，连接的速度也不是很快的。 我们有些实验，大家也可以自己做一下实验。脑的信号在神 经里面的传输速度大概是每秒钟米到 米，你怎么来看 呢？比如说你弯一下手指头，你再试一下脚指头，大概弯手 指头的速度可以达到脚指头频率的两倍，原因很简单，大脑 到手的距离是到脚距离的一半。 还有一个特征我们没有看到，就是脑是非常非常低功 耗的系统，人大概是 瓦的功耗，脑是占据了人三分之一 的能耗的销量，虽然脑的重量没有那么大，但是消耗了人体 的三分之一的能量。脑也只有 瓦的功能，有时候我们在 讲现在的人机大战，他对面的选手就是早晨起来喝牛奶，吃 个面包就可以比赛了。这个角度来讲脑是非常非常有效率的 机构。我们总结起来看一下，就是说实际上脑的主频并不快， 达到就是 到 赫兹，信号传输的速度也不快，但它是 高并发的。 另外一点， 的研究院做过的研究，这是猕猴的大 脑，脑里面有很多的分层，但其实你会发现这些脑的各个功 能分区之间也存在一些长线连接。举个例子说，你负责视觉 的部分的大脑皮层和你负责听觉的部分也有连接在这边发 生。我们对应现在的神经元网络构建分层的，早上微软的同 事在介绍他们的工作，构建了深度学习网络跨层之间的反 馈，这个方式其实跟脑的这种工作机理是有借鉴，他是非常 非常充分连接而且有一些长线连接的构造。 总结下来，我们再看看今天做的这些深度学习的算法， 其实本质上是用这种神经元的方式，我们叫做一个人工的神 经元，实际上对大脑的神经元做了非常非常多的简化。刚刚 如果大家看那张图，里面有很多的细节，里面做的不是一个 简单的运算，也不是简单的电信号，在突触上面实际上做的 是物质的传输，而且分很多种，有的物质传输是为它的信号 增强，有的是为它的信号的抑制的作用。所以脑子里面发生 了很多的化学或者生物变化，而我们现在这种人工的神经元 实际上是很简单的物理模型，基本上可以看成说一个电线接 个电灯泡的过程。即便是这样的过程当我们把层数变得很深 的时候，当我们用大数据的办法用训练的时候，它仍然给我 们带来很好的结果。过去几年在模式识别的问题上，这种深 度学习的技术得到了很好的应用，仿造大脑构建这样一个简 化的物理结构，当这个结构足够大的时候，在图像、视频， 语音中取得了突破性的结果，我们也看到一些用循环神经元 网络做一些在自然语言理解上，做机器翻译方面都有好的结 果，当然还有最近的围棋。 我们把这个稍微总结一下，看了一下为什么讲现在的 计算机或者计算体系架构跟脑还有很大的差异呢？计算机 我们讲是摩尔定律，让计算机越来越强大。事实上如果你仔 细想摩尔定律并没有让计算机的计算变得越来越快，是什么 让计算机越来越快呢？是因为计算机的主频越来越高。这个 图上从 到最早的 ，主频大概是 兆赫，现在可 能到，从左上角这张图来看，在早期 年开始计算机 的主频是一个线性的变化，