ChapterANN.ppt

* 贝叶斯归一化可以获得比提前终止法更好的泛化能力，因为贝叶斯归一化不要确认集与训练集分开，而是采用所有数据，在数据样本集较小时优点突出。 * * * * * hdl高密度脂蛋白，ldl低密度脂蛋白，vldl极低密度脂蛋白 * The first two outputs seem to track the targets reasonably well (this is a difficult problem), and the R-values are almost 0.9. The third output (vldl levels) is not well modeled. We probably need to work more on that problem. We might go on to try other network architectures (more hidden layer neurons), or to try Bayesian regularization instead of early stopping for our training technique. Of course there is also the possibility that vldl levels cannot be accurately computed based on the given spectral components. * Spread: 扩展系数 Error goal * This is because sigmoid neurons can have outputs over a large region of the input space, while radbas neurons only respond to relatively small regions of the input space. The result is that the larger the input space (in terms of number of inputs, and the ranges those inputs vary over) the more radbas neurons required. * * * * An 8-by-10 set of neurons in a gridtop topology can be created and plotted * * * * a = (10,1) 1 * Either neuron 1 or 10 should have an output of 1, as the above input vector was at one end of the presented input space. The first pair of numbers indicate the neuron, and the single number indicates its output. * * 人工ANN是参照生物NN发展来的。人脑神经系统的基本单元是神经细胞，即生物神经元，人脑神经系统约1011个神经元构成，每个神经元与约104个其它神经元相连接。与其他细胞的关键区别在于神经细胞具有产生、处理和传递信号的能力。 * * * * * * * 前向联结，是前向型神经网络，如：感知器、BP 网络等的神经联结方式。 反馈是生物神经系统的本质特征。反馈包括神经元的自反馈和神经网络的反馈。 * * （1）分布式存储信息。信息的分布在不同的位置，NN是用大量神经元之间的连接及对各连接权值的分布来表示特定的信息，从而使 网络在局部网络受损或输入信号因各种原因发生部分畸变时，仍能保证网络的正确输出，提高网络的容错性和鲁棒性。 （2）并行协同处理信息：NN的每个神经元都可根据接收到的信息独立运算和处理，并输出结果。同一层的各个神经元的输出结果可被同时计算出来，传输给下一层处理，这体现了并行处理的特定，使NN具有实时性。虽然单个神经元的结构简单，功能有限，但NN行为丰富多彩。 （3）信息处理与存储合二为一。NN的每个神经元都兼有信息处理和存储功能，神经元之间连接强度的变化，既反映了对信息的记忆，同时又与神经元对激励的响应一起反映对信息的处理。 （4）对信息的处理具有自组织、自学习的特点，便于联想、综合和推广 神经元间的连接权值可以通过对训练样本的学习而改变，从而提高对样本特征的反映灵敏度。 * “教师”给出了与所有输入模式p对应的输出模式的“正确答案”，即期望输出t（目标），用于学习过程的输入输出模式的集合称为训练样本集；NN学习系统根据一定的学习规则进行学习，每次学习