神經网络复习资料.docVIP

神经元的数学模型，网络结构，输入与输出 网络结构：递归网络、单层前馈馈，多层前馈 BP神经网络是误差反向传播神经网络的简称。 激活函数的类型 1阈值函数2sigmond函数 神经网络中常见的非线性单元 三种基本的神经网络架构 感知机、Hamming网络、Hopfield网络 知识表示的规则 三种距离 欧几里得距离 x（1）与x(2)距离： : 内积： 根据教师信号有无，机器学习可分为有教师学习和无教师学习，其中无教师学习又分为无监督学习和强化学习 传统电子计算机与神经网络计算机的异同 机器学习有哪些任务 1模式联想，模式识别，函数逼近，控制，波束形成 2第一章 感知器收敛定理: 感知器收敛算法： 感知器收敛条件：初始条件w(0)等于0 贝叶斯分类准则： 感知器与贝叶斯的比较: 2章 如何克服感知器非线性可分的条件约束，举例说明如何解决XOR问题 XOR问题就是如何用神经网络实现异或逻辑。 写出线性回归的表示，并给出最大后验和最大似然估计权重向量计算公式，并指出两者的不同点 最大似然估计 最大后验估计 无约束优化方法： 当观察样本趋于无穷时，线性最小二乘滤波器渐进于维纳滤波器： 最小均方算法： 最小均方算法和最小二乘算法区别： 准则函数不同 最小均方算法代价函数： 更新公式： 最小二乘算法代价函数： 更新公式： w(n+1)=(XT(n)XT(n))-1XT(n)d(n) 3正则最小二乘算法 更新函数： W=[Rxx(N)+λI]-1rdx(N) 隐藏神经元的功能： = 批量学习和在线学习的区别： 如何用多层感知器解决XOR问题： 主量分析：　2．1 PCA算法介绍 　　2．1．1 PCA原理 　　令x为表示环境的m维随机向量。假设x均值为零，即： 　　E[x]=O． 　　令w表示为m维单位向量，x在其上投影。这个投影被定义为向量x和w的内积，表示为： 　　而主成分分析的目的就是寻找一个权值向量w使得表达式E[y2]的值最大化： 　　根据线性代数的理论，可以知道满足式子值最大化的训应该满足下式： 　　即使得上述式子最大化的w是矩阵Cx的最大特征值所对应的特征向量。 　　2．1．2 主成分的求解步骤 　　在PCA中主要的是要求出使得方差最大的转化方向，其具体的求解步骤如下： 　　(1)构建关联矩阵：Cx=E[x*xT]，Cx∈Pn*n. 　　在实际应用中，由于原始数据的数学期望不容易求解，我们可以利用下式来近似构造关联矩阵： 　　(其中x1，x2，…，xN，是各个原始灰度图像所有象素点对应的向量，N是原始图像的个数) 　　(2)先计算出Cx的各个特征值 　　(3)把特征值按大小排序 　　(4)计算出前m个特征值对应正交的特征向量构成w。 将原始数据在特征向量w上进行投影，即可获得原始图像的主特征数据。 GHA与KPCA的比较： 　　 最大特征滤波器最终结果： PCA的图像压缩原理： 自组织学习的原则:自增强、竞争、协作、结构化信息。