《MATLAB神经网络编程》 化学工业出版社 读书笔记
第六章反馈型神经网络 6.1 Hopfield网络
本文是《MATLAB神经网络编程》书籍的阅读笔记,其中涉及的源码、公式、原理都来自此书,若有不理解之处请参阅原书
前馈神经网络与反馈神经网络
根据神经网络运行过程中的信息流向,可将神经网络分为前馈式和反馈式两种基本类型。前馈网络即通过引入隐层以及非线性转移函数,网络具有复杂的非线性映射能力。但前馈网络的输出仅仅由当前输入和权值矩阵决定,而与网络先前的输出状态无关。
在前馈网络中,不论是离散型还是连续型,一般均不考虑输出与输入之间在时间上的滞后性,而只表达两者之间的映射关系。但在Hopfield网络中,考虑了输出与输入之间延迟因素,因此,需要用微分方程或者差分方程来描述网络的动态数学模型。
神经网络的学习方式有3种类型其中,有导师学习方式(有监督学习)和无导师学习(无监督学习)方式在前面章节均有涉及。第三类学习方式是“灌输式”,即网络的权值不是经过反复学习获得的,而是按照一定规则事先计算出来的。Hopfield神经网络就是采用了这种学习方式,其权值一经确定就不在改变,而网络中各个神经元的状态在运行过程中不断更新,网络由演变到稳定时各神经元的状态是问题之解。
本章主要介绍的就是反馈型神经网络,也称为递归网络或者回归网络。与前面学习过的感知器、线性神经网络、或径向神经外等前向型神经网络不同在于,反馈神经网络的输入包含有延迟的输入或者输出数据的反馈。由于是有反馈的输入,所以它是一种反馈动力学习系统。这种系统的学习过程就是他的神经元状态的变化过程,这个过程最终会达到一个神经元状态不变的稳定态,同时标志着学习过程结束。反馈神经网络的这种动态学习特性,主要由网络的反馈形式决定。反馈网络的反馈形式是比较多样化的,有输入延迟的、单层输出反馈的、神经网络自反馈的、两层之间互相反馈等。
6.1 Hopfield网络
Hopfield神经网络模型是一种循环神经网络,从输出奥输入由反馈连接。Hopfield网络分为两种:
- 离散型Hopfield网络
- 连续型Hopfield网络
由于反馈神经网络的输出端又反馈到其输入端,所以,Hopfield网络在输入的激励下,会产生不断的状态变化。当在输入之后,可以求出Hopfield的输出,这个输出反馈到输入端从而产生新的输出,这个反馈