一种改进的神经网络最大熵算法

一种改进的神经网络最大熵算法

1最大熵估计与熵分布模型在模式识别问题上，有必要解决概率分布问题。问题的提法是，在已知一些样本的情况下，求概率分布。现在考虑这样的二值分类问题，设有一个对象，它可以分为两类，可以量测到该对象的n个属性，x可以用前向神经网络及BP算法解决这个问题另外可以使用概率神经网络（PNN）来解决该问题，但同样对小样本情况效果不佳。文中使用熵方法来解决这类模式识别问题，结果表明熵方法不仅有很高的识别率，而且对小样本情况尤其有效。最大熵估计（MEM）是用样本作矩，求概率分布，结果为熵最大的概率分布。理论上认为，这样的概率分布是最有可能的概率分布。物理学中的熵最大代表最均匀的状态，而且应当认为系统常处于这样一种状态。2最大熵分布的内涵设该概率分布的熵为：设f要求出使f軃理论上可以证明，当信息熵取极大值时对应的一组概率分布出现的几率占绝对优势。在Shannon引入熵这个概念时，它的含义是最大的不确定性，它是用来表示一个概率分布的不确定性的，选择最大熵分布就意味着选择在给定约束下具有最大不确定性的分布。从其含有的不确定性来看，这种分布是最随机的，是主观成分最少，把不确定性看作最大的分布。对于上面所说的模式识别问题，以x3s定义的分割函数求解最大熵分布相当于一个约束极值问题，现使用Gibbs定义的分割函数法（Partitionfunction）。分割函数是一系列Lagrange乘子的函数，其定义如下最大熵概率如下求得：其中，λ在下面的讨论中，将e4训练模块和测试模块为了求解最大熵分布，构造神经网络。该神经网络包括两个模块，训练模块和测试模块。训练模块类似于Hopfield网络，在给网络赋予初值后，网络将迭代运行直到稳态，网络的稳态对应于Lagrange乘子，这些值传给测试模块用来计算概率。4.1分割层的lagrange函数训练模块的结构如图1所示，它由四层组成：乘子层、分割层、微分层和系数层。乘子层各结点的状态代表负的Lagrange乘子，它们传递到分割层，用来计算Q系数层的结点代表了Lagrange系数，微分层计算到的差值用来修正Lagrange系数，如此迭代，最终微分层计算的差值将收敛。4.1.1分割层的点对点数目为系数层和乘子层的结点数目均为C，即矩约束的个数。乘子层的每个结点都连接到分割层的所有结点，分割层的结点数目为分割层的每个结点都连接到微分层的所有结点。微分层的每个结点连接到系数层中的一个对应结点，同样，系数层的每个结点也连接到乘子层的一个对应结点。在该网络模块中，信息的传递是这样的，由乘子层到分割层，再到微分层，再到系数层，然后再传递到乘子层。4.1.2微织构层之间的约束副反应在乘子层和分割层有连接权值，另外，在分割层和微分层之间也有连接权值。这些权值由约束函数决定，而且在网络的迭代过程中不变。乘子层中第k个单元到分割层中第j个单元的连接权值为f4.1.3单元内部生成误差在网络建立好以后，就可以进行训练了，其算法过程如下：(1）网络初始化，将系数层所有单元置为1，乘子层所有单元置为0。(2）计算分割层单元，每个单元先求出各输入与相应权值之积的总和，然后输出这个和的指数，即分割层的第j个单元的输出为(3）计算微分层，每个单元求出各输入与相应权值之积的总和，这样，微分层单元的输出为(4）计算y其中d(5）将误差e设置误差的下限ε，如果(1)E<ε，则网络收敛，运行结束；(2)E>ε，则首先用误差来修正系数层的单元，v4.2模式层和模式层之间的有权值测试模块的结构如图2所示，该模块利用训练模块求得的Lagrange乘子来计算条件概率p(0|x权值是这样设置的，在输入层和模式层有权值，在模式层和概率层之间也有权值。输入层的第i个单元和模式层的第k个单元之间的连接权值w模式层中第k个单元和概率层中第i个单元的连接权值定义w模式层的功能如下，先计算出各输入的对数与相应权值的积，对这些积求和之后再求其指数，这样，模式层中第k个单元的输出为概率层的功能如下：输入层的功能如下：5减少样本集实验作者研究的对象有两个属性，记为x为了验证该方法对小样本的有效性，特别进行了减少样本集的实验，结果如图3所示，可见，随样本数的减少，该方法的识别率没有明显下降。6最