概率神经网络.ppt

1，概率神经网络probabiliticneuralnetwork，2，指数函数取代网络中常用的s型激活函数，构建了计算非线性判别边界的概率神经网络(PNN)。此晶体边界接近贝叶斯最优晶体表面。1，基于贝叶斯最优分类决策理论(错误率低，风险最小化)2，概率密度估计方法不同于反向传播算法的试演，是基于统计中已经存在的概率密度函数的非参数估计方法。3，正向传播算法没有反馈，1，简介，2，3，什么是概率神经网络？贝叶斯决策：1，最小错误率，即最大后概率基准2，以最小风险率(成本，损失)最小错误率贝叶斯决策为例，推导出PNN的理论模型。第二，分类器理论推导，4，贝叶斯决策，概率密度函数估计，其中，基于培训样本，高斯内核的Parzen估计：分类操作：c类，w1，w2，WC，规格化所有样本，5，网络模型，输入层样本层聚合层(竞争层)，3，概率神经网络模型，右图以三个类别为例：c=3；此外，将固有向量维度设定为3。连接关系，6，7，三个类别(例如c=3；此外，将固有向量维度设定为3。网络模型、每个层功能、8、输入层、聚合层、样本层、竞争层、神经元数为唯一向量维数、神经元数为教育样本数、神经元数为类别数、神经元数为1，在输入层，网络计算输入向量与所有教育样本向量之间的距离。示例层的激活函数是高斯函数。以按类添加示例层的输出。这相当于c加法器。判断的结果由竞争层输出，输出的结果只有一个，剩下的为0，概率值最大的输出类型为1。在神经网络中引入和推广贝叶斯分类决策理论。概率神经网络的网络结构是根据贝叶斯判别函数设置的，以最小化错误率或损失。概率神经网络对概率密度函数作了三个假设。每个分类的概率密度函数形式相同。这个共同的概率密度函数是高斯分布。每个分类的高斯分布概率密度函数的变分矩阵是对角矩阵，每个对角元素的值相同，值为：由于上述三个简单的限制，概率神经网络减少了贝叶斯分类器配置的问题，增加了很多方便。第四，优点和缺点，9，10，1，电子学习过程简单，学习速度一次完成，比BP高5个级别，比RBF2个级别。2、更准确地分类、错误、噪音容错率高、风险最小。没有局部最小问题，当代表教育样本数增加到足够的大小时，分类者必须达到贝叶斯最优状态。RBF没有本地最小问题，并且存在问题的唯一解决方案。容错性好，分类能力强。判别界面逐步逼近贝叶斯最优分类曲面。PNN与BP，RBF神经网络的比较，11，不足，1，教育样本的代表性要求高2，需要更大的存储空间，5，基本学习算法，1，标准化，此矩阵的教育样本分别为n，规范化系数3，模式距离的计算此距离表示示例矩阵和学习矩阵中相应元素之间的距离。假设由，13，p个n维向量组成的矩阵是标识目标示例矩阵，则规范化后需要标识的输入示例矩阵为：分类目标样本矩阵，p个，以每个样本维n计算欧式距离。这意味着需要标识的规格化示例向量di和与每个规格化培训示例(Cj)的欧洲距离。即可从workspace页面中移除物件。，默认学习算法，14，标准化培训示例ci，I=1，2，m；规范化分类目标示例DJ，j=1，2，p；Eij:表示分类的I样本(di)和j培训样本(Cj)的欧洲距离。基本学习算法，第15，4步：模式层高斯函数的神经元被激活。将学习样例和要识别的样例规范化后，通常使用标准偏差，=0.1的基于高斯的函数。激活后的初始概率矩阵：默认学习算法，第16步，第5步：假定有m个样本，可以将其划分为c类别合计，并将每个样本数设置为相同的k，则可以在网络的合计层次结构中获取每个类型的初始概率和(默认学习算法，第17步，第6步：概率计算，即第I个样本属于j类的概率)。基本学习算法、18、6、应用领域、概率神经网络主要用于分类和模式识别领域，广泛用于非线性过滤、模式分类、关联内存和概率密度估计。其优点是用线性学习算法完成非线性学习算法的工作，同时保证非线性算法的准确性等特性。19，7，颜色车牌图像的二值化，分类操作分析：特征向量是每个像素点的颜色RBG值。类数有两个类，a类表示背景色，接近蓝色或背景中显示的其他颜色。b类是编号颜色，接近白色。使用PNN，通过使用表示教育、分类和a类、b类的两个值来重新设置图像的像素颜色，可以获得车牌图像的二值。选择第一步、背景颜色和编号颜色样本图片以收集每个颜色样本数据。第二步是使用收集的颜色数据训练PNN神经网络。第三阶段，将需要识别的车牌图像中每个像素的颜色数据输入到PNN神经网络中，完成分类，然后重置图片颜色数据，完成二值化操作。20，的改进和遗传算法，在PNN神经网络模型中，唯一要调整的参数是在实际问题中好的，值不难找到，错误分类率随着的微小变化没有太大的变化。值太小，对单独训练的样品只起到隔离的作用。本质上是最近的邻居分类器。如果太大无法完全区分细节，对于边界不明显的不同类别，可能无法达到理想的分类效果。此时离线性分类器很近，所以如何确定合适的参数是概率神经网络的核心问题。8、优化改进，21、遗传算法、遗传算法基于生物进化原理，在各代中根据对象适应性的大小不断选择，进行交叉和变异，形成新的群体，在这种个体数不断进化的过程中，通过全球并行搜索技术找到最佳对象，求出问题的近似最优答案。此外，遗传算法不局限于函数连续、微小的方式，结果整体最佳，因此可以优化概率神经网络的平滑系数，找到最佳参数。通常，假设概率特性不能完全表达，从而降低PNN识别的精度。如果用遗传算法优化概率神经网络的光滑参数，则对应于每个模式类别是不同的。22，平滑系数值范围，随机初始总量，m设置总量大小，当前对数t=1。(2)基于从染色体中获得的平滑因子构建PNN网络，计算正确的分类数和误差，即染色体的适合性函数。(3