深度学习与信号处理：原理与实践 课件 第3-4章 模糊神经网络、概率神经网络

PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

3.1隶属函数3.2常规模糊神经网络3.3模糊联想记忆神经网络3.4神经模糊推理系统3.5神经网络近似逻辑3.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法第三章模糊神经网络3.1隶属函数

在经典集合论中，一个元素x和一个集合A的关系只能有两种情况，即xA或xA。如果用特殊函数来刻画集合，则有隶属函数由于经典集合论的特征函数只允许取{0,1}两个值，故与二值逻辑相对应，可以采用布尔代数进行处理。模糊数学将二值逻辑[0,1]推广到[0,1]闭区间，可取无穷多个值，因此必须把特征函数做适当推广，这就是隶属函数

。33.1隶属函数33.1.1专家调查法设论域

，是中待确定其隶属函数的模糊集。步骤1：给出的影响因素及详细资料，请多位专家独立地对给定的给出隶属度的估计值。步骤2：选定M位专家，设第m位专家第l次给出的估计值为

，则隶属度的离差为步骤3：修正第l次估计值。将第l次所得数据不记名地送交各专家，并由其给出新的估计值，共进行L次重复实验。步骤4：设定离差标准，直至离差小于或等于。步骤5：再将离差小于或等于时的和送交各位专家，请他们给出最终估计值，其中是第m位专家给出的最终估计值。同时，要求各位专家给出对自己估计的把握程度，其中。当时，表示该专家很有把握；当时，表示该专家有充分把握；当时，表示该专家根本无把握。步骤6：最终估计值与把握度的加权平均化处理。43.1隶属函数43.1.2模糊统计法利用集值统计估计模糊集的隶属函数的方法是用确定性的手段研究不确定性的问题，通过统计频数来确定隶属度。与概率统计属于两种不同的数学模型。1.随机试验法在每次试验中，事件A事件发生或不发生必须是确定的。在各次试验中，A是确定的。在N次试验中，事件A发生出现的次数为k，则事件A的概率为，随着N增大，事件A的概率呈现稳定性。用事件A的稳定概率作为事件A的隶属度。53.1隶属函数53.1.2模糊统计法设论域

，固定元素，论域X上的一个可变动普通集合A是模糊集的弹性疆域。步骤1：作N次试验，然后计算对的隶属频率，即

步骤2：对论域X上的每个元素所得的隶属度，按其递增的顺序进行排列，得的分布。步骤3：连续画出x对的隶属度，得隶属度曲线；步骤4：若能对隶属曲线进行拟合，就可得隶属函数;2.模糊统计法63.1隶属函数63.1.3二元对比排序法利用各指标两两对比，构造判断矩阵，利用其最大特征值得到各因素的权重。1.两个元素的优劣比较对于论域X中的两个元素，就某个性质比较优劣，或者对某个模糊集比较隶属度的大小。这种方法的基本思路如下：设是论域上的模糊集，通过对的某种属性进行比较，就能确定的大小。73.1隶属函数73.1.3二元对比排序法2.二元对比排序法架构设论域，是某一模糊概念。二元对比排序法架构如下：步骤1：对任取的一对元素进行比较，得到以为标准隶属于的程度值，以及以为标准隶属于的隶属函数为。步骤2：计算相对优先度函数。

或

步骤3：以为元素构造一个矩阵R，称为相对优先矩阵。

步骤4：对相对优先矩阵R的每一行取最小值或平均值，即得的隶属函数为

或偏小型偏大型中间型83.1隶属函数83.1.4模糊分布在客观事物中，最常见的是以实数R作论域的情形。把实数R上模糊集的隶属函数称为模糊分布。这里，将常用的几种模糊分布列出来，如果可以根据问题的性质选择适当(即符合实际情况)分布，那么隶属函数的确定便显得十分简便。1.矩形分布或半矩形分布偏小型偏大型中间型93.1隶属函数93.1.4模糊分布2.半梯形分布与梯形分布偏小型偏大型中间型103.1隶属函数103.1.4模糊分布3.抛物线型分布偏小型偏大型中间型113.1隶属函数113.1.4模糊分布4.正态分布偏小型偏大型中间型123.1隶属函数123.1.4模糊分布5.哥西分布偏小型偏大型中间型133.1隶属函数133.1.4模糊分布6.岭形分布143.1隶属函数143.1.5确定隶属函数的注意事项隶属函数的确定虽然带有浓重的主观色彩，但还是有一定的客观规律性与科学性。因此，应注意以下几点：(1)从实际问题的具体特性出发，在长期积累的实践经验上，重视那些专家和操作人员的意见。虽然隶属函数的确定允许有一定的人为技巧，但最终还是要以符合客观实际为标准。(2)在某些场合，隶属函数可通过模糊统计试验来确定。一般来说，这种方法是较为有效的。(3)在一定的条件下，隶属函数也可以作为推理的产物，只要试验符合实际即可。(4)有些隶属函数可以经过模糊运算“并、交、余”求得。(5)在许多应用中，由于人们认识事物的局限性，因此开始只能建立一个近似的隶属函数，然后通过“学习”逐步修改使之完善。(6)判断隶属函数是否符合实际，主要看它是否正确地反映了元素隶属集合到不属于这一变化过程的整体特性，而不在于单个元素的隶属度数值如何。153.2常规模糊神经网络15常规模糊神经网络是可以对输入模糊信号执行模糊算术运算，并含有模糊权系数的神经网络，或称算术模糊神经网络。模糊算术运算包括模糊并运算、模糊交运算和模糊余运算3种基本运算。在笛卡尔乘积中，模糊关系是中的模糊集，的隶属函数。一般情况下，的N项模糊关系是的模糊集，的隶属函数。并集关系：交集关系：补集关系：163.2常规模糊神经网络16常规模糊神经网络最典型的结构是权系数和输入信号都是模糊数，而神经元对信息的处理采用模糊加、模糊乘和非线性S函数。常规模糊神经网络结构，如下图所示。它是一个3层神经网络，含有2个神经元的输入层、2个神经元的隐藏层和1个神经元的输出层。网络中的神经元分别由编号1~5标出。很明显，对神经元3，它的输入为对于神经元4，其输入为用，分别表示神经元3和神经元4的输出，则有对于神经元5，其输入为，输出为，则有，最后的输出，是由传递函数S函数求出的。173.3模糊联想记忆神经网络173.3.1模糊逻辑模糊逻辑是研究模糊命题演算和模糊推理的一种非布尔逻辑。在布尔逻辑中，其真值集合L0={0,1}。在模糊逻辑中，对于模糊命题，只能谈论其真假程度，而不能简单地判断其真假，其真值集合L比L0复杂。最简单的情形是L1=[0,1]，这样的模糊逻辑就是连续值逻辑，仅使实际背景变得明确些。在多因素或多目标的应用场合，常取Ln=[0,1]n。查德在20世纪70年代初提出模糊语言变量的概念，并将其用于似然推理。模糊语言是一种含义不清晰的单词语言，它的隶属度函数不是绝对的“0”或“1”，而是在[0,1]闭区间取值。查德用五元组定义模糊语言变量(X,T(X),U,G,M),其中：①X是语言变量名称。例如，雨量、论文、图、数的大小等；②T(X)是语言真值的集合。例如

T(X)=T(雨量)={很小，小雨，中雨，大雨，暴雨}；③U是论域，当X为“雨量”时，U可取值为[0,600]，单位为mm；④G是语法规则，根据原子单词来求词组的隶属函数；⑤M是语义规则，根据语义规则给出模糊子集的隶属函数。183.3模糊联想记忆神经网络183.3.1模糊逻辑在布尔逻辑中，其运算规则构成布尔代数。而模糊逻辑公式的运算规则构成德·摩根(AugustusDeMorgan)代数，亦即对任意F有其余都满足布尔代数的公理。

的递归定义为：令为一组取值于[0,1]闭区间的变量，模糊公式

实际为的一个映射，简记为f公式，可以递归地定义如下：①数0、1是f公式；②模糊变量本身是f公式；③若F是f公式，则也是f公式；④若F，是f公式，则，也是f公式；⑤所有的f公式，均由有限次使用规则①~④所给出。若以T(F)表示模糊逻辑公式F的真值，则有，

，，。193.3模糊联想记忆神经网络193.3.1模糊逻辑模糊逻辑的特点如下：①其真值本身是模糊的，即允许一个命题取[0,1]闭区间的任意实数值；②其是一种局部性的逻辑，连结词与真值具有可变的意义；③其推理规则是似然的，不是确定的。203.3模糊联想记忆神经网络203.3.2模糊联想记忆系统模糊联想记忆(FuzzyAssociativeMemory,FAM)神经网络是将模糊控制规则隐含地分布在整个网络中，在神经网络基础上通过学习训练产生模糊规则，一次模糊联想记忆就是一次模糊逻辑推理。一般模糊系统S将一簇模糊集合映射到另一簇模糊集合，即这种行为将相近的输入映射到相近的输出，是一种联想记忆功能，因此称该系统为模糊联想记忆系统。最简单的模糊联想记忆编码是，表示P维模糊集合与N维模糊集合的关系。最小模糊联想记忆系统将空间的球映射到空间的球。这基本上与简单的神经网络功能相似，其差别是不需要适应性训练。213.3模糊联想记忆神经网络213.3.2模糊联想记忆系统在模糊联想记忆系统中，规则库可以写成。每个输入A可以不同的程度作用模糊联想记忆系统中的规则。最小模糊联想记忆系统

映射输入A到，是的一部分。相应的输出模糊集合可以通过各部分作用的模糊集合结果的组合得到，即式中，反映模糊联想的可信度、频率或强度。实际上，将输出波形通过去模糊变成单个数值输出。下图给出了模糊联想记忆系统的一般结构。223.3模糊联想记忆神经网络223.3.3自适应模糊联想记忆系统自适应模糊联想记忆(AdaptiveFuzzyAssociativeMemories,AFAM)是一种随时间变化的模糊联想记忆系统，系统参数随样本和处理的数据而逐渐变化。原则上，通过学习来修改模糊联想记忆的权值。经典的Hebb学习规则学习(作为一种非监督训练)有对于一给定的双极值行向量，神经网络权值可以用外积关系矩阵编码在给定的模糊外积矩阵中，即通过相关最小编码，将模糊Hebb矩阵定义为信号和的最小值

说明：①每列的元素是每个相对于的最小值，每行是每个相对于的最小值；②如果中的某个元素比中的所有元素都大，则矩阵中的该行就是行向量；③如果中某个元素比中的所有元素都大，则矩阵中的该列就是整个向量的转置。233.4神经模糊推理系统23逻辑模糊神经网络是由逻辑模糊神经元组成的，逻辑模糊神经元具有模糊权值，并且可对输入的模糊信号执行逻辑操作的神经元。模糊神经元所执行的模糊运算有逻辑运算、算术运算和其他运算。模糊神经元的基础是传统神经元，它们可由传统神经元推导得出。可执行模糊运算的模糊神经网络也可从一般神经网络发展而得到。在经典逻辑中，推理句“如果…,则…”属于条件命题，并用符号P→Q表示。在模糊逻辑中，P→Q是X×Y的一个模糊关系，则隶属函数为，其中模糊命题可取[0,1]区间的任何值，符号“”“”分别为最大、最小运算。243.4神经模糊推理系统24模糊推理系统的基本结构，如下图所示。图中，输入向量X和输出向量Y都是模糊值。设论域U中语言变量x用特征和表示，其中称T(x)为x的语言词集，是与每个数的意义有关的语义规则。例如，当x表示速度时，T(x)可以使{慢、中、快}。在此基础上，图中的输入向量X和输出向量Y可以定义为253.4神经模糊推理系统25在传统的模糊推理系统中，模糊函数的确定是主观的，而采用神经网络可以克服这个问题。下图所示为一种神经模糊推理系统，它将神经网络和模糊逻辑结合起来。该系统分5层。第1层为输入语言层，直接将输入值传送到下一层。第2层为输入语言词层，输出的是隶属函数。第3层为规则层，实现模糊逻辑规则前提条件的匹配，执行模糊与操作。第4层为输出语言词层。该层通过模糊或操作，实现点火规则的综合。第5层相当于去模糊器，形成语言结果输出。263.5神经网络近似逻辑26为了克服神经网络在处理知识方面有很大的局限性，一种近似逻辑能较好地描述神经网络。该逻辑不仅有模糊的逻辑值，而且逻辑运算符也是模糊的。在近似逻辑的系统中，逻辑值取值位于[0,1]之间。通过改变一些参数，使函数从“或”变为“与”，或从“肯定”变为“否定”。与模糊逻辑不同之处在于它不仅有模糊的函数值，而且运算符也是模糊的。令为近似逻辑的变量，为常数，称为阈值，称为权值，权值位于[-1，1]之间，函数F定义为，则近似逻辑值为设仅能有两个值0或1，则AF的取值将会有4种情况：①如，

，则②如，，则③如，

，，则④如

，

，则因此，每一个布尔函数都能由AF表达。273.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法27雷达自动目标识别（RadarAutomaticTargetRecognition，RATR）是数据通信领域中一个非常实用的研究领域。高分辨距离像（HighResolutionRangeProfile，HRRP）雷达可以产生雷达功率信号包络（RadarPowerSignalEnvelope，RPSE）形式的雷达回波信号，用于雷达目标的分类和识别，而神经网络（NN）具有更好的识别性能。因此，研究了智能模糊神经网络（FNNs）适用于该研究领域。现介绍该方法及应用。283.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法28利用高频结构模控器（HighFrequencyStructureSimulator，HFSS）在不同的方位角和仰角下，产生一组来自五个不同飞行目标的仿真雷达回波信号，如下图所示。利用训练良好的模糊神经网络（FNN）对来袭飞行目标进行识别，训练数据（雷达功率大小）是从仿真雷达回波信号中提取的，用雷达功率大小作为训练数据。3.6.1问题描述293.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法29高频产生雷达回波信号，并使用HFSS进行仿真。在HFSS中，雷达回波信号产生算法架构如下：步骤1:建立带有每个目标表面材质属性的三维模型。步骤2:获取目标的电磁反射模型。步骤3:计算目标的雷达截面(RCS)，定义发射波形。步骤4:通过雷达波形与目标电磁反射模型卷积得到雷达回波信号。3.6.2雷达回波信号产生303.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法303.6.2雷达回波信号产生使用Ku波段的单脉冲雷达生成五个不同的飞行目标，信号带宽为15MHz，采样率为20MHz。通过在每个目标的电磁散射信息之间进行卷积，在不同的观察（照射）角（仰角和方位角）下产生雷达回波信号。因此，有30组观察角（AA，EA），下图中显示了二维(2D)雷达回波信号之一。313.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法31下图中显示了在一定条件下（AA，EA）下5个不同飞行目标的三维(3D)雷达回波信号图。请注意，尽管生成的雷达回波信号不是真实的，但它们的特性类似于实际的雷达回波信号。3.6.2雷达回波信号产生目标1目标2目标4目标5目标3323.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法323.6.3智能模糊神经网络1.模糊神经网络结构模糊神经网络结构，如下图所示。第一层是输入层，由输入模糊变量组成，输入向量为。第二层是隶属函数层，其中隶属函数的映射值对输入的语言变量进行量化。第三层是模糊规则层，通过考虑隶属函数的所有情况，其中每个节点代表一个模糊规则。最后一层是输出层，输出为。333.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法333.6.3智能模糊神经网络2.FNN中高斯隶属函数的完整集合模糊给定个训练输入输出对，这里

期望找到一组完整的高斯隶属函数来覆盖的最大和最小范围。将所有数据值都考虑在内，以确保FNN训练的完整性。对于特定的第p个模糊输入变量，假定

必须首先定义区域内的高斯隶属函数个数(NoMF)。由于高斯隶属函数具有两个控制参数，即中心(C)和方差(σ)，因此很容易在内平均分布所有高斯隶属函数的中心，并将其命名为均匀分布的高斯隶属函数(UDGMF)。为了说明起见，如果对于一个特定的，NoMF=5，则5个高斯隶属函数为

343.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法343.6.3智能模糊神经网络3.完整的模糊神经网络训练算法重要的是要注意，FNN的界限值是足以保证任何训练算法的训练收敛性。收敛训练过程中的最终加权因子是实际应用中所需的真实参数，因此提出了一种简化而有效的FNN训练算法，其中FNN的后续部分可以是由两层神经网络构成，如下图所示。353.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法353.6.3智能模糊神经网络模糊神经网络的完整训练算法架构如下：步骤1：给出个训练数据输入/输出向量。步骤2：找出的每一个最大值和最小值。然后，给定指定的重叠索引OVP和NoMF，并为每个生成一个完整的高斯隶属函数。设置计数器。步骤3：让输入的训练数据穿过训练层（即隶属函数层）以生成，并作为FNN中两层神经网络的输入数据。步骤4：遵循批处理的顺序，使用动态最佳训练算法找到矩阵。令。步骤5：检查当前的是否在容错范围内。如果是，请转到步骤6。否则，，然后转到步骤4。步骤6：结束训练。363.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法363.6.4构建训练数据现从5个不同飞行目标生成的雷达回波信号构建训练数据。首先，必须借其雷达回波信号的同相和正交(In-phase和quadrature，I和Q)转换为一定频率下的实际功率。将雷达功率谱包络(RPSE)定义为373.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法373.6.4构建训练数据例如，下图1显示了在处所有频率的飞行目标1的RPSE。下图表明，有几个容易找到的峰值，这些峰值显然将保留飞行目标的特性。因此，可以选择具有共振峰值RPSE值的多个沿振频率点来表示飞行目标。383.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法383.6.4构建训练数据因此，从下图中所有5个飞行目标的150个重叠RPSE中，直观地选择5个，即

。393.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法393.6.4构建训练数据注意，5个将产生其各自的5个RSPE，即(RPSE1，RPSE2，RPSE3，RPSE4，RPSE5)。这5个RPSE是针对特定飞行目标的特定(AA，EA)下FNN的实际训练数据。这意味着对于某个特定飞行目标(AA，EA)，将有一组独特的经过训练的加权因子来表示该飞行目标。因此，FNN中有30套经过训练的加权因子，分别对应于它们各自的(AA，EA)。因此，最终的训练数据矩阵为

式中，i是的索引，j是的索引，obj是某些飞行物体的索引。发送到的实际训练数据（输入/期望输出）可以表示为。403.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法403.6.5仿真实验与结果分析属函数为均匀分布高斯隶属函数(UDGMFs)，输出节点是线性求和单元。现用模糊神经网络的完整训练算法训练FNN，并将阈值识别误差值设置为。首先，将所有5个语言输入变量设置为3个UDGMFs，即R1=R2=R3=R4=R5=3，因此有35=243条规则，即L=243，下表显示了UDGMFs的所有宽度和中心(以MHz为单位)。输入变量宽度(σ)中心1中心2中心3RPSE1188.5336.08480.04924RPSE21071.99.422533.55057.6RPSE32378.5660.176260.111862RPSE48573.52543.52277342922RPSE556104.91321526426413.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法413.6.5仿真实验与结果分析下图显示了此示例的FNN配置。423.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法423.6.5仿真实验与结果分析在本例中，FNN输入样本范围为243≤P≤258，并且在每个照射角度只有5个训练数据向量，可以保证FNN训练收敛。下表显示了在每个特定照射角度下经过200次迭代的均方误差(MSE)的训练结果，训练表现优秀，MSE很低。

EAAA20°30°40°0°3.99443×10-094.9304×10-332.4652×10-3230°3.1677×10-311.9722×10-322.7473×10-2660°2.7191×10-312.9372×10-193.0861×10-2690°1.9721×10-319.8608×10-321.2326×10-33120°1.2326×10-331.2326×10-311.9722×10-32150°9.8608×10-327.8886×10-328.4439×10-14180°5.0183×10-041.5331×10-059.938×10-09210°1.5777×10-311.5331×10-054.9304×10-33240°1.9772×10-321.5331×10-051.9722×10-32270°1.9843×10-051.6440×10-054.7261×10-05433.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法433.6.5仿真实验与结果分析下图显示了在(AA=0º，EA=20º)下训练误差与迭代之间的关系。443.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法443.6.5仿真实验与结果分析此外，真实的雷达回波信号将始终包含噪声，因此白高斯噪声(下图)将被添加到输入RPSE中以模拟这种情况。453.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法453.6.5仿真实验与结果分析下表为辐照角AA=0°、EE=20°时不同情况下的所有鉴定结果。案例SNR（dB）实际目标FNN输出识别误差值(|εi|)状态1-11.00010.0001√2-21.99990.0001√3-330√4-440√5-550√66011.02720.0272√76022.02060.0206√86033.01550.0155√96043.91830.0817√106054.98840.0116√115011.08530.0853√125022.06510.0651√135033.04680.0468√145043.68730.3127×155054.96190.0381√164011.26360.2636×174022.20320.2032×184033.1280.128×194042.45691.5431×204054.86510.1349×463.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法463.6.5仿真实验与结果分析在上表中，案例1-5是在不加入高斯白噪声的情况下，对未知来袭飞行目标进行识别的结果，5种不同的来袭飞行目标的识别率均为100%。在案例6-10中，通过将SNR=60dB的高斯白噪声加入到相应的输入RPSEs中，识别结果保持在100%。案例11-15给出了高斯白噪声SNR=50dB下飞行目标的RPSEs，当目标4识别错误时，识别率为75%。案例15-20表明，由于识别误差值，作为白高斯噪声SNR=40dB飞行目标的RPSEs，FNN无法识别所有来袭未知飞行目标。因此，当RPSEs的噪声不超过一定量的高斯白噪声强度(SNR≤50dB)时，获得了很好的一致性和较高的识别率。473.6实例2：基于智能模糊神经网络的导弹防御系统未知飞行目标识别方法473.6.5仿真实验与结果分析综上，本节探讨了用模糊神经网络方法识别未知飞行目标。雷达回波信号用HFSS软件包模拟并转换成RPSE形式，对多个共振频率的RPSEs进行采样，生成训练数据，采用动态优化训练算法对FNN进行训练。因此，在不同的辐照角度下，由训练好的加权因子矩阵构成加权因子库。由该方法对飞行目标进行识别，在输入训练数据中噪声强度较低的情况下，识别精度较高。PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

4.1模式分类的贝叶斯判定策略4.2密度估计的一致性4.3概率神经网络4.4贝叶斯阴阳系统理论4.5实例3：基于离散余弦变换和概率神经网络的脑肿瘤分类方法第四章概率神经网络4949用于模式分类的判定规则或策略的公认标准是：在某种意义上，使预期风险最小。这样的策略称之为贝叶斯策略，并适用于包含许多类别的问题。现在考查两类情况，其中，已知类别状态

为

或

。如果想要根据N维向量描述的一组测量结果，判定

或

，贝叶斯判定规则变为式中，和分别为类别A和B的概率密度函数；

为

时判定

的代价函数；

为

时判定

的代价函数(取正确判定的损失等于0)；

为模式来自类别A出现的先验概率；

为

的先验概率。于是，贝叶斯判定规则

的区域与贝叶斯判定规则

的区域间的界限，可由

求得。式中4.1模式分类的贝叶斯判定策略50504.2密度估计的一致性用于判别边界的准确度取决于所估计基础概率密度函数的准确度。Parzen构造的一簇估值为其在连续概率密度函数的所有点X上都是一致的。令为恒等分布的独立随机变量，因为随机变量X的分布函数是绝对连续的。关于权重函数的Parzen条件为，式中，sup为上确界、和。Parzen证明，在意义上，估值的均方值一致。Cacoullos还扩展了Parzen的结果，适用于多变量情况。在Gaussian核的特殊情况下，多变量估计为

式中，i表示样本号，N表示训练样本总数，表示类别的第i个训练样本向量，σ表示平滑参数，M表示度量空间的维数。51514.3概率神经网络用于概率神经网络通常由4层组成，如下图所示。

第1层为输入层。每个神经元均为单输入单输出，其传递函数也为线性的，这一层的作用只是将输入信号用分布的方式表示。

第2层称之为模式层。它与输入层之间通过连接权值相连接。模式层神经元的传递函数为，为该层第i个神经元的输入，为均方差。第3层称之为累加层。具有线性求和的功能。这一层的神经元数目与欲分类的模式数目相同。第4层即输出层。具有判决功能，它的神经元输出为离散值1和-1(或0)，分别代表着输入模式的类别。52524.3概率神经网络概率神经网络中每个模式单元(下图4.2所示)生成输入模式向量与权值向量的标量积，然后，在将其激活水平输出到求和单元之前，对进行非线性运算。代替反向传播所通用的模式单元按不同求和单元聚集，以在输出向量中提供附加的类别对和附加的二进码信息。这里采用的非线性运算是。假设和均归一化成单位长度，这样，标量积是在相互连接中自然完成的，后面是神经元激活函数(指数)。求和单元简单地把来自模式单元的输入相累加，该模式单元已对应于所选定训练模式的类别。53534.3概率神经网络输出或判定单元为两个输入神经元，如下图所示。这两个单元产生二进制输出。它们有单一的变量权值

式中，为来自类的训练样本数，为来自类的训练样本数。注意，为先验概率除以样本比并乘以损失比。任何问题，其均可与它的先验概率成比例地从类别A和B获得训练样本的数量，其变量权值

。不能根据训练样本的统计量，而只能根据判定的显著性来估计最终的比值。如果没有偏重判定的特殊理由，可简化为-1(变换器)。5454激活函数激活函数4.3概率神经网络训练网络的方法是：首先指定模式单元之一的权向量等于训练集内每个

模式；然后，将模式单元的输出连接到适当的求和单元。每个训练模式需要一个单独的神经元(模式单元)，并将相同模式单元按不同求和单元聚集，以在输出向量中提供附加的类别对求和附加的二进码信息。在所给的方法中，唯一要调整的参数是平滑参数σ。因为它控制指数激活函数的标度系数，故对于每个模式单元，它的值应相同。Cacoullos和Parzen给出的激活函数，如下表所示。5555激活函数激活函数4.3概率神经网络训练网络的方法是：首先指定模式单元之一的权向量等于训练集内每个

模式；然后，将模式单元的输出连接到适当的求和单元。每个训练模式需要一个单独的神经元(模式单元)，并将相同模式单元按不同求和单元聚集，以在输出向量中提供附加的类别对求和附加的二进码信息。在所给的方法中，唯一要调整的参数是平滑参数σ。因为它控制指数激活函数的标度系数，故对于每个模式单元，它的值应相同。Cacoullos和Parzen给出的激活函数，如下表所示。56564.4贝叶斯阴阳系统理论从概率论的观点看，x与y和z间的关系的全部信息都在其联合概率密度函数中，按贝叶斯理论，联合概率密度函数或

。这样，可以用模型或模型来实现，即，。称为阳(可见)模型，为阴(不可见)模型。用于x→y的通道是阳通道，用于y→x的通道是阴通道。这样，可用一个阳模型来实现

和一个阴模型来实现，这样的一个阴阳对称为一个贝叶斯阴阳系统，意味任何事物都是阴阳的相互工作，如下图所示。57574.4贝叶斯阴阳系统理论从阴阳系统理论在不同情况下的实现是通过一个广义的学习过程进行的，此学习架构如下：步骤1：按具体问题确定合适的表示方式Y；步骤2：设计模型的基本结构形式；步骤3：确定上述模型的规模；步骤4：学习模型中的参数。根据阴阳学习理论，和谐度量定义为阴阳学习理论的核心是指一个阴阳系统的体现过程是通过使上式所示的和谐度量达到最小化，以达到阴阳和谐。当且仅当时。这一理论可作为监督与非监督学习的统一理论，从它出发运用贝叶斯公式、各种监督与非监督学习算法，诸如K均值聚类、EM学习算法、Helmholz、主成分分析法等学习方法是该理论的一种具体实现方式。584.5实例3：基于离散余弦变换和概率神经网络的脑肿瘤分类方法58脑瘤是颅内实体瘤或脑或中枢椎管内细胞的异常生长。脑肿瘤是世界上最常见的致命性疾病之一。早期发现脑肿瘤是其治愈的关键。有许多不同类型的脑肿瘤使这一决定变得非常复杂。因此，为了对患者真正遭受的哪种类型的脑肿瘤进行归类，脑肿瘤的分类非常重要。良好的分类过程可以做出正确的决定，并提供正确和正确的处理方法。各种类型的脑肿瘤的治疗主要取决于脑肿瘤的类型。每种类型的治疗方法可能不同，通常取决的因素如下：（1）年龄、整体健康状况和医疗状况；（2）肿瘤的类型、位置和大小；（3）条件范围；（4）对特定药物、程序或疗法的耐受性；（5）对病程的期望；（6）意见和偏好。594.5实例3：基于离散余弦变换和概率神经网络的脑肿瘤分类方法59通常，早期脑肿瘤诊断方法主要包括计算机断层扫描(CT)、磁共振成像(MRI)扫描、神经检查及活检等。随着人工智能(AI)技术的迅速发展，利用基于概率神经网络(ProbabilisticNeuralNetwork，PNN)，提出了一种计算机辅助的脑肿瘤分类方法，该方法的流程如下图所示。在任何分类系统中，降维和特征提取都是非常重要的方面。虽然图像尺寸较小，但维数较大，这会产生很大的计算和空间复杂性。任何分类器的性能主要取决于图像的高分辨特征。因此可以用离散余弦变换进行降维和特征提取。604.5实例3：基于离散余弦变换和概率神经网络的脑肿瘤分类方法604.5.1离散余弦变换与概率神经网络1.离散余弦变换离散余弦变换(DC,DiscretCosineTransform)是一种离散正弦酉变换，由一组基向量组成，这些基向量是采样的余弦函数。图像具有较高的相关性和冗余信息，在处理速度和内存利用率方面造成计算负担。DCT变换的特点是，对于一个典型的图像，大部分视觉上有意义的信息只集中在少数几个系数上，这些系数可以作为一种特征，对人脸识别有用。人脸图像的M×N灰度矩阵的DCT