概率神经网络的结构优化研究及其应用

1、概率神经网络的结构优化研究(ynji)及其应用 导 师 ： 丁宇新 硕士(shush)研究生： 马运勇 答 辩 日 期 ：2008.12共四十九页内容(nirng)提纲一. 课题(kt)背景、研究现状及主要工作二. PNN网络模型三. PNN网络结构优化研究四. 基于PNN的垃圾邮件过滤系统五. 结论共四十九页一. 课题背景(bijng)、研究现状及主要工作1. 课题背景 (1) 概率神经网络(Probabilistic Neural Network, PNN) 是基于贝叶斯决策理论与Parzen窗概率密度估计方法而建立的一种分类网络。 (2) PNN具有算法简单、训练简洁、追加样本方便和计算

2、过程(guchng)完全前向等优点，在模式识别和模式分类领域有着广泛的应用。 (3)PNN网络传统训练方法中每个训练样本对应一个隐层神经元，当训练样本数量巨大时，将导致规模庞大的网络结构，阻碍了PNN网络的推广和应用。(4)垃圾邮件分类是网络安全领域研究的热点，具有非常广泛的现实意义，其实质上是一个模式分类问题，因此考虑将PNN引入其中。 共四十九页一. 课题背景、研究现状及主要(zhyo)工作2. 研究现状结构优化： 对样本向量降维；利用Kmeans, EM, LVQ等聚类算法选择隐层神经元，降低(jingd)网络结构的复杂性。模型改进及算法学习： 径向基概率神经网络模型(RBPNN)；时变

3、PNN模型；遗传算法对参数进行训练。应用性研究 对PNN的应用性研究并不是很多，G.Pajares等人将其用于立体视觉匹配，Wang Cheng-Ru等人将其引入到说话人识别等 共四十九页一. 课题背景、研究(ynji)现状及主要工作3. 主要工作 (1) PNN决策边界分析(fnx)； (2) 基于有监督信号的竞争学习算法； (3) 混叠类别情况下收敛条件的确定； (4) PNN平滑因子的选取； (5) 基于PNN的垃圾邮件过滤系统。 共四十九页内容(nirng)提纲一. 课题背景、研究现状及主要工作(gngzu)二. PNN网络模型三. PNN网络结构优化研究四. 基于PNN的垃圾邮件过滤

4、系统及实验分析五. 结论共四十九页二.PNN网络(wnglu)模型1. PNN理论(lln)基础-贝叶斯决策 贝叶斯公式决策规则 共四十九页二.PNN网络(wnglu)模型2. PNN理论(lln)基础-Parzen窗概率密度估计 Parzen窗估计法表示：高斯发展了Parzen的结论，提出了一个多元高斯核函数的特例，即概率密度函数的估计可以表示为：共四十九页二.PNN网络(wnglu)模型3. PNN拓扑(tu p)结构 共四十九页二.PNN网络(wnglu)模型隐层：3. PNN拓扑(tu p)结构 输入层：输入数据，不做任何计算累加层：输出层：共四十九页内容(nirng)提纲一. 课题背

5、景、研究现状及主要工作二. PNN网络模型(mxng)三. PNN网络结构优化研究四. 基于PNN的垃圾邮件过滤系统五. 结论共四十九页三.PNN网络结构优化研究(ynji)目前PNN结构优化技术：基于(jy)PCA的样本降维技术PNN隐中心选择：Kmeans算法、EM算法和LVQ算法我的研究工作：目前PNN结构优化技术利用的是无监督学习算法，在分类性能、泛化能力等上存在不足，本文提出一种有监督竞争学习算法，利用PNN分类结果调整选择的隐中心矢量，具体工作包括：PNN决策边界分析；基于有监督信号的竞争学习算法；混叠类别情况下收敛条件的确定； PNN平滑因子的选取；共四十九页三.PNN网络结构优

6、化研究(ynji)假设有N个样本(yngbn)，每个样本(yngbn)由n个观测变量：1. PNN样本降维技术-PCA算法 设综合指标为为线性组合中方差最大的，依次递减。分别称为的第1，第2，.，第m个主成分。 其中共四十九页三.PNN网络结构优化研究(ynji)2. PNN隐层神经元的选择(xunz)-Kmeans算法 典型的基于划分的聚类算法K-means算法如下： 输入：类的数目k和包含n个对象的数据集； 输出：k个类，使得平方误差准则最小； 算法过程： (1) 选择k个对象作为初始的类中心； (2) Repeat; (3) 根据类的中心，将每个对象赋给最类似的类； (4) 更新类的中心

7、，即计算类中对象的平均值； (5) Until不再发生变化。把聚类中心做为PNN隐中心矢量共四十九页三.PNN网络结构优化研究(ynji)3. PNN隐层神经元的选择(xunz)-EM算法 假设所有的训练样本由N个不同的正态分布的混合分布生成，来估计这N个分布中的均值，即假设为： 通过搜寻使ElnP(Y|h)最大化的h来寻找极大似然假设h， 重复以下两个步骤直至收敛 估计(E)步骤： 最大化(M)步骤： 共四十九页三.PNN网络结构优化研究(ynji)4. PNN隐层神经元的选择(xunz)-LVQ算法 1) 给定数据集,给定c，T，一个比较小的，其中0，c为聚类数目，T为迭代步骤； 2) 初

8、始化，设置聚类初始点为； 3) 对于t=1,2,T, k=1,2,na 找到 b 修改竞争获胜的点： 类别一致时： 否则： c 输入下一个数据 4) 计算 ，如果 则停止，否则调整学习率转下一步t。共四十九页三.PNN网络结构优化研究(ynji)5. 我的研究工作-PNN决策(juc)边界分析 样本x属于第j类，PNN计算此样本属于第j类的决策风险值 PNN计算x属于除第j类以外所有类别的决策风险的最小值 定义变量m(x) 0时，样本x被PNN误分类m(x)绝对值较小时，表示这个样本向量的空间位置距离决策边界较近，对于混叠类别，x很可能落入混叠的区域。 共四十九页三.PNN网络结构优化研究(y

9、nji)6. 我的研究工作-有监督(jind)竞争学习算法 1) 对训练样本进行聚类。 聚类中心的比例因子 聚类算法可以采用Kmeans算法，EM算法和LVQ算法 等， 也可以采用其他的聚类算法； 聚类后中心为2) 利用聚类后的中心向量作为PNN隐层中心矢 量，设计PNN网络； 共四十九页三.PNN网络结构优化研究(ynji)6. 我的研究工作-有监督竞争(jngzhng)学习算法 3) 利用PNN对训练样本x分类，假设样本x属于第j类且PNN将x分为j类，按如下方式进行调整： b 如果 j=jc 如果 j ja 竞争获胜隐中心下标：共四十九页三.PNN网络结构优化研究(ynji)6. 我的研

10、究工作-有监督竞争学习(xux)算法 4)重复步骤2)，3)直到满足终止条件或达到规定的学习次数终止。 无混叠类别分类时，典型的收敛条件为所有的训练样本能被正确的分类 类别间存在混叠时，无法满足使所有的训练样本都被正确分类这个收敛条件共四十九页三.PNN网络结构优化研究(ynji)7. 我的研究工作-软决策(juc)边界收敛条件 PNN决策边界分析：硬决策：软决策： 对于混叠类别问题，通过计算PNN网络误分类的百分比来作为终止收敛条件，遇到一个误分类的样本，更新MP(误分类百分比)的大小： 其中初始时MP的值设为0。 计算MP的大小，当小于一定的阈值时，训练过程结束。共四十九页三.PNN网络结

11、构优化研究(ynji)8. 我的研究工作-平滑(pnghu)因子的确定 的大小，反应了窗的宽度： 1) 如果宽度太大，隐中心的窗会有重叠，造成分辨率降低； 2) 如果宽度太小，隐中心之间容易出现空隙。 因此平滑因子的大小与隐中心之间的距离有关。 给出一种平滑因子的确定方案：为每个隐中心赋予一个平滑因子：共四十九页三.PNN网络结构优化研究(ynji)9. 我的研究工作(gngzu)-标准正态分布二维样本分类实验 Class 1： Class 2： 共四十九页三.PNN网络结构优化研究(ynji)9. 我的研究(ynji)工作-标准正态分布二维样本分类实验 原始PNN分类决策面 所有训练样本都做

12、为PNN 隐中心矢量，结构复杂； 噪声数据参与分类。共四十九页三.PNN网络结构优化研究(ynji)9. 我的研究工作-标准(biozhn)正态分布二维样本分类实验 Kmeans-PNN和Kmeans-COMPETE-PNN分类决策面比较 Kmeans-COMPETE-PNN更接近理想决策面共四十九页三.PNN网络结构优化研究(ynji)9. 我的研究工作-标准正态分布二维样本分类(fn li)实验 EM-PNN和EM-COMPETE-PNN分类决策面比较 EM-COMPETE-PNN更接近理想决策面共四十九页三.PNN网络结构优化研究(ynji)9. 我的研究工作-标准正态分布二维样本分类(

13、fn li)实验 LVQ-PNN和LVQ-COMPETE-PNN分类决策面比较 LVQ-PNN分类正确率：88.88% LVQ-COMPETE-PNN分类正确率：89.62%共四十九页三.PNN网络结构优化研究(ynji)9. 我的研究(ynji)工作-标准正态分布二维样本分类实验 结论： 1) 增加有监督竞争学习算法后的PNN对标准正态分布样本有较好的分类性能，分类决策面更接近理想决策面。 2) 结构优化PNN隐层神经元数目较少，有效的降低了PNN网络结构的复杂性。共四十九页内容(nirng)提纲一. 课题背景、研究现状及主要工作二. PNN网络模型(mxng)三. PNN网络结构优化研究四

14、. 基于PNN的垃圾邮件过滤系统五. 结论共四十九页四.基于PNN的垃圾邮件过滤(gul)系统1.基于(jy)PNN的垃圾邮件过滤系统结构 共四十九页四.基于PNN的垃圾邮件过滤(gul)系统1.基于(jy)PNN的垃圾邮件过滤系统结构 邮件预处理：分析邮件结构、抽取邮件正文、 中文分词 特征提取：改进的TFIDF方法 PNN分类器：分别采用Kmeans、EM和LVQ算法， 以及提出的竞争学习算法来设计PNN 分类器，对邮件进行分类。 共四十九页四.基于(jy)PNN的垃圾邮件过滤系统2.邮件分类(fn li)实验评价体系本文采用了三种评价方法对实验结果进行评估 (1) 准确率 对所有邮件，包

15、括垃圾邮件和合法邮件的判对率 。 (2) 误报率正常邮件被判成垃圾邮件占所有正常邮件的百分比。 (3) 漏报率垃圾邮件被判为正常邮件占所有垃圾邮件的百分比。共四十九页四.基于PNN的垃圾邮件过滤(gul)系统2.邮件分类实验实验采用(ciyng)的数据集邮件语料库：中国教育和科研计算机网紧急相应组(CCERT) 发布数据集划分：大规模数据集小规模数据集训练集样本总数160002000训练集中垃圾邮件数目80001000训练集中垃圾邮件数目80001000测试集样本总数24001400测试集中垃圾邮件数目1200700测试集中垃圾邮件数目1200700共四十九页四.基于(jy)PNN的垃圾邮件过

16、滤系统3. 实验及结果(ji gu)分析本文共进行了六组实验： 第一组：原始PNN邮件分类 第二组：Kmeans-PNN和Kmeans-COMPETE-PNN邮件分类 第三组：EM-PNN和EM-COMPETE-PNN邮件分类 第四组：LVQ-PNN和LVQ-COMPETE-PNN邮件分类 第五组：PCA对PNN邮件分类的影响 第六组：结构优化PNN与原始PNN结果比较共四十九页第一组：原始PNN邮件(yujin)分类 原始PNN邮件分类：测试结果(ji gu)受平滑因子影响较大；训练样本的分类结果(ji gu)明显优于测试样本结果(ji gu)；网络结构复杂，小样本集下共2000个隐层神经元

17、。平滑因子训练精确率训练误报率训练漏报率测试精确率测试误报率测试漏报率0.177.80%1.00%43.4%77.80%3.00%41.43%0.295.65%8.00%0.70%91.30%14.86%2.57%0.598.10%3.80%074.50%48.29%2.71%199.40%1.20%082.10%30.14%5.71%299.75%0.50%084.10%23.57%8.29%599.75%0.50%073.10%13.57%40.14%1099.75%0.50%067.40%2.00%63.29%共四十九页第二组：Kmeans-PNN和Kmeans-COMPETE-PNN邮

18、件(yujin)分类 精确率比较(bjio)：Kmeans-COMPETE-PNN精确率基本要高于Kmeans-PNN共四十九页第二组：Kmeans-PNN和Kmeans-COMPETE-PNN邮件(yujin)分类 误报率和漏报率比较：Kmeans-COMPETE-PNN在误报率与Kmeans-PNN相近(xin jn)的情况下，漏报率降低幅度较大。共四十九页第三组：EM-PNN和EM-COMPETE-PNN邮件(yujin)分类 精确率比较(bjio)：EM-COMPETE-PNN精确率基本要高于EM-PNN 。共四十九页第三组：EM-PNN和EM-COMPETE-PNN邮件(yujin)

19、分类 误报率和漏报率比较：EM-COMPETE-PNN与EM-PNN相比，在漏报率相近的情况(qngkung)下，误报率下降幅度较大；误报率相近的时候，漏报率下降幅度较大 。共四十九页第四组：LVQ-PNN和LVQ-COMPETE-PNN邮件(yujin)分类 精确(jngqu)率比较：LVQ-COMPETE-PNN精确率基本要高于LVQ-PNN 。共四十九页第四组：LVQ-PNN和LVQ-COMPETE-PNN邮件(yujin)分类 误报率和漏报率比较(bjio)：EM-COMPETE-PNN的漏报率和误报率基本均要低于EM-PNN 。共四十九页第五组：PCA对PNN邮件(yujin)分类结

20、果的影响 Kmeans-COMPETE-PNN：200维 EM-COMPETE-PNN：150维 LVQ-COMPETE-PNN：50维 维数降低而精确率有所提高：样本中含有(hn yu)冗余特征。共四十九页第六组：结构(jigu)优化PNN与原始PNN结果比较 原始PNN精确率：最高91.30% ，最低67.40%，2000个隐层神经元 Kmeans-COMPETE-PNN: 10个隐中心(zhngxn)数目，精确率94.79% EM-COMPETE-PNN：5个隐中心数目，精确率92.86% LVQ-COMPETE-PNN：10个隐中心数目，精确率93.71% 精确率比较：共四十九页第六组

21、：结构优化PNN与原始(yunsh)PNN结果比较 原始(yunsh)PNN误报率：最低2.00% ，最高48.29% Kmeans-COMPETE-PNN: 20个隐中心数目，误报率2.29% EM-COMPETE-PNN：10个隐中心数目，误报率1.86% LVQ-COMPETE-PNN：10个隐中心数目，误报率9.14% 误报率比较：共四十九页第六组：结构优化PNN与原始PNN结果(ji gu)比较 原始(yunsh)PNN漏报率：最低2.57% ，最高63.29% Kmeans-COMPETE-PNN: 5个隐中心数目，漏报率4.14% EM-COMPETE-PNN：100个隐中心数目，漏报率6.86% LVQ-COMPETE-PNN：5个隐中心数目，漏报率2.14% 漏报率比较：共四十九页内容(nirng)提纲一. 课题背景、研究(ynji)现状及主要工作二. PNN网络模型三. PNN网络结构优化研究四