人工神经网络软计算-7课件

1、六、学习向量量化（LVQ：Learning Vector Quantization）SOM的有教师示教学习1、LVQ网的基本想法SOM网中，竞争层配有较多的神经元，进行输入数据向两维的配置LVQ网主要进行输入数据的模式分类，主要进行信息压缩、模式识别LVQ可以看作是将SOM改为有教师示教的网络在这种情况下，每一个输入学习模式应归属的类别是预先知道的有教师示教比无教师示教学习需要较少的时间，同时也有较高的分类精度有时为了提高SOM网的分类精度，对于一个已用无教师示教方式学习完毕的网络，追加一些已知分类结果的学习模式，然后让网络按有教师示教的方式学习这样，对提高网络分类精度有明显效果2、LVQ网络

2、结构同SOM网一样，2层结构由于主要用于信息压缩及模式识别，所以通常第2层神经元的个数比第1层神经元的个数少，且同层神经元间无结合LVQ网中，第2层的各个神经元具有自己的领土。输入向量通过第1层与第2层间的权重被分类到某一领土上3、LVQ1学习流程kohonen将SOM改良为有教师示教的学习，首先提出了LVQ1学习算法：STEP 1：网络的初始化：将输入层与输出层间的权值的初始值设定为较小的随机数STEP2：输入向量的输入：向输入层输入向量x=（x1, x2, .xn）STEP3：在输出层，计算各神经元的权值向量与输入向量间的距离与SOM一样：输出层第j个神经元与输入向量的距离为：dj = i

3、=1， N ( xi wji )21/2， j=1,2, Mwji是输入层第i个神经元与竞争层第j个神经元间的权值STEP4：选择输入向量与权值向量的距离最小的神经元，即确定获胜神经元j* j* = min dj ，j = 1, 2, MSTEP6：回到STEP2，反复进行25的动作，学习权值，直到P个学习模式全部提供一遍STEP7：回到STEP2，反复进行26的动作，直到完成规定的学习次数4、LVQ2学习流程：LVQ2是对LVQ1稍加改进的算法当发生误识别，即不该获胜的神经元以微小的优势获胜时对LVQ1的改良算法这相当于输入向量正好处在2个神经元的领土的边界处，仅以微小的误差而误进入别的领域

4、学习算法：1）- 4）同LVQ1STEP5：权值的学习：正确识别时，同LVQ1：wji = +（xi wji）误识别时，只有满足以下的条件，优胜神经元与第2位的神经元才共同按LVQ1的公式更新：第2位的神经元正确第2位的神经元与获胜的神经元的差很小wji = -（xi wji）STEP6：回到STEP2，25的动作反复进行，学习权值开发者kohonen利用LVQ2，进行芬兰语的语音识别等，得到了比LVQ1还好的特性从信号处理的观点来看，语音波形是一种不规则且十分复杂的实变模拟信号同一音素，不同的发音者具有不同的波形与强度。即使是同一发音者其发音音素也会因语句中前后单词关系的不同而不同在某些情况

5、下，即使音素之间有差别，但往往因其功率谱信号重迭而给音素的识别造成困难。因此，用传统的方法进行语音识别需要十分复杂的技术 而应用SOM网络，可使语音识别的处理过程大大减化，比传统技术明显优越Kohonen开发的语音处理系统是以SOM网络为核心，包括前、后处理子系统在内的一个复合系统(结构图)SOM网络承担着系统中音素的分类任务，即对语音频谱信号进行矢量化处理由麦克风输入的信号首先通过截止频率为5.3kHz的滤波器，滤除语音中所含的噪声，然后以13.03kHz的采样频率，用12位AD将语音模拟信号转换为数字信号。接着将这一数字信号进行256点的FFT(快速傅里叶变换)处理，得到分辨率为983ms

6、的语音信号的频谱将这些频谱进行平滑处理并取对数后，在200Hz5kHz范围内将其分成15个元素，这15个元素所组成的向量，代表了输入语音信号的模式SOM网络将这些语音模式进行矢量化处理，即寻找这些音素所代表的标准值的最佳映射，尽管这些音素可能已偏离其标准值，但它仍然是围绕在标准值附近的值由于SOM网络的特征映射功能，可以找到与输入模式最接近的分类结果(即最邻近分类)，从而得到输入语音信号的标准值在这个规则库中，大约存贮了1500020000条规则经确认和修正后的结果，输入文字处理机，将其显示或打印出来这一系统的硬件是由一台IBMPCAT计算机和两个信号处理单元组成。信号处理单元为TMS3201

7、0，其中一个负责输入信号的前期处理，另一个用于特征映射后的语音分类信号的后期处理由计算机完成系统可将按正常速度发音的语音识别、分辨出来七、应用举例神经网络的一大特征，在于从数值数据中的自动学习能力、自组织化能力采用NN的理由：输入输出关系不可用公式表示的场合，通过学习，获得对于输入的输出的映射神经网络的应用，自80年代中期开始活跃起来。NN的应用领域包括模式识别、控制、各种问题诊断、预测及预知、优化问题、信号处理等非常广泛的领域3）数值数据对NN的学习是否充足使用BP算法等，需要大量的数据，否则，不能很好地学习4）结构化NN的探讨NN有可能要较大的规模时，可多利用几个小规模的NN，将其综合起来

8、，形成结构化的NN将更有利5）实际应用时，硬件性能的考虑要让系统有学习机能，要有相当的计算能力的硬件，从而，成本、体积也变大2、NN的应用领域及例1）模式识别：文字识别（印刷体文字、手写体文字） 声音识别（音韵识别、单词识别） 图象识别（识别、表情识别、物体识别）2）控制： 手臂控制最优控制自律机器人网络控制3）诊断： 故障诊断医疗诊断产品检查4）预测予知：电力需要预测系统的异常预知股票价格预测5）最优化： 零件配置、决策、有价证券最优化6）信号处理：信息压缩（图象信号、心电图）信号预处理图象复元（杂音、歪斜等的除去）7）其它： 调整行程的自动化人机接口知识处理联想数据库3、应用例神经网络在家

9、电产品中的应用空调、冰箱、洗衣机等的家电产品，在成本方面的限制很严，同时，又要求非常高的可靠性，所以新技术的导入很难。尽管这样，最近的家电产品中，神经网络、模糊逻辑等的新技术已积极地得到了应用在这样的背景下，对家电产品的要求应考虑几点：1）家电产品，是代替人进行工作的机械，所以依赖于用户的主观性的部分非常多，如空调温度的设定问题，理论上求最优值不容易2）由于用户不同，使用环境会很不同3）使用方法必须简单，尽可能要自动化。其中，1），2）需产品有学习功能，3）需要产品有自动功能作为实际的产品，与模糊技术共同使用的情况较多NN在电饭锅上的应用但实际上，即使加热，温度也不是一下子上升到所需要温度而一

10、不小心加热过了头，降温又需要时间，所以需要进行能够预测的控制还要考虑到米质、水量的不同等的因素，控制就非常困难所以，让NN学习多个事例，以便对各种各样的条件也能灵活地对应NN在文字识别中的应用：结构化神经网络的例在模式识别时，若分类的对象数目少，使用一个NN足够但识别包括汉字在内的文字时，或又有字母又有汉字的场合（日语），至少也得能够识别上千种类的文字这些文字若用一个NN的话，NN的规模将极大这种情况，可构造几个小规模的NN，作为结构化NN，将这些NN 合并起来文字识别用的CombNET（梳型）网该网为两段构造：1）输入数据利用前段的向量量子化NN（LVQ），进行大致的分类2）利用后段的多个阶

11、层型NN，进行各自范围内的模式识别前段的NN可看作梳子的干，后段的多个NN可看做是梳子的齿，整体象个梳子问题：识别是分多阶段进行的，若前阶段识别错了，在后阶段恢复一般是不可能的CombNET的解决办法：1）前段的向量量子化NN输出中，按大小顺序选3个，假设选A1，A2，A32）驱动与所选的3个相对应的后段的小网络，假设其输出分别为B1，B2，B33）对3个候补，各计算：前段输出值（A）a后段输出值（B）b最大的值对应识别结果这样，利用前段的输出与后段的输出可综合地进行识别判断有文献报导，对JIS第1标准汉字（印刷文字）2965个相对应： 输入层NN数144个（1212） a / b=5按上述条件的仿真结果，对没学习的模式，识别正确率达99.5%神经网络的其它应用SOM网应用：语音打字机H网应用：有价证券的选择神经网络专家系统其它应用例神经网络部分作业主要讲了三类神经网络模型：相互结合型的H网、BM网阶层型的BP网竞争型的SOM网、LVQ网1、总结三个类型的神经网络，包括结构、功能、学习、应用、优劣2、画出联想记忆、模拟退火