人工神经网络理论及应用

人工神经网络理论及应用屈桢深哈尔滨工业大学6.竞争网络与自组织网络1人工神经网络理论及应用5/9/2024主要内容联想学习竞争网络自组织网络和LVQART*对向传播(CP)网络2人工神经网络理论及应用5/9/2024无监督的Hebb规则：根据神经元的输入和输出乘积确定向量形式问题：权值无限增加带衰减的Hebb规则优点：权值有上限；缺点：记忆遗忘联想学习——Hebb规则3人工神经网络理论及应用5/9/2024instarKohonen联想学习——instar与Kohonen规则4人工神经网络理论及应用5/9/2024Instar规则演示5人工神经网络理论及应用5/9/2024联想学习——outstar规则节点为饱和线性6人工神经网络理论及应用5/9/2024竞争网络y…wun…u1特点：无监督学习同一时刻输出只有一个节点获胜输入层竞争层7人工神经网络理论及应用5/9/2024权值初始化；计算竞争层各神经元输入值；将最大神经元输出置1(获胜)，其他置0；与获胜节点相连接的权值向量进行调整重复上述过程，直至所有模式均提供给网络；有必要的话多次重复输入模式学习过程8人工神经网络理论及应用5/9/2024竞争学习演示9人工神经网络理论及应用5/9/2024竞争学习演示——死神经元问题10人工神经网络理论及应用5/9/2024死神经元问题解决方法——良心算法加入偏置值，使神经元每次竞争获胜就增加负偏置值，给其他神经元获胜机会11人工神经网络理论及应用5/9/2024MATLAB中的竞争型神经网络模型12人工神经网络理论及应用5/9/2024MATLAB竞争网络NET=NEWC(PR,S,KLR,CLR)PR–

输入范围矩阵；S-神经元个数.KLR-Kohonen学习速率，缺省为0.01.CLR–

良心学习速率,缺省为0.00113人工神经网络理论及应用5/9/2024自组织网络神经元呈二维分布，权值兴奋——抑制遵循墨西哥草帽函数

14人工神经网络理论及应用5/9/2024自组织网络学习使用竞争学习确定获胜神经元；获胜神经元周围一定范围的所有神经元权值使用Kohonen规则更新学习加速方法自适应学习速率：大->小邻域半径大->小15人工神经网络理论及应用5/9/2024自组织学习演示16人工神经网络理论及应用5/9/2024学习向量量化(LVQ)

输入->竞争层：权值可变（学习）竞争->线性层：权值不变竞争层输出：子类；最终输出：分类（0-1分类）17人工神经网络理论及应用5/9/2024LVQ学习是监督学习输入->竞争层使用常规竞争学习(1-0)；竞争->输出层计算；如果分类正确否则重复上述过程，直至所有模式正确分类18人工神经网络理论及应用5/9/2024LVQ演示19人工神经网络理论及应用5/9/2024GLVQ提高算法对任意初值的收敛性定义损失函数定义均值目标：使E最小思路：梯度下降法20人工神经网络理论及应用5/9/2024GLVQII对于获胜单元对于其他单元21人工神经网络理论及应用5/9/2024GLVQIII：学习步骤初始化。(类别数，迭代次数K，学习速率)在k时刻(k=1~K)，

递减对于获胜单元更新权值计算？如满足，停止；否则重新计算22人工神经网络理论及应用5/9/2024自适应谐振网络(ART)监督学习同一般竞争网络类似权值连接双向前馈w，反馈v学习过程包括比较阶段，寻找阶段y…wun…u1v23人工神经网络理论及应用5/9/2024ART学习过程(假设0-1输入)初始化识别阶段 计算获胜神经元i*，并置1，其余置0比较阶段如果满足24人工神经网络理论及应用5/9/2024ART学习过程(2)

否则进入下一步(4)寻找阶段剔除(3)对应节点，在其余节点间搜寻；如始终找不到，则增加新节点25人工神经网络理论及应用5/9/2024ART演示26人工神经网络理论及应用5/9/2024ART演示27人工神经网络理论及应用5/9/2024ART演示28人工神经网络理论及应用5/9/2024ART演示29人工神经网络理论及应用5/9/2024对向传播网络(CP)有导师学习Kohonen规则和自组织网络的结合…wunymy1

v……u1输入层竞争层输出层RobertNielsen1987年提出30人工神经网络理论及应用5/9/2024CP学习过程初始化所有输入模式及w归一化处理求竞争层神经元加权输入和，寻找获胜向量(与输入最近),进行竞争/抑制;对获胜节点对应权值调整：将连接向量重新归一化调整输出层连接向量返回步骤(3)，重新学习31人