有监督和BP神经网络(1)

基于神经元网络的智能控制 神经元网络的特点 1 非线性2 分布处理3 学习并行和自适应4 数据融合5 适用于多变量系统6 便于硬件实现 神经网络的发展历史 始于19世纪末20世纪初 源于物理学 心理学和神经生理学的跨学科研究 现代研究 20世纪40年代 从原理上证明了人工神经网络可以计算任何算术相逻辑函数 可以认为是神经网络领域研究工作的开始 人工神经网络第一个实际应用出现在20世纪50年代后期 FrankRosenblatt提出了感知机网络和联想学习规则 在60年代 由于缺乏新思想和用于实验的高性能计算机 曾一度动摇了人们对神经网络的研究兴趣 到了80年代 随着个人计算机和工作站计算能力的急剧增强和广泛应用 以及不断引入新的概念 克服了摆在神经网络研究面前的障碍 人们对神经网络的研究热情空前高涨 有两个新概念对神经网络的复兴具有重大的意义 其一 用统计机理解释某些类型的递归网络的操作 这类网络可作为联想存储器 其二 在20世纪80年代 几个不同的研究者分别开发出了用于训练多层感知器的反传算法 神经网络的应用 航空 高性能飞行器自动驾驶仪 飞行路径模拟 飞机控制系统 自动驾驶优化 器 飞行部件模拟 飞行器部件故障检测器汽车 汽车自动导航系统 担保行为分析器银行 支票和其他公文阅读器 信贷申请的评估器国防 武器操纵 目标跟踪 目标辨识 面部识别 新型的传感器 声纳 雷达和图像信号处理 包括数据压缩 特征提取 噪声抑制 信号 图像的识别 电子 娱乐 金融 保险 制造 医疗 石油 天然气 机器人 有价证券 电信 交通 生物学的启示 人工神经网络却没有人脑那么复杂 但它们之间有两个关键相似之 首先 两个网络的构成都是可计算单元的高度互连 虽然人工神经元比生物神经元简单得多 其次 处理单元之间的连接决定了网络的功能 神经元网络的简化模型 ai1 ai2 ain bi1 bi2 bim wi y1 y2 yn u1 uk um 1 vi xi yi 神经元网络的一般模型框架 1 加法器2 线性动态系统 SISO 3 静态非线性系统 式中aij和bik为权系数 i j 1 2 n k 1 2 m n个加法器可以写成向量形式 N维列向量 N维列向量 单元输出 N N维矩阵 N M维矩阵 M维列向量 外部输入 M维常向量 线性动态系统 典型的有 静态非线性系统典型的有 g x g x g x x x x 阈值函数 阈值函数 Sigmoid函数 双极型 Sigmoid u1 ui i u1 ui i yi yi Adline 自适应线性网 单层感知器 Perceptron 不同的部件可以组成不同的网络 K ui yj yi 离散Hopfield网 y1 y2 y3 y4 u1 u2 u3 u4 yj yi ui xi 连续的Hopfield网 按学习的方法神经元网络可分成二类 1 有监督的学习网络 感知器误差反传网络 BP 小脑模型连接控制器 CMAC 模块 组合 网络增强学习网络 有监督的神经网络 1 感知器网络 感知器是前馈 正向传输 网络 所有节点都是线性的 x1 x2 xn b1 b2 bm 权向量W 2 无监督学习网络竞争学习和Kohonen网络Hopfield网络双向联想存贮器 BAM Boltzman机 输入与输出的关系 权矩阵可以按下式求解 学习规则 代表输入与输出的差别 是学习因子 这学习规则即是著名的学习规则 随着学习迭代次数k的增加 保证网络的收敛 反传 BP 网络 误差反传 学习算法 BP 网络与感知器的主要差别在于 BP 网络的节点是非线性的 采用广义学习规则 反传 BP 网络的结构图一个输入层 一个输出层 多个隐层 j p p1 xp1 xpn tpk tpm Op1 Opn Op2 隐层 wj1 wjn 输入层 隐层 输出层 信息流 pm 隐层节点j输出和输入节点p的关系 输出节点k和隐层输出节点p的关系 学习过程 定义输出误差 学习的目的是要使以下定义的误差平方和最小 因此 要求以下的偏导 最后得到二个权值改变的重要公式 初始化 加输入和期望输出 计算隐层和输出层的输出 迭代次数加1 调节输出层和隐层的连接权值 改变训练样板 训练样终止 迭代终止 BP算法的基本流程 No No y y 重要结论 具有至少一个隐层的多层前馈网络 如果隐层单元足够多 那么 利用扁平激励函数和线性多项式集成函数 可以对任意感兴趣的函数逼成到任意精度 扁平激励函数定义 f R 0 1 或 1 1 是非减函数 扁平激励函数的参数 理论证明 多层前馈网络是一种通用逼近器 讨论 隐层的数目和节点的数目 何谓合适 是否收敛到全局最优 涉及多维误差曲面的不确定性 3 收敛的速度问题 涉及隐层节点输出的相互耦合和梯度下降法本身的缺点 作业 阅读 MartinT Haguan等著 戴葵等译 神经网络设计 机械工业出版社 北京 2002 9 第11章 第12章有关BP算法的内容 学习 就是修改神经网络的权值和偏置值的方法和过程 也称这种过程是训练算法 学习的目的 为了训练网络来完成某些工作学习的分类 有监督学习 竞争学习 无监督学习 学习规则由一组描述网络行为的实例集合 训练集 给出 p1 t1 p2 t2 pq tq 其中 pq为网络的输入 tq为相应的正确 目标 输出 当输入作用到网络时 网络的实际输出与目标相比较 然后学习规则调整网络的权值和偏置值 从而使网络的实际输出越来越接近于目标输出 增强学习与有监督的学习类似 只是它并不像有监督的学习一样为每一个输入提供相应的目标输出 而是仅仅给出一个级别 这个级别 或评分 是对网络在某些输入序列上的性能测度 当前这种类型的学习要比有监督的学习少见 看起来它最为适合控制系统应用领域 在无监督的学习中 仅仅根据