人工神经网络

08 自动化自动化 陆飞燕陆飞燕 145 人工神经网络人工神经网络 摘要摘要 首先分析传统计算机体系结构在解决非结构性时的缺陷和不足 然后由此引出人 工神经网络研究的必要性和重要性 关键词关键词 传统计算机 非结构化问题 生物神经元 人工神经网络 引言引言 计算机发 屡到今天 其体积 功耗越来越小 功能 速度越来越高 而且 多终端的 分时系统和资源共享的网络系统 智能化的知识库和专家系统也已得到了广泛的应用 但 是 随者技术的高速发展 传统计算机体系的这些优良的性能已难以满足人们益增长的实 际需要 以 机 代 脑 钓呼声越来越高 人工神经网络的历史沿革人工神经网络的历史沿革 1943 年 心理学家 W S McCulloch 和数理逻辑学家 W Pitts 建立了神经网络和数学模型 称为 MP 模型 他们通过 MP 模型提出了神经元的形式化数学描述和网络结构方法 证明 了单个神经元能执行逻辑功能 从而开创了人工神经网络研究的时代 1949 年 心理学家 提出了突触联系强度可变的设想 60 年代 人工神经网络的到了进一步发展 更完善的神 经网络模型被提出 其中包括感知器和自适应线性元件等 M Minsky 等仔细分析了以感知 器为代表的神经网络系统的功能及局限后 于 1969 年出版了 Perceptron 一书 指出感 知器不能解决高阶谓词问题 他们的论点极大地影响了神经网络的研究 加之当时串行计 算机和人工智能所取得的成就 掩盖了发展新型计算机和人工智能新途径的必要性和迫切 性 使人工神经网络的研究处于低潮 在此期间 一些人工神经网络的研究者仍然致力于 这一研究 提出了适应谐振理论 ART 网 自组织映射 认知机网络 同时进行了神经网 络数学理论的研究 以上研究为神经网络的研究和发展奠定了基础 1982 年 美国加州工 学院物理学家 J J Hopfield 提出了 Hopfield 神经网格模型 引入了 计算能量 概念 给出了 网络稳定性判断 1984 年 他又提出了连续时间 Hopfield 神经网络模型 为神经计算机 的研究做了开拓性的工作 开创了神经网络用于联想记忆和优化计算的新途径 有力地推 动了神经网络的研究 1985 年 又有学者提出了波耳兹曼模型 在学习中采用统计热力学 模拟退火技术 保证整个系统趋于全局稳定点 1986 年进行认知微观结构地研究 提出了 并行分布处理的理论 人工神经网络的研究受到了各个发达国家的重视 美国国会通过决 议将 1990 年 1 月 5 日开始的十年定为 脑的十年 国际研究组织号召它的成员国将 脑的 十年 变为全球行为 在日本的 真实世界计算 RWC 项目中 人工智能的研究成了一个 重要的组成部分 08 自动化自动化 陆飞燕陆飞燕 145 人工神经网络的定义人工神经网络的定义 人工神经网络 AItifica Neural Networks 简称神经网络 是由大量类似于神经元的简单处 理单元广泛互联的复杂网络系统 它是在现代并行神经学研究成果的基础上提出的 它反 映了人脑的某些特征 但却并非神经系统的其实描述 而只是其简化 抽象和模拟 它通过 联接强度的调整表现出类似人脑的学习 归纳和分类特征 因此 研究神经网络的根本目 的在于探索人脑加工 存储和搜索信息的机制 进而搜索将此原理应用于多种信号处理的 可能性 人工神经网络的基本特征人工神经网络的基本特征 神经网络的模型很多 它们的总体特征如下 1 大规模并行处理引起的高速计算能量 2 颁式贮存具有很强的坚定性 神经元的损坏不明显影响整个系统的性能 3 具有很强的自 学习或训练功能 根据环境变化不断调节自身 4 目标编程 测量取得该目标的性能 并 由此对系统 i f 行自组织 从而避免不必要的编程规则 5 基本计算单元 每个单元类似于一 个简单逻辑神经元 不具更多功能 人工神经网络的功能人工神经网络的功能 神经网络主要用于解决语言 视觉和机器人问题大量而广泛的任务 具体地说 有以下几 种 1 模式分类 2 自组织或聚类 3 联想存储和处理 4 视觉和语言预处 理 5 复杂计算任务 如求解组合化问题 6 机器人控制中的非线性输入和输出映 射 7 多个传感器的传感器聚焦 8 时变模式识别 如语言识别 人工神经网络的基本原理人工神经网络的基本原理 人工神经网络 articles neural network ANN 结构和工作机理基本上以人脑的组织结 构 大脑神经元网络 和活动规律为背景的 它反映了人脑的某些基本特征 但并不是要 对人脑部分的真实再现 可以说它是某种抽象 简化或模仿 生物神经元生物神经元模型模型 神经元是大脑处理信息的基本单元 人脑大约由 1011个神经元组成 神经元互相连接 成神经网络 神经元以细胞体为主体 由许多向周围延伸的不规则树枝状纤维构成的神经 细胞 其形状很像一棵枯树的枝干 主要由细胞体 树突 轴突和突触 Synapse 又称神 经键 组成 08 自动化自动化 陆飞燕陆飞燕 145 图 1 1 生物神经元的示意图 生物神经元传递信息的过程为多输入 单输出 神经元各组成部分的功能来看 信息 的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达 到一定强度 即超过其阈值电位后 突触前膜将向突触间隙释放神经传递的化学物质 突 触有两种类型 兴奋性突触和抑制性突触 前者产生正突触后电位 后者产生负突触后电 位 人工神经元模型人工神经元模型 1 通用模型 P1 P2 Pn W1 W2 Wn a f 2 求和操作 i WiPifa 3 响应函数 y s 08 自动化自动化 陆飞燕陆飞燕 145 人工神经网络模型人工神经网络模型 1 前向网络 a 2 从输出到输入有反馈的前向网络 b 3 用来存储某种模式序列 层内互连前向网络 c 08 自动化自动化 陆飞燕陆飞燕 145 4 限制层内同时动作的神经元 分组功能相互结合型网络 d 常见神经元响应函数常见神经元响应函数 08 自动化自动化 陆飞燕陆飞燕 145 4 非线性单元 非线性单元 Sigmoid 函数函数 a s e s 1 1 b tanh ss 扩展 反向传播 扩展 反向传播 BP 神经网络 神经网络 反向传播 BP 神经网络是一种有监督的前馈运行的人工神经网络 它由输入层 隐含 层 输出层以及各层之间的节点的连接权所组成 这个学习过程的算法由信息的正向传播和 误差的反向传播构成 在正向传播过程中 输入信息从输入层经隐含层逐层处理 并传向 输出层 每一层神经元只影响下一层神经元的输出 如果不能在输出层得到期望的输出 则 转入反向传播 运用链数求导法则将连接权关于误差函数的导数沿原来的连接通路返回 通过修改各层的权值使得误差函数减小 1 Hopfield神经网络 基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统 网络中 的每一个神经元都将自己的输出通过连接权传送给所有其它神经元 同时又都接收所有其 它神经元传递过来的信息 所以Hopfield神经网络是一个反馈型的网络 其状态变化可以 用差分方程来表征 反馈型网络的一个重要特点就是它具有稳定状态 当网络达到稳定状 态的时 候 也就是它的能量函数达到最小的时候 能量函数表征网络状态的变化趋势 并可以依 据Hopfield工作运行规则不断进行状态变化 最终能够达到的某个极小值的目标函数 网 络收敛就是指能量函数达到极小值 如果把一个最优化问题的目标函数转换成网络的能量 函数 把问题的变量对应于网络的状态 那么Hopfield神经网络就能够用于解决优化组合 问题 Hopfield工作时其各个神经元的连接权值是固定的 更新的只是神经元的输出状态 Hopfield神经网络的运行规则为 首先从网络中随机选取一个神经元进行加权求和 计 i u 算的第时刻的输出值 除以外的所有神经元的输出值保持不变 返回至第一步计 i u1t i u 算 直至网络进入稳定状态 Hopfield神经网络的能量函数是朝着梯度减小的方向变化 但它仍然存在一个问题 那就是一旦能量函数陷入到局部极小值 它将不能自动跳出局部极小点而到达全局最小点 因而无法求得网络最优解 这可以通过模拟退火算法或遗传算法得以解决 3 随机型的神经网络 为求解全局最优解提供了有效的算法 模拟退火算法 Simulated Annealing 的思想最 早是由Metropolis等人于1953年提出的 但把它用于组合优化和VLSI设计却是在1983年由 S Kirkpatrick等人和V Cemy分别提出的 模拟退火算法将组合优化问题与统计力学中的 热平衡问题类比 开辟了求解组合优化问题的新途径 Boltzmann机 Bohzmann Ma chine 模型采用模拟退火算法 使网络能够摆脱能量局部极小的束缚 最终达到期望的能量全局 最小状态 但是这需要以花费较长时间的代价来得到 为了改善Boltzmann机求解速度慢的 不足 最后出来的Gaussion机模型不但具备HNN模型的快速收敛特性 而且具有Bohzmann的 08 自动化自动化 陆飞燕陆飞燕 145 爬山 能力 Gussion机模型采用模拟退火算法和锐化技术 使之能够有效地求解优化及 满足约束问题 4 自组织神经网络 神经网络在 接受外界输入时 将会分成不同的区域 不同的区域对不同的模式具有不 同的响应特征 即不同的神经元以最佳方式响应不同性质的信号激励 从而形成一种拓 扑 意义上的有序图 这种有序图也称之为特征图 它实际上时一种非线性映射关 系 它将信 号空间中各模式的拓扑关系几乎不变地反映在这张图上 即各神经元 的输出响应上 由于 这种映射是通过无监督的自适应过程完成的 所以也称它为 自组织神经网络 自组织神经网络是以神经元自行组织以校正各种具体模式的概念为基础的 能够形成 簇与簇之间的连续映射 起到矢量量化器的作用 在这种网络中 输出节点与其邻域其它 节点广泛相连 并相互激励 输入节 点和输出节点之间通过强度相连接 通过某种 ij w t 规则 不断地调整 使得在稳定时 每一邻域的所有节点对某种输入具有类似的输 ij w t 出 并且这聚类的 概率分布与输入模式的概率分布相接近 人工神经网络应用人工神经网络应用 人工神经网络经过多年的发展 应用研究也取得了突破性进展 范围正在不断扩大 其应用领域几乎包括各个方面 半个世纪以来 这门学科的理论和技术基础已达到了一定 规模 就应用的技术领域而言有计算机视觉 语言的识别 理解与合成 优化计算 智能 控制及复杂系统分析 模式识别 神经计算机研制 知识推理专家系统与人工智能 涉及 的学科有神经生理学 认识科学 数理科学 心理学 信息科学 计算机科学 微电子学 光学 动力学 生物电子学等 美国 日本等国在神经网络计算机软硬件实现的开发方面 也取得了显著的成绩 并逐步形成产品 人工神经网络在数据挖掘中主要应用于数据的分类和预测 在分类方法中 与传统的统 计方法相比 神经网络具有很强的学习能力 极大地提高了分类的精度和预测的准测度 人工神经网络与支持向量机 遗传算法 随机森林等其他先进算法的结合 产生更为精确 地算法 在R的galgo包 主要应用于生物信息学 中已经体现出来 人工神经网络发展方向人工神经网络发展方向 1 人工神经网络模型的研究 利用神经生理与认知科学研究人类思维以及智能机理和利用神经基础理论的研究成果 用数理方法探索功能更加完善 性能更加优越的神经网络模型 深入研究网络算法和性能 如 稳定性 收敛性 容错性 鲁棒性等 开发新的网络数理理论 如 神经网络动力学 非线性神经场等 2 人工神经计算和进化计算 要把基于链接主义的神经网络理论 基于符号主义的人工智能专家系统理论和基于进 化论的人工生命这3大研究领域 自发而有机的结合起来 建立神经计算和进化计算的数学 理论基础 并行分布处理 PDP 具有自学习 自适应和自组织的特点 这是一种提高计 算性能的有效途径 是神经网络迫切需要增强的主要功能 必须加以重视 同时 还应寻 找其他有效方法 建立具有计算复杂性 网络容错性和坚韧性的计算理论 进一步研究调 08 自动化自动化 陆飞燕陆飞燕 145 节多层感知器的算法 使建立的模型和学习算法成为适应性神经网络的有力工具 构建多 层感知器与自组织特征图级联想的复合网络 是增强网络解决实际问题能力的一个有效途 径 重视链接的可编程性和通用性问题的研究 从而促进智能科学的发展 3 神经网络计算机的实现 神经网络结构和神经元芯片的作用将不断扩大 神经网络结构的研究是神经网络的实 现以及成功地实现应用的前提 又是优越的物理前提 他体现了算法和结构的统一 是硬件 和软件的混合体 未来的研究主要是针对信息处理功能体 将系统 结构 电路 器件和 材料等方面的知识有机地结合起来 建构有关的新概念和新技术 在硬件实现上 研究材 料的结构和组织 使他具有自然地进行信息处理的能力 人工神经网络研究的重大意义人工神经网络研究的重大意义 1 通过研究人工神经网络 使得神经网络计算机的实现成为可能 1982 年美国加利福