人工神经网络

0 人工智能人工智能 题 目 人工神经网络 班 级 1120542 学 号 01 姓 名 范金欢 成 绩 日期 2014 年 10 月 24 日 1 摘要摘要 首先分析传统计算机体系结构在解决非结构性时的缺陷和不足 然后此引出 人工神经网络研究的必要性 介绍了神经网络的基本原理和优点 神经网络的 在未来的发展方向 及其重要意义 关键词关键词 传统计算机 非结构化问题 生物神经元 人工神经网络 引言引言 计算机发展到今天 其体积 功耗越来越小 功能 速度越来越高 而且 多终端的分时系统和资源共享的网络系统 智能化的知识库和专家系统也已得 到了广泛的应用 但是 随者技术的高速发展 传统计算机体系的这些优良的 性能已难以满足人们益增长的实际需要 以 机 代 脑 的呼声越来越高 人工神经网络的历史沿革人工神经网络的历史沿革 1943年 心理学家W S McCulloch和数理逻辑学家W Pitts建立了神经网 络和数学模型 称为MP模型 他们通过MP模型提出了神经元的形式化数学描述 和网络结构方法 证明了单个神经元能执行逻辑功能 从而开创了人工神经网 络研究的时代 1949年 心理学家提出了突触联系强度可变的设想 60年代 人工神经网络的到了进一步发展 更完善的神经网络模型被提出 其中包括感 知器和自适应线性元件等 M Minsky等仔细分析了以感知器为代表的神经网络 系统的功能及局限后 于1969年出版了 Perceptron 一书 指出感知器不能 解决高阶位次问题 他们的论点极大地影响了神经网络的研究 加之当时串行 计算机和人工智能所取得的成就 掩盖了发展新型计算机和人工智能新途径的 必要性和迫切性 使人工神经网络的研究处于低潮 在此期间 一些人工神经 2 网络的研究者仍然致力于这一研究 提出了适应谐振理论 ART网 自组织映 射 认知机网络 同时进行了神经网络数学理论的研究 以上研究为神经网络 的研究和发展奠定了基础 1982年 美国加州工学院物理学家J J Hopfield 提出了Hopfield神经网格模型 引入了 计算能量 概念 给出了网络稳定性 判断 1984年 他又提出了连续时间Hopfield神经网络模型 为神经计算机的 研究做了开拓性的工作 开创了神经网络用于联想记忆和优化计算的新途径 有力地推动了神经网络的研究 1985年 又有学者提出了波耳兹曼模型 在学 习中采用统计热力学模拟技术 保证整个系统趋于全局稳定点 1986年进行认 知微观结构地研究 提出了并行分布处理的理论 人工神经网络的研究受到了 各个发达国家的重视 美国国会通过决议将1990年1月5日开始的十年定为 脑 的十年 国际研究组织号召它的成员国将 脑的十年 变为全球行为 在日本 的 真实世界计算 RWC 项目中 人工智能的研究成了一个重要的组成部分 人工神经网络的定义人工神经网络的定义 人工神经网络 AItifica Neural Networks 简称神经网络 是由大量 类似于神经元的简单处理单元广泛互联的复杂网络系统 它是在现代并行神经 学研究成果的基础上提出的 它反映了人脑的某些特征 但却并非神经系统的 真实描述 而只是其简化 抽象和模拟 它通过联接强度的调整表现出类似人 脑的学习 归纳和分类特征 因此 研究神经网络的根本目的在于探索人脑加 工 存储和搜索信息的机制 进而搜索将此原理应用于多种信号处理的可能性 人工神经网络的基本特征人工神经网络的基本特征 神经网络的模型很多 它们的总体特征如下 1 大规模并行处理引起的高 速计算能量 2 分布式贮存具有很强的坚定性 神经元的损坏不明显影响整个 系统的性能 3 具有很强的自学习或训练功能 根据环境变化不断调节自身 4 目标编程 测量取得该目标的性能 并由此对系统进行自组织 从而避免不 必要的编程规则 5 基本计算单元 每个单元类似于一个简单逻辑神经元 不 具更多功能 人工神经网络的功能人工神经网络的功能 神经网络主要用于解决语言 视觉和机器人问题等大量而广泛的任务 具 3 体地说 有以下几种 1 模式分类 2 自组织或聚类 3 联想存储和 处理 4 视觉和语言预处理 5 复杂计算任务 如求解组合化问题 6 机器人控制中的非线性输入和输出映射 7 多个传感器的传感器聚焦 8 时变模式识别 如语言识别 人工神经网络的基本原理人工神经网络的基本原理 人工神经网络 articles neural network ANN 结构和工作机理基本上 以人脑的组织结构 大脑神经元网络 和活动规律为背景的 它反映了人脑的 某些基本特征 但并不是要对人脑部分的真实再现 可以说它某种抽象 简化 或模仿 生物神经元生物神经元模型模型 神经元是大脑处理信息的基本单元 人脑大约由1011个神经元组成 神经 元互相连接成神经网络 神经元以细胞体为主体 由许多向周围延伸的不规则 树枝状纤维构成的神经细胞 其形状很像一棵枯树的枝干 主要由细胞体 树 突 轴突和突触 Synapse 又称神经键 组成 图 1 1 生物神经元的示意图 生物神经元传递信息的过程为多输入 单输出 从神经元各组成部分的功 能来看 信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传 到突触前膜的脉冲幅度达到一定强度 即超过其阈值电位后 突触前膜将向突 触间隙释放神经传递的化学物质 突触有两种类型 兴奋性突触和抑制性突触 前者产生正突触后电位 后者产生负突触后电位 人工神经元模型人工神经元模型 1 通用模型 2 求和操作 P1 P2 Pn W1 W2 Wn a f i WiPifa 3 响应函数 y s 4 人工神经网络模型人工神经网络模型 1 前向网络 a 2 从输出到输入有反馈的前向网络 b 3 用来存储某种模式序列 层内互连前向网络 c 4 限制层内同时动作的神经元 分组功能相互结合型网络 d 扩展 反向传播 扩展 反向传播 BP 神经网络 神经网络 反向传播 BP 神经网络是一种有监督的前馈运行的人工神经网络 它由 输入层 隐含层 输出层以及各层之间的节点的连接权所组成 这个学习过程 的算法由信息的正向传播和误差的反向传播构成 在正向传播过程中 输入信 息从输入层经隐含层逐层处理 并传向输出层 每一层神经元只影响下一层神经 元的输出 如果不能在输出层得到期望的输出 则转入反向传播 运用链数求 导法则将连接权关于误差函数的导数沿原来的连接通路返回 通过修改各层的 权值使得误差函数减小 1 Hopfield神经网络 基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系 统 网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元 同时又都接收所有其它神经元传递过来的信息 所以Hopfield神经网络是一个 反馈型的网络 其状态变化可以用差分方程来表征 反馈型网络的一个重要特 点就是它具有稳定状态 当网络达到稳定状态的时候 也就是它的能量函数达 到最小的时候 能量函数表征网络状态的变化趋势 并可以依据Hopfield工作 运行规则不断进行状态变化 最终能够达到的某个极小值的目标函数 网络收 敛就是指能量函数达到极小值 如果把一个最优化问题的目标函数转换成网络 的能量函数 把问题的变量对应于网络的状态 那么Hopfield神经网络就能够 用于解决优化组合问题 Hopfield工作时其各个神经元的连接权值是固定的 更新的只是神经元的 输出状态 Hopfield神经网络的运行规则为 首先从网络中随机选取一个神经 元进行加权求和 计算的第时刻的输出值 除以外的所有神经元的 i u i u 1t i u 输出值保持不变 返回至第一步计算 直至网络进入稳定状态 5 Hopfield神经网络的能量函数是朝着梯度减小的方向变化 但它仍然存在 一个问题 那就是一旦能量函数陷入到局部极小值 它将不能自动跳出局部极 小点而到达全局最小点 因而无法求得网络最优解 这可以通过模拟退火算法 或遗传算法得以解决 2 随机型的神经网络 为求解全局最优解提供了有效的算法 模拟退火算法 Simulated Annealing 的思想最早是由Metropolis等人于1953年提出的 但把它用于组合 优化和VLSI设计却是在1983年由S Kirkpatrick等人和V Cemy分别提出的 模拟 退火算法将组合优化问题与统计力学中的热平衡问题类比 开辟了求解组合优 化问题的新途径 Boltzmann机 Bohzmann Ma chine 模型采用模拟退火算法 使网络能够摆脱能量局部极小的束缚 最终达到期望的能量全局最小状态 但 是这需要以花费较长时间的代价来得到 为了改善Boltzmann机求解速度慢的不 足 最后出来的Gaussion机模型不但具备HNN模型的快速收敛特性 而且具有 Bohzmann的 爬山 能力 Gussion机模型采用模拟退火算法和锐化技术 使之 能够有效地求解优化及满足约束问题 3 自组织神经网络 神经网络在接受外界输入时 将会分成不同的区域 不同的区域对不同的 模式具有不同的响应特征 即不同的神经元以最佳方式响应不同性质的信号激 励 从而形成一种拓扑意义上的有序图 这种有序图也称之为特征图 它实际 上时一种非线性映射关系 它将信号空间中各模式的拓扑关系几乎不变地反映 在这张图上 即各神经元的输出响应上 由于这种映射是通过无监督的自适应 过程完成的 所以也称它为自组织神经网络 自组织神经网络是以神经元自行组织以校正各种具体模式的概念为基础的 能够形成簇与簇之间的连续映射 起到矢量量化器的作用 在这种网络中 输 出节点与其邻域其它节点广泛相连 并相互激励 输入节点和输出节点之间通 过强度相连接 通过某种规则 不断地调整 使得在稳定时 每一邻 ij w t ij w t 域的所有节点对某种输入具有类似的输出 并且这聚类的概率分布与输入模式 的概率分布相接近 人工神经网络应用人工神经网络应用 人工神经网络经过多年的发展 应用研究也取得了突破性进展 范围正在 不断扩大 其应用领域几乎包括各个方面 半个世纪以来 这门学科的理论和 技术基础已达到了一定规模 就应用的技术领域而言有计算机视觉 语言的识 别 理解与合成 优化计算 智能控制及复杂系统分析 模式识别 神经计算 6 机研制 知识推理专家系统与人工智能 涉及的学科有神经生理学 认识科学 数理科学 心理学 信息科学 计算机科学 微电子学 光学 动力学 生物 电子学等 人工神经网络在数据挖掘中主要应用于数据的分类和预测 在分类 方法中 与传统的统计方法相比 神经网络具有很强的学习能力 极大地提高 了分类的精度和预测的准测度 人工神经网络与支持向量机 遗传算法 随机 森林等其他先进算法的结合 产生更为精确地算法 在R的galgo包 主要应用 于生物信息学 中已经体现出来 人工神经网络发展方向人工神经网络发展方向 1 人工神经网络模型的研究 利用神经生理与认知科学研究人类思维以及智能机理和利用神经基础理论 的研究成果 用数理方法探索功能更加完善 性能更加优越的神经网络模型 深入研究网络算法和性能 如 稳定性 收敛性 容错性 鲁棒性等 开发新 的网络数理理论 如 神经网络动力学 非线性神经场等 2 人工神经计算和进化计算 要把基于链接主义的神经网络理论 基于符号主义的人工智能专家系统理 论和基于进化论的人工生命这3大研究领域 自发而有机的结合起来 建立神经 计算和进化计算的数学理论基础 并行分布处理 PDP 具有自学习 自适应 和自组织的特点 这是一种提高计算性能的有效途径 是神经网络迫切需要增 强的主要功能 必须加以重视 同时 还应寻找其他有效方法 建立具有计算 复杂性 网络容错性和坚韧性的计算理论 进一步研究调节多层感知器的算法 使建立的模型和学习算法成为适应性神经网络的有力工具 构建多层感知器与 自组织特征图级联想的复合网络 是增强网络解决实际问题能力的一个有效途 径 重视链接的可编程性和通用性问题的研究 从而促进智能科学的发展 3 神经网络计算机的实现 神经网络结构和神经元芯片的作用将不断扩大 神经网络结构的研究是神 经网络的实现以及成功地实现应用的前提 又是优越的物理前提 他体现了算 法和结构的统一 是硬件和软件的混合体 未来的研究主要是针对信息处理功能 体 将系统 结构 电路 器件和材料等方面的知识有机地结合起来 建构有 关的新概念和新技术 在硬件实现上 研究材料的结构和组织 使他具有自然 地进行信息处理的能力 人工神经网络研究的重大意义人工神经网络研究的重大意义 1 通过研究人工神经网络 使得神经网络计算机的实现成为可能 1982 7 年美国加利福尼亚的霍普菲尔德教授提出了Hopfieid人工神经网络模型以后 美国日本及欧洲都竞相掀起一股人工神经网络计算机热 贝尔实验室 三菱 富士通等大公司已试制出多种人工网络芯片 2 人工网络神经有着广泛地应 用 1 感知模式识别 如医学图像分析 计算机输入装置 语音识别等 2 控制过程 如机器人感知 驱动协调控制 3 优化计算和联想记忆 4 信 号处理 如各种非线性问题如非线性区域的模式分类 系统辨别和高维非线性 系统的检测和估计等 5 其他应用 主要是已研制出和正在研制