人工神经网络的发展

第卷第期 年应用光学 人工神经网络的发展 岳祖洲 山东大学光电子信息工程系 陈 继述 犷波大学 物理系 摘要 发 展方向 关键词 回 硕人工神经网络的发展 厉史介绍三种典型的神经网络模型 指 出神经网络目前 人工 神次网洛模式识别数学模型 尸 一 认 乙 了 认 亘几比 刃 皿 几 点 使得大脑在处理语言理解 模式识别等 引言 一 阴 一 卜 二月 一 卜引已 方 土 问题 时具有现有计算机无法比拟的优越 年代发展起来的 例 计算性 信 息的分布式存储 并行性处理的特点 机是科学 的巨人进步 而人工神 一生 元的出现使得大脑具有极快的信息处理速度 生物神 被认为是自晶体营以来科技界 又 最大进经元的动作时间常数约为 二左右 而电 展 我们知道 的工 西原 理 子可 达 但大脑能在 几秒内判断出 是基于大觉 串行 行 号处理 的而大脑的工作人在一个动态的十字路口是否应该过马路 方式则完全不 同 脑 神经科学 的 研究告诉我 一 而若要计算机来做 这个工作 其计算量大到 们 人脑是由为 火 个 那左 元 组成 几乎不可能做到 一个三岁小孩可以轻而易 虽有 多种神经元 但它们的毖本结构相 似 举地从一堆照片中找出 自己的父母亲来 而 即每个 神经元都由 一 个突触接 受其它若要计算机来完成这个任务 其计算量同样 神经元的激励信 一号 并由轴突输出激励信号大得惊人 大脑具有的 自组织功能 联想功 封其它神经先 图 这说明大脑 的工作原能及容错性都是计算机所不具备的 理是基于丰 富 互 状的 限是 由于这个 待 尽管人 们对 大脑 工作方式的 细 节 还不太清楚 但人们可以根据现在已有的大 脑的微观组成神经元及大脑的宏观功能 两方面的知识来构造人工神经网络 模拟大 脑 的某些 功 能 这正如人类在模拟鸟的飞行 过程中造出了飞机一徉 产生了以模仿人脑 功能为目的 涉及到生物 生理 控制 沦 数学及光 电子信 息等学科的综合科 学一人 工神经网络 人工神经网络 的发展 年 和最旱限据 动 物伸经元的生理特点提 出了人工神经厄的数 学漠塑 即仲经 已漠吧 如图所示 多 个伸经 已丁以 组成神经网济 它可以 完成 一些简单的逻辑 功能 年 心理 学 家提出 一 改受神经元 间连接 强度 的学习规则 即 突独修正假 设 其基 本思 想是若两个神经元 同时兴奋则 它们 间的 联接应加强 三十年后 该假没的正确性在 电生理 学 中找到了 一证据 五六 卜年代 人们 已经 开始了作为人二智能的另一杀途径的神 经网系统 的 钎究 如提 出 了感知 拟 和 提出了模 及其节习方 法 提 出了学习 距 阵等等 但 是 年 和 在 一书中 以 为 代丧 对 简单网洛的功能 及局 限 性从数学 上作了详细分析后 指 出此不能 用 于复杂的逻辑 功能 如间题 要解决这 类间题 必须要多层神经网络 而 多层网络 的学习算法儿乎不可能找川 这 一 结 论 使得 币卜代 神经网络研究陷入低潮 但此 时 乃汀些件学 家汇这 一领 域里辛勤耕 耘 口 阳 发 展了 少 的 等 川了年代 神圣网洛灼研究又掀 坦了 一股热朝 一方 呵是由于传统 的人工智 能方法在解决象视觉处理 语言理解等方面 间题时陷于困境另一方面 神经网络的一 些研 究成果有了很大的突破 年 堤出了模型 尤其是用 它 成功地解央了 问题 曾极大 地促进 了神经网络 的研 究 等人 发表了 理论 提出 了误差反向传播 学习方法 使得原以为 不 可能 的多层网络的 学习问题得到 一了解 决 日前 美 日 欧等发达 国家纷纷投入 喊额 资助神经网络及其应 用的 研究 关叫国防部预研 计划管理局 于年月组织了一批专家进行 调 研 走 访了三千多位学者 于年 月完成了一份 长达六千多页的神经网络研究计 划的论证报 告 并犷年月开始执行一项发展神经 网络及其应 用的八年计划 投资数亿美元 此 后相继 出现了日本的计划 法国的 尤 里卡 计 划 德国的欧 洲 防御计划 苏联的 图动物神经元和人工神经 元 高技术发展 计划 澳洲的 高技术 计 划等 并拨专款用于神经网络研究 有关神 经网络研究的学术刊物也如雨后春笋般多起 来 如 等 我 国对神经网络的研究起步较晚 年前后国内一些大学和研究所相继开展 了神 经网络研究 并先后在 国内召开了几次国 际 国内神经网络学术讨论会 想记忆 模型还可以用来求解制约 优化问题 如问题 网络 典型的网络如图听示 它事实上是 隐含层 抬出 层 几种典型的神经 网络简介 神经网络发展到今天 已有十儿 种模 型 有代表性的三种模型是模 型 自组织特征映射模型 和反向传播模型 模型 模型 给出一组短模式集 吸 用作联想记忆 的离散型模型距阵可描述如下 互联距阵即记忆距阵为 习 输入一未知矢量 其迭代过程如下 翰 入层 习万 一 田三层网络 实现由输入矢量空间到输出矢量空间的一个 复杂变换 属监督学习类型 因此极适合于 模糊模式识别和 自动控制方面问题 其学习 过程如下 随机给定权重的值 将模式集 中的一个模式矢量 输入网络 前馈 习万 习平 调整平 加州工学院的教授在其网络模 型中引入了能量 函数 即函数 一 习习万 一 习夕 祷 并证 明了当按上式迭代时 簇 又 因丑 有界 所以不论输入 的矢量是否是原存储模 式集中的一个 网络最后总将收敛到与输入 矢量最相近 的 那个存储矢量上 从而实现联 者 平冷帕 万 轰 产 二 习评 一 夕 再输入一模式 重复 一 直至所有模式的输出值与期望值的误差均 方差最 小 即完成学习 传统的模式识别方法是由人先抽取特征 来 编好程序 由机器按照特征规则进行分 类识别 实际上 有好多模式识别问题很难 找出适当的特征来 神经网络则根本不需 要人工抽取特征 只需有一组输入输出训练 模式对 就可以通过 自适应过 程 把其中难以表达的 自然规律编码到网络 的连接权距阵中 这类似于人脑认识问题 时从主维自然界到特征空间的变换 由于这 一特征 使得网络为解决传统的 模式识 别 模糊 自动控制等方面难以解决的问题开 辟了一条新的途径 也使之成为目前应用最 多的网络 自 组 织出模式集中各模式的分类图案 即 表征相近物理特性的模式节点靠在一起 自组织特征映射网络模型 自组织图属于非监督分类型 网 络 其 结构如图所示 学习过程如下 设置初始权值和第户 个节点的 邻域 半径 提供模式集矛 中的一个模式给 输入 并计算输入向量到每个节点的距离 挑出最小的节点 调 节了 及其邻域节点 使进 一步减 小 重复 直到权重不再变 化 即网络稳定 这 时在 记忆 平面上会 输入天址 田自组织图 实现及应用举例 目前神经网络的实现方法有以下四种途 径 软件模拟 超大规模集成电路 光电守昆合 全光实现 软件模拟尽管 由于受现行计算机 串行处 理的限制而发挥不出神经网络并行计算速度 快的优点来 学习速度慢 但因其 容易 实 现 因而是用来研究网络模型 性能特点的 很好工具 对于改变网络模型性能 为硬件 实现提供可靠资料方面 软件模拟起着重要 作用 对一些 可以离线学习的 实 际 应 用间 题 也可以用软件模拟的方法来实现 由于 超大规模集成电路技术的成熟 目前国外已 研制出各种神经芯片 全光实现神经网络的 典型例子是模型 的 实现 即 提出的关联存储器 它充分利用了 光学二维并行处理的特点 光电混合的实现 方法将光的二维并行处理特点同电子控制的 灵活性结合起来 各取所 长 利用光学方法 实现并行的矩阵矢量乘法运算 即光学乘法 器 用电子或计算机方法来取阂值 拄制反 馈并调节互联权重 其发展相当迅速 神经网络的应用己经渗透 到 各 个 领 域 中 一 其 中软件模拟的网络是应 用最 多 最 成功的网络 如 自然语言理解方 面的文字识别 语音识别及语音合成 自动 控制方面的机动车自动驾驶 机器人 自动控 制图像处理方面的图像压缩与分割 影像 分类 图像识别信号处理方面的心 电图 脑 电图分类 光谱分类军事上的目标识别 与跟踪预测预报方 面的天气预报 股票行 情预报 市场预测 机场爆炸物检测 矿源 探查各种专家系统 等等 值得一提的一 个网络的应用是和 的 其是年代以来继网 络解决朋问题后 的 又一个 引人注目的神经 网络应 用 的例子 网络的输入是个字 母的 单词 每个字母由个分 量 的二值矢量 表 示 其 中个分量代表字母表 中的某一个 另外三个分量表征标点符号 中间个隐单 元 输出由个单元 组 成 其中个代表发 音特征 另 外 个 表征重音和音节界线特征 网络开始发 音含混不清 随着学习过程的进 展 网络开始掌握发音规则 发音较清楚 就象一个初学说话的孩子 一样 经 常用错这 些规则 随着学习的继续 网络甚至能把发 音规则的例外情况和特殊发音都掌握住而发 音清晰 几乎没有错误 结论 目前 神经网络理论和基础研究的发展 相对比较平稳 需要不断积累成果以求 在理 论模型的性能及宜于硬件实现的新模型 等方 面有新 的突破 神经网络的各种实现的 发展步伐要比预想 的快得多 并且灵 活 针 对 性强 易于使用的小规模神经网络的软硬 件产品的发展应用规模也越 来越大 神经网 络与其 它数字 计算技术 光学信号处理 技术 的紧密 结合而 成为注能更强 的系统 以解决 传统方 法难以解决 的 问题 将是一个重要的 应用研究方向 当前 各发达 国家在研究神经 网络并企 图占领 世界 主导 地位方 面正 在进 行 激