第 3 章 神经计算基础(3.1 人工神经网络基础)

3神经计算基础3.1人工神经网络基础，信息学院科学技术大学，目录，3.1神经计算基础3.1人工神经网络基础3.1.1人工神经网络建议3.1.2人工神经网络特征3.1.3历史回顾3.1.4生物神经网络3.1.5人工神经元3.1.6人工神经网络拓扑特征3.1.7存储和映射3.1.8人工神经网络训练3.1.1人工神经网络基础人类对人工智能的研究可以分为两种方式，分别对应于两种不同的技术：传统的人工智能技术和人工智能技术基于人工神经网络技术，从生理学的角度进行智能模拟。 它们分别适用于理解和处理事物的不同方面。除了从不同的角度研究这两种技术，人们也开始探索如何更好地将这两种技术结合起来，并取得了良好的效果。人们期待着通过大家的不懈努力，在不久的将来，这两种技术的研究及其有机结合会有所突破。他们还希望在方法上取得新的突破，并真正打开通向智慧的大门。人工神经网络基础人工神经网络是根据生物神经网络的研究成果而设计的。它由一系列神经元及其相应的连接组成。它有很好的数学描述，不仅可以通过适当的电子电路实现，也可以通过计算机程序实现。首先简要介绍了智能和人工智能，然后简要介绍了人工神经网络的发展过程和基本特征。然后将介绍人工神经网络的基本知识，主要包括：基本生物神经网络模型、人工神经模型及其典型激活函数；人工神经网络的基本拓扑特征、存储类型(CAM-LTM、AM-STM)和图像、监督训练和非监督训练。人工神经网络是对人脑系统一阶特征的描述。简而言之，它是一个数学模型，可以通过电子电路来实现，也可以通过计算机程序来模拟。这是人工智能研究的一种方法。智力，智力就是智力和能力。它是个体有目的的行为、合理的思维和有效的适应环境的综合能力。它是个人理解客观事物和运用知识解决问题的能力。众所周知，人类是聪明的。因为人类能够记忆事物，能够有目的地开展一些活动，能够通过学习获得知识，并且能够在后续的学习中不断地丰富知识，并且具有一定的运用这些知识去探索未知事物、发现和创新的能力。人类个体的智力是一种综合能力。人类智力最基本的能力是感知和理解客观事物、客观世界和自我(生存能力，感知是智力的基础)。通过学习，他们获得经验并积累知识(最基本的发展能力)，理解知识，利用知识和经验分析和解决问题(高级智能，促进发展的基本能力)，交往，推理，判断和决策(高级智能，它是主动性的基础)，用语言抽象和概括(语言能力)基本能力的五个新的综合表达：发现，发明，创造， 1956年首次引入了创新(高级智能)来实时、快速、合理地处理复杂环境(实时响应能力)、观察事物的发展和变化(预测能力)、人工智能和人工智能(人工智能)。 研究如何使计算机模仿人脑进行推理、设计、思考、学习等思维活动，以解决和处理更复杂的问题。简而言之，人工智能是对计算机如何模仿人脑工作的研究。(1)通过制造和使用工具来增强和扩展人类自身的生存能力，从而提高人类探索世界和推动社会前进的能力，使计算机能够模拟人类的感知、思维和行为规律，进而设计出具有与人类相似智能的计算机系统，从而实现(2)为了进一步了解自己对人工智能的研究，我们可以从已知的结论(不排除一些推测)和人脑外讨论它的活动机制。有人称这种做法为利用物化智能来调查和研究人脑智能的物质过程和规律。人工智能，因为人类对自己的大脑确实知之甚少，自从“人工智能”一词诞生以来，人们从不同的起点、方法和不同的应用领域进行了大量的研究。正是由于这些差异，人们对人工智能形成了几种不同的理解，并形成了不同的学术流派。更具代表性的流派包括：象征主义(或符号/逻辑主义)、连接主义(或并行分布式处理)和进化论(或行动/反应)。物理符号系统，物理符号系统的定义：因为信息需要在特定的载体上以特定的形式表达，传统上，人们使用一系列的基本符号和一些规则来组合这些符号来表达一些信息和行为。这些基本符号和组合这些符号的规则被称为物理符号系统。例如，“2”在十进制中用阿拉伯数字表示为“2”，在二进制中用“10”。在计算机中，它由高电平和低电平表示。计算机世界是数据处理的世界，数据是从现实世界中抽象出来的信息世界的形式描述的结果。信息是现实在人脑中的反映，而数据是信息的表达。图3.1物理符号系统用于描述物理系统。从联结主义的观点来看，智力的本质是联结机制。神经网络是由大量简单处理单元组成的高度复杂的大规模非线性自适应系统。虽然根据这种说法对神经网络的描述未能完全描述其所有特征，但它试图从以下四个方面最大限度地体现人脑的一些基本特征，同时使人工神经网络具有良好的可实现性。神经网络的四个基本特征(1)物理结构。现代神经科学的研究结果认为，大脑皮层是一个庞大而复杂的系统，有着广泛的联系，包含大约1011个神经元。这些神经元通过1015个连接形成一个大规模的神经网络系统。人工神经网络也将通过广泛的连接由类似于生物神经元的人工神经元组成。人工神经元将模拟生物神经元的功能。它们不仅具有一定的局部处理能力，还能接收系统中其他神经元的信号，并能以某种形式和方式将其“状态”传递给其他神经元。(2)计算模拟。人脑中的神经元不仅具有局部计算和存储功能，而且通过连接形成一个统一的系统。人脑的计算是基于该系统的大规模并行仿真处理。每个神经元可以通过连接接收系统中其他神经元传递的信号，通过局部处理产生结果，然后通过连接传递结果。神经元接收和传输的信号被认为是模拟信号。对于大脑中的每个神经元来说，所有这些都是同时发生的。因此，该系统是一个大规模并行模拟处理系统。由于人工神经网络中存在大量具有局部处理能力的人工神经元，该系统还将实现大规模的信息并行处理，以提高其性能。(3)储存和操作。大脑对信息的记忆是通过改变突触的连接强度实现的。除了神经元状态显示的信息外，其他信息也以神经元间连接强度的形式分布和存储。存储区和操作区合二为一。这里的处理是以大规模、连续和模拟的方式进行的。信息的大规模分发和存储为信息的完全并行处理提供了良好的基础。同时，这些特点使系统具有很强的容错和联想能力，也为推广、类比和推广提供了有力的支持。(4)训练神经网络的四个基本特征，生活经验表明，人脑的功能不仅受先天因素的限制，还受后天训练的决定。在先天因素和后天因素中，后天训练更为重要。一个人的学习经验和工作经验都是他宝贵的财富。这表明人脑具有很强的自组织和自适应性。从生理学的角度来看，许多人类智力活动不是以逻辑方式进行的，而是通过训练形成的。因此，人工神经网络将根据自身的结构特征采用不同的训练和学习过程，从“实践”中自动获取相关知识并存储在系统中。这里的“练习”是训练样本。与两种模型相比，物理符号系统根据人类心理的特点模拟了解决人类问题的心理过程。因此，它善于模拟人的逻辑思维，可以看作是一种高级的思维方式。然而，在许多系统中，一些图像思维的处理需要通过逻辑思维来实现，这导致图像处理问题的处理效率较低。作为一个基于连接主义观点的人工神经网络，它从仿生学和生理学模拟的角度来研究人类的思维和智能。它擅长模拟人类形象思维，这是人类思维的一种低级形式。从目前的研究成果来看，由于该系统的不精确性，主要通过逻辑思维解决的问题更难处理。图3.2显示了两个系统和人类思维形式之间的对应比较。表3.1物理符号系统与人工神经网络系统的区别，两种模型的比较，图3.2两种模型的仿真比较，两种模型的比较，表3.2两种人工智能技术的比较，表3.1.2人工神经网络的特征，人工神经网络的三种特征信息的分布，表明运算的全局并行性和局部运算处理的非线性，它们的构造和处理都是围绕这三点进行的。1。人工神经网络的概念，人工神经网络是人脑及其活动的理论数学模型，它由大量处理单元通过适当的手段相互连接而成，是一个大规模的非线性自适应系统。1988年，Hecht-Nielsen定义人工神经网络是一种并行分布式处理结构，它是由处理单元和称为连接的无向信号通道互连而成的。处理元件(PE)具有本地存储器并且可以完成本地操作。每个处理单元具有单个输出连接，并且该输出可以根据需要被分支成期望数量的并行连接，并且这些并行连接都输出相同的信号，即相应处理单元的信号，并且信号的大小不随分支的数量而变化。处理单元的输出信号可以是任何所需的数学模型，并且在每个处理单元中执行的操作必须完全是局部的。也就是说，它必须仅取决于通过输入连接到达处理单元的所有输入信号的当前值和存储在处理单元的本地存储器中的值。(1)人工神经网络的概念，主要强调四个方面：并行和分布式处理结构；一个处理单元的输出是任意分支的，并且大小不变。输出信号可以是任何数学模型；处理单元执行完整的本地操作。这里，处理单元是一个人工神经元。PDP神经网络模型，根据鲁梅尔哈特，麦克莱兰，辛顿等人提出的PDP(并行分布式处理)理论框架(简称PDP模型)人工神经网络由八个要素组成：1)一组处理单元(PE或AN)；2)处理单元的激活状态()；3)每个处理单元的输出函数()。4)处理单元之间的连接方式；PDP神经网络模型，5)传输规则()；6)激活规则()，其组合处理单元的输入和当前状态以生成激活值；7)通过经验修改连接强度的学习规则；8)系统运行的环境(样本集)。PDP神经网络模型图3.3 PDP模型下的人工神经网络模型人工神经网络人工神经网络是一种非线性有向图，它包含加权边，可以通过改变权重来存储模式，并且可以从不完整或未知的输入中找到模式。人工神经网络的别名：并行分布式数据处理系统。人工神经系统、神经网络、自适应系统、自适应网络、连接模型、神经计算机等。人工神经网络具有大脑的基本特征。(1)神经元及其连接从系统构成的形式来看，由于人工神经网络受生物神经系统的启发，从神经元本身到连接方式，它基本上以类似于生物神经系统的方式工作。这里的人工神经元对应于生物神经元，而能够改变强度的连接对应于突触。2)信息存储与处理从性能特征来看，人工神经网络也力求模拟生物神经系统的基本运行模式。例如，包含在较大数据集中的数据连接可以通过相应的学习/训练算法来抽象。正如人们可以不断地探索规律、总结经验一样，他们也可以根据前面例子的要求产生新的例子，从而在一定程度上实现“取长补短”的功能。学习能力人工神经网络可以根据环境改变自己的行为。人工神经网络具有良好的学习功能。在学习过程中，人工神经网络连续提取接收样本集中包含的基本内容，并以神经元间连接权值的形式存储在系统中。例如，可以构造一个异相网络，当接受样本集A时，该网络可以提取集A中输入数据和输出数据之间的映射关系.如果样本集变成B，它还可以提取B集中输入数据和输出数据之间的映射关系。目前，对于不同的人工神经网络模型有不同的学习/训练算法。有时，相同结构的网络有不同的算法来适应不同的应用需求。对于网络模型，其学习/训练算法非常重要(提高训练速度和性能)。由于其操作的不精确性，人工神经网络在训练后对输入的微小变化没有反应。与事物的两面性相对应，虽然这种不精确性在需要高精度计算时是一种缺陷，但在某些场合可以用来获得系统的良好性能。例如，这种不准确性可以表示为“去除噪声和破坏外形”的能力，这对于模式识别有时非常重要。这种不精确性也可以用来自然地实现模式的自动分类。特别值得注意的是，人工神经网络的这一特性不是由特别设计的计算机程序中隐含的人类智能实现的，而是由其自身结构的固有特性所赋予的。信息的分布和存储为人工神经网络提供了另一种特殊功能。因为一条信息分布并存储在几乎整个网络中，所以当某个点或多个点被破坏时，信息仍然可以被访问。它可以确保系统在损坏时仍能正常工作。然而，这并不意味着完成研究的网络可以随意修改。对于一种网络来说，也是由于信息的分布和存储，如果允许它在完成学习后学习新的东西，它将摧毁它所学的东西。BP网络就是这样一个网络。适用性问题人工神经网络不能解决所有的问题，它应该有自己的适用性。人脑可以进行“形象思维”和“逻辑思维”。传统的人工智能技术模拟逻辑思维，而人工神经网络模拟形象思维，两者在适用方面有所不同。人工神经网络擅长处理形象思维问题。它主要包括两个方面：对大量数据进行分类，并且只有少数情况；必须学习复杂的非线性映射。这两个方面对于传统的人工智能技术