3. 人工神经网络基础

人工智能通识基础——人工神经网络基础目录CONTENTS01数学知识基础02机器学习基础03神经网络基础PART

01数学知识基础数学知识--导数数学知识--导数数学知识--导数数学知识--导数数学知识--导数数学知识--导数法则PART

02机器学习基础机器学习机器学习输入：X输出：Y标签：摩托车机器学习机器学习PART

03神经网络基础什么是人工神经网络神经网络（NeuralNetwork，NN）一般也称为人工神经网络（ArtificialNeuralNetwork，ANN），是科学家们在对生物的神经元、神经系统等生理学的研究取得了突破性进展以及对人脑的结构、组成和基本工作单元有了进一步认识的基础上，通过借助数学和物理的方法从信息处理的角度对人脑神经网络进行抽象后建立的简化模型。生物神经系统生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在1011一1013个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。生物神经元生物神经元主要由以下几个部分组成：胞体:是神经细胞的本体;树突:用以接受来自其它细胞元的信号;轴突:用以输出信号，与多个神经元连接;突触:是一个神经元与另一个神经元相联系的特殊部位，通过神经元轴突的端部靠化学接触和电接触将信号传递给下一个神经元的树突或胞体。生物神经元的基本工作机制

一个神经元有两种状态-兴奋和抑制。平时处于抑制状态的神经元，其树突和胞体接受其它神经元经由突触传来的兴奋电位，多个输入在神经元中以代数和的方式叠加；

如输入兴奋总量超过阈值，神经元被激发进入兴奋状态，发出输出脉冲，由轴突的突触传递给其它神经元。生物神经特性1.并行分布处理的工作模式实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。但人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。

大脑信息处理的并行速度已达到了极高的程度生物神经特性2.神经系统的可塑性和自组织性神经系统的可塑性和自组织性与大脑的发育密切相关。幼年时，大脑的可塑性特别强，语言学习能力较强，反映了突触可塑性和神经系统自组织特性。在外界信息反复刺激下，神经细胞之间的突触连接会增强，说明大脑功能既受先天制约，也可通过后天学习和训练改善。神经网络的学习机制正是基于这种可塑性，通过调整突触强度实现。生物神经特性3.信息处理与信息存贮合二为一大脑的信息处理与存储是融合的，不像计算机那样分离地址和内容。神经元同时承担处理和存储功能，因此回忆时无需按地址检索，并能由部分信息恢复整体内容。4.信息处理的系统性大脑是高度复杂的整体信息处理系统，单个神经元无法代表整体功能。大脑可视为由多个相互联系、相互调节的子系统组成，如视觉系统与运动系统之间能紧密配合，实现协调的信息处理。生物神经特性5.信息的分布存储提供容错功能

由于信息被分布存放在几乎整个网络中，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。6.

能接受和处理模糊的、模拟的、随机的信息7.求满意解而不是精确解人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。

人工神经网络（1）生理结构的模拟：

用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络方法。（2）宏观功能的模拟：

从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。对生物神经网络的模拟主要从两方面出发：人工神经元模型树突细胞体轴突突触生物神经元人工神经元类比关系输入加权和阈值函数输出人工神经元模型模拟神经元的树突接收输入信号输入加权和阈值函数输出模拟神经元的细胞体加工和处理信号模拟神经元的轴突控制信号的输出模拟神经元的突触对结果进行输出人工神经元结构功能示意图人工神经元的基本组成人工神经元模拟生物神经元的一阶特性输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入： net=∑xiwi向量形式： net=X*Wxnwn∑x1w1x2w2net=XW…人工神经网络基础单输入人工神经元神经元输出传输函数偏置(值)输入权值净输入人工神经网络基础多输入人工神经元简化符号人工神经网络基础名称输入/输出关系图标Matlab函数硬极限函数Hardlim对称极限函数Hardlims线性函数Pureline饱和线性函数Satlin人工神经网络基础对数S型函数Satlins对称饱和线性函数Logsig双曲正切S型函数Tansig正线性函数Poslin竞争函数Compet人工神经网络基础n=Wp+b=1.5P=[1,2]TW=[1,1]b=-1.5f(n)a人工神经网络基础na=Hardlim(1.5)

f1a=Hardlims(1.5)1a=Pureline

(1.5)1.5a=Satlins

(1.5)1a=Logsig

(1.5)0.8176人工神经网络基础输入S个神经元的层网络结构—神经元的层人工神经网络基础输入第1层第2层第3层a1=f1(W1p+b1)a2=f2(W2a1+b2)a3=f3(W3a2+b3)p多层神经网络（3层）a3=f3(W3f2(W2f1(W1p+b1)+b2)+b3)神经网络中常见模型神经网络中常见模型：前馈神经网络；反馈神经网络.前馈神经网络：各神经元接受前一层的输入并输出给下一层，无反馈，常见的有BP神经网络和RBF径向基神经网络。反馈神经网络：其输入数据决定反馈系统的初始状态，然后系统经过一系列的状态转移后逐渐收敛于平衡状态，即为反馈神经网络经过计算后的输出结果。前馈型网络的信号由输入层到输出层单向传输每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求。前馈型网络输入层不仅接受外界的输入信号，同时接受网络自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输出信号。此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合。反馈型网络第一个神经元运算模型

硬极限函数神经元模型原始神经元模型的缺点输入输出都是二元的无法对连续的实数进行处理，也不能处理多分类问题不能训练也没有学习能力权重是人工设定的，无法根据输出自动调整该神经元可以看作是一个定义好的逻辑门电路，主要的意义在于验证了神经元模型具有计算的能力。感知机模型神经元模型的改进-感知机1957年，Rosenblatt定义了一个称为感知机（perceptron）的神经网络结构，该模型与神经元模型类似，主要有以下几点改进：输入为一个实数向量；有多种激活函数可以选择；属于一个可学习模型；感知机模型感知机中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学模型中得到了一定程度的模拟，所以引起了广泛的关注。

简单感知机：简单感知机模型实际上仍然是M-P模型的结构。它是一种单层感知机模型，一层为输入层（只负责接收输入信号，无信息处理能力），另一层具有计算单元，可以通过采用监督学习来逐步增强模式划分的能力，达到学习的目的。感知机模型感知机模型的学习方法感知机与神经元模型最大的区别在于感知机模型可以对训练样本进行学习，以对称极限函数为例，其训练过程如下：1.将感知机模型用向量进行表示：2.对于给定的训练样本，挑选出分类错误的样本对：3.对权重向量进行更新：感知机模型感知机模型的缺陷1969年：Minsky和Papert指出感知机的缺陷：仅能解决一阶谓词逻辑，即只能完成线性划分，对于非线性或者其他分类会遇到很多困难，就连简单的XOR（异或）问题都解决不了。对于左图中的分类问题，单层感知机模型无法找到一个超平面将两类样本区分开。感知机模型异或问题无法用一个超平面将两类样本分隔开，于是人们考虑对多个感知机模型进行组合，即采用多个超平面去分割样本——多层感知机神经网络的学习算法神经网络的学习算法有监督学习无监督学习再励学习在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。在无监督的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。强化学习是介于上述两者之间的一种学习方法，它不需要老师给出目标输出。强化学习算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）神经网络的应用民用应用领域语言识别、图像识别与理解、计算机视觉、智能机器人故检测、实时语言翻译、企