《人工神经网络理论及应用》课件第3章 人工神经网络数理基础

第3章

人工神经网络数理基础

11人工神经网络和数学是密不可分的，首先神经网络是用矩阵来描述的，其次，为了方便计算，需要把神经网络的输入、输出和权值看做是向量或矩阵，向量和矩阵运算又涉及线性变换等知识。另外，在人工神经网络算法中运用了梯度、导数、微分等数学知识。因此，了解和掌握基本的数理知识是学习和应用人工神经网络的基础。3.1神经元模型21.符号说明为了方便表述神经元，也为了本书的规范性和统一性，除特殊说明外，书中涉及的符号遵循以下规定：小写斜体字母代表标量，例如x，y。

(2)小写的黑色斜体字母代表向量，例如x

，y

。(3)大写的黑色斜体字母代表矩阵，例如X

，Y

。(4)权值下标的定义：权值矩阵元素的下标的第一个参数表示的是权值连接后一层接收目标神经元的编号，第二个下标表示权值连接前一层输出源神经元的编号。例如w1,2表示该元素是从前一层第二个神经元到后一层第一个输入神经元的连接权值；w3,4表示该元素是从前一层第四个神经元到后一层第三个输入神经元的连接权值。3.2.单输入神经元单输入神经元的工作原理如图3-1所示。它相当于权值w乘以输入标量x得到wx，将它送入累加器中形成一个新的输入。另一个输入1乘以偏置b后也送入到累加器中，累加器的输出n通常被称为净输入，将净输入n送入传递函数f中，经传递函数f映射后产生神经元的输出标量y。图3-1单输入神经元的工作原理4如果将这个神经元模型与生物神经元对照，那么输入标量x相当于外部的激励，权值w相当于突触的连接强度，胞体对应于累加器和传递函数，神经元输出y代表轴突的输出信号。因此，神经元的输出为式中，传递函数f决定了神经元的实际的输出标量y。假设x=2，w=3，b=2时，那么神经元的输出为另外，式(3-1)中偏置参数b可以有，也可以没有。当设置了偏置参数时，它的作用有点像权值，当然在神经元模型中也可以不使用偏置。在神经元模型中，权值w和偏置b是可以调整的。另外，在实际应用中，可以根据输出的需要，选择不同的传递函数。（3-1）53.传递函数传递函数在神经元中的作用就是将累加器的输出按照指定的函数关系得到一个新的映射输出，进而完成人工神经网络的训练。另外，传递函数能够用来加入非线性因素，提高人工神经网络对模型的表达能力，解决线性模型所不能解决的一些问题。不同种类的神经网络、不同的应用场合，所选择的传递函数可以不同。传递函数的种类很多，表3-1给出了常用的几种传递函数。表3-1传递函数6789下面以对数S型传递函数和线性整流函数ReLU为例，对传递函数进行简单说明。对数S型传递函数，即Sigmoid函数，在生物学中也称为S型生长曲线。由于具有单调递增特性以及反函数也具有单调递增的特性，可以将输出映射到0到1之间，因此常被当做传递函数或阈值函数使用。其函数表达式为式中，n表示净输入，y是处于0到1之间的输出量。图3-2是对数S型传递函数的特性图。对数S型传递函数的优点是能够把输出的实数值限定在0到1之间，缺点是容易饱和。当输入值太大或者太小时，神经元的梯度就无限趋近0，使得在计算反向误差时，最终的权值几乎不会更新。（3-2）10另外，如果对数S型传递函数的输出不是以零为中心，那么在后续的神经网络处理数据时将接收不到零中心的数据，从而会对梯度产生影响，降低权值更新效率。11线性整流函数(RectifiedLinearUnit，ReLU)，类似于数学中的斜坡函数，是目前人工神经网络最常用的一种传递函数，函数表达式为图3-3是线性整流传递函数的特性图。可以发现：当输入正值时，ReLU函数输出等于输入；当输入为零和负值时，ReLU函数输出为零。11图3-2对数S型传递函数图3-3线性整流传递函数相比于对数S型传递函数，ReLU函数不存在梯度饱和问题，且具有更快的收敛速度。但是当输入是负数的时候，ReLU是完全不被激活的，这就表明一旦输入到了负数，ReLU就会只输出0值。在前向传播过程中，这种情况可能还不算什么问题，因为有的区域是敏感的，有的是不敏感的。但是进入反向传播过程中，遇到负数输入，梯度就会降到0，这种情况与对数S型传递函数和正切S型函数是一样。为了避免这种情况发生，可以采用改进型的函数，如PReLU、ELU、LeakyReLU等。函数给负值区域也赋予了一定的斜率，尽管斜率很小，但是不会趋于0。当然，它们之间也有差别，ELU和PReLU函数区别在于，PReLU函数在负数区域内是线性运算。另外，在表3-1中α的取值一般都很小，特别当α=0.01时，PReLU与LeakyReLU函数作用效果相同。12134.多输入神经元多输入神经元就是神经元模型中不只有一个输入的情况。若神经元具有R个输入，它的输入分别对应着权值矩W中的元素如图3-4所示。多输入神经元神经元模型有偏置b，它将与所有输入的加权和累加，然后形成净输入n，最后再将它送入传递函数f当中，得到输出量y。14此时，净输入n为也可以表述为在单输入神经元模型当中，权值矩阵W只有一个元素w，但是多输入神经元的权值矩阵W有R个元素，所以神经元输出表述为153.2导数1.定义1）导数的定义设函数在x=x0的邻域U(x0)内有定义，并设，

假设存在，则称函数y=f(x)在x=x0处可导，式(3-7)的极限是函数在x=x0。处的导数，记作即也可写为2）左、右导数的定义极限和分别称为y=f(x)在x=x0处的左导数和右导，分别记和3)高阶导数的定义设函数y=f(x)的导数依旧是x的函数，则称的导数为函数y=f(x)的二阶导数，记为或者

类似的，称二阶导数的导数为三阶导数，以此类推，函数y=f(x)具有n阶导数，也可称函数f(x)为n阶导数。1617二阶以及二阶以上的导数称为高阶导数。2.定理与性质定理一：如果f(x)在x处可导，那么f(x)在同一点处必连续，但是反之不成立。定理二：如果f(x)在x=x0处可导，则可推出f(x)在x=x0处左导数和右导数都存在，且左导数和右导数相等。反之也成立。当函数可导时，导数的几何意义：若函数f(x)在x=x0的导数记为，则它是曲线f(x)在点处的斜率。运算法则：下列函数均可导。3.3微分3.3.1定义设函数y=f(x)在x=x0的邻域U(x0)内有定义，同时假设

若式中，常数A与无关，，则称f(x)在点x=x0

18处可微，并称为f(x)在点x=x0处的微分。又因为自变量的增量

等于自变量的微分dx，因此dy可以记作dy=Adx。3.3.2定理与性质1.定理定理一：如果y=f(x)在x=x0处可导，可以推出f(x)在x=x0处可微分，反之也可以推出，那么当这个条件成立时，

19定理二：如果y=f(x)在x0处可微，那么也可写为2.性质运算法则：下列函数u=u(x)，v=v(x)均可导。3.4积分3.4.1定义201.不定积分不定积分是指在区间U内，函数f(x)带有任意常数项的原函数称为f(x)在区间U内的不定积分，记作式中，∫为积分号，f(x)为被积函数，f(x)dx为被积表达式，x为积分变量。2.定积分设f(x)在区间[a,b]上有定义而且有界，在区间[a,b]任意插入若干个点把区间分成n个小区间，每个小区间的长度为21在每个小区间中任取一点作和式该式被称为积分和，取当λ→0时，积分和的极限存在，则称f(x)在[a,b]上可积，称上述极限为f(x)在[a,b]上的定积分。3.4.2定积分定理与性质1.定理定理一：如果f(x)在区间[a,b]上连续，那么必定存在。定理二：假设f(x)在[a,b]上有界，且只有有限个间断点，22那么存在。2.性质(1)若f(x)与g(x)在区间[a,b]上连续，且那么至少存在使得则(2)积分中值定理：设f(x)在区间[a,b]上连续，则至少存在

一点在[a,b]内，使得3.5梯度1.方向导数定理23如果函数在点处可微分，那么函数在该点沿任一方向l的方向导数都存在，且有式中，cosα，cosβ是方向l的方向余弦。梯度的本意是一个向量，表示函数在某点处的方向导数沿该方向取得最大值，也就是说，函数在该点沿此梯度的方向变化最快、变化率最大为该梯度的模。2.梯度定义设二元函数在平面区域D上具有一阶连续偏导数，对于每一个点且点P在区域D内，都会有一个24向量式(3-14)被称为函数在点的梯度，记作或者

，即式中，▽被称为向量的微分算子或者Nabla算子。253.6行列式1.n阶行列式的概念n

阶行列式是所有取自不同行不同列的n个元素的乘积的代数和，其中是1,2，…，n的一个排列。当偶排列时，该项带正号；当为奇排列时，为负号。因此，

26式(3-16)是对n阶行列式求和。2.行列式性质(1)行列式经过转置其值不变：|AT|=|A|。(2)如果行列式的某一行或者某一列有公因子k，可以把k提到行列式外边，表示成k乘以行列式。(3)行列式的两行（或者两列）互换位置，行列式的值变27号。当行列式中有两行或者两列相同时，行列式值为零。(4)如果行列式的某一行（或者某一列）是两个元素之和，那么可以把行列式分成两个行列式之和。如：(5)把行列式的某一行（或者某一列）的n倍加到另一行（或者另一列）行列式的值不变。如：283.7矩阵3.7.1概念1.矩阵的定义将m×n个数排列成m行n列的一个表格，如：则称它为一个m×n的矩阵。特别的，当m=n时，称为n阶方阵。29如果两个矩阵且m=c，n=d，那么称A和B为同矩阵。如果矩阵A和矩阵B对应位置的元素都相等，那么称矩阵A等于矩阵B，记作A=B。2.矩阵的分类设A为n阶矩阵，则(1)零矩阵：当矩阵内所有的元素都为零时，称矩阵为零矩阵，记作O。(2)单位阵：主对角元素都是1，其余元素都为0的矩阵称为单位矩阵，记作En(或者E)。30(3)对角阵：非对角元素都为0的矩阵称为对角阵，记作Λ。(4)对称阵：如果AT=A，即就是aij=aji的矩阵称为对称阵。(5)正交阵：如果满足ATA=AAT=E，则称A为正交矩阵。即AT=A-1。3.7.2矩阵的运算(1)加法：只有同型矩阵才可以相加。如

(2)数乘：k是一个常数，是一个矩阵，常数乘以矩阵可表示为31(3)乘法：当矩阵A的列数等于矩阵B的行数时，矩阵才可以相乘。设A为一个m×t的矩阵，B为一个t×n的矩阵，矩阵A乘以矩阵B的结果是一个m×n的矩阵。(4)转置：矩阵将矩阵A的行列互换位置，得到新的矩阵称为矩阵A的转置矩阵，记作AT。32(1)矩阵的加法：矩阵A，B，C为同型矩阵，则有A+B=B+A，(A+B)+C=A+(B+C)(2)矩阵的数乘：m(nA)=n(mA)，(m+n)A=mA+nA(3)矩阵的乘法：如果矩阵A，B，C满足可相乘的条件(AB)C=A(BC)；A(B+C)=AB+AC；(A+B)C=AC+BC；谨记：AB≠BA。(4)转置矩阵:(A+B)T=AT+BT；(kA)T=kAT(AB)T=BTAT；(AT)T=A333.7.3矩阵运算性质3.8.1定义(1)n维向量：由所构成的一个有序的数组称为n维向量，称为维向量的行向量，称为n维向量的列向量，其中ai,称为n维向量的第i个分量。(2)零向量：在数组所有的分量都为零的向量称为零向量，记作0。(3)向量相等：n维向量

和343.8向量相等，即就是(4)如果向量组v是一个非空集合，且在向量组v中的加法和数乘运算都是闭合的，那么称该向量组为空间向量。3.8.2向量的运算和向量内积的准则1.向量的运算设n维向量则35(1)加法：(2)数乘：(3)内积：如果

那么称向量α与β正交。因为

所以称为向量α的长度。2.向量内积的准则向量内积遵循以下准则：

36373.8.3线性表示与线性相关当且仅当α=0。(1)线性表示：如果n维向量

和β，存在实数

，，使得，则称向量β是向量的线性组合，或者说β可由线性表示。(2)线性相关：如果n维向量，存在不全为零的数，使得38则称向量组线性相关，否则称它线性无关。3.9特征值与特征向量(1)定义：设A为n阶方阵，如果对于λ，存在非零的向量α，使得Aα=λα(α≠0)成立，那么称λ是A的特征值，α是A的对应于λ的特征向量。(2)由Aα=λα(α≠0)，得(λE-A)=0，因此（3-17）式(3-17)为A的特征方程，λE-A称为特征矩阵。393.10随机事件与概率1.概念(1)随机现象：在客观世界中存在两类现象，第一类是在一定的条件下，一定会发生的现象称之为必然现象。例如，每天太阳都会东升西落。第二类是在某一条件下可能发生也可能不发生的现象称之为随机现象。例如，抛硬币，观察正面向上的情况。

(2)样本空间：随机试验的每一个可能出现的实验结果称为一个样本点，随机试验的所有样本点都是明确的，全部的样本点的集合称为样本空间。(3)随机试验的性质：①重复性：在相同的条件下实验是可以重复进行的。②观察性：实验的结果都可以被观察，因此实验的结果都是明确的。③随机性：每一次的实验都不知道哪种实验结果会发生或出现。40(4)随机事件：在进行随机实验当中，会产生可能出现的结果和不可能出现的结果。在进行大量的重复试验之后具有某种特定规律的事件称之为随机事件。

(5)概率的定义：在相同的条件下，进行了n次重复试验，事件A的发生的频率会逐渐在某一个常数p的附近，当实验次数n越大，发生事件A的频率越接近p，则称p为A的概率，记作P(A)。(6)独立性：如果事件A、B满足等式，则称A和B相互独立。2.特点随机事件与概率有如下特点41（4）条件概率（1）（2）（3）（3-18）（5）设随机试验的样本空间为S，A为试验的事件，为S的一个划分，而且，,则称（3-19）为全概率公式。42（6）贝叶斯公式（3-20）（7）正态分布：如果x的概率密度函数为（3-21）式中，x为随机变量。如果方差σ2、随机变量均值μ为常数，则称x是服从参数σ2，μ的正态分布。特别的，当σ=1，μ=0时，称为标准正态分布。433.11范数3.11.1定义1.定义范数是具有“长度”概念的函数。在泛函分析中，常被用来度量向量空间或矩阵中的每个向量的大小或长度。2.特性范数满足以下三个特性：(1)正定性：且(2)齐次性：44(3