神经网络与深度学习 课件 第3章-人工神经网络

神经网络与深度学习第3章人工神经网络3.1脑3.1.1脑的结构和功能3.1.2神经组织3.1.3信息处理和传递3.1.4学习和记忆的神经机制3.2人工神经网络3.2.1人工神经网络的源起3.2.2人工神经网络的发展脉络3.2.3脑与人工神经网络3.3感知机模型3.3.1可学习的感知机3.3.2感知机应用案例实战：利用感知机进行鸢尾花分类3.1脑脑的结构和功能神经系统是机体内起主导作用的系统神经系统分为中枢神经系统和周围神经系统两大部分脑和脊髓组成中枢神经系统脑神经和脊神经构成周围神经系统脑是神经系统中最重要、最大和中枢的部分，几乎控制着人体从生理功能到认知能力的各个方面。3.1脑脑的结构和功能人类成人的脑重约1.4公斤，但其消耗了身体1/5~1/4能量，用以维持其中的物理、化学过程，从而实现感觉、经验和知识等的产生、处理和存储。3.1脑脑的结构和功能脑由前脑、中脑和后脑三部分组成。后脑控制身体的呼吸和心率等重要功能，包括脊髓的上部、脑干和小脑，其中小脑还进行运动协调。脑干上部是中脑，它控制着一些反射动作，并参与控制眼球运动和其他一些自主运动。前脑中脑

后脑右半球左半球额叶顶叶枕叶颞叶小脑脊髓3.1脑脑的结构和功能前脑是脑中最大、也是最发达的部分，包括大脑（又称为端脑）、下丘脑和丘脑。大脑位于脑的最顶层，是智力活动的源泉。大脑由左右两个大脑半球组成，中间通过胼胝体连接。大脑外层是平均厚约2.5mm的大脑皮层，是产生抽象思维的生物基础。前脑中脑

后脑右半球左半球额叶顶叶枕叶颞叶小脑脊髓3.1脑脑的结构和功能每个半球的大脑皮层由分成四个脑叶，分别是额叶、顶叶、枕叶和颞叶。额叶位于前额后面，与言语、计划、推理、问题解决和动作等有关。当我们计划一个时间表，想象未来，或使用合理的论点时，该部分完成了大部分工作，此时额叶充当短期储存场所，允许在考虑其他想法的同时记住一个想法。额叶的最后部是运动皮层，它有助于计划、控制和执行自发运动或有意运动，如移动手臂或踢球。前脑中脑

后脑右半球左半球额叶顶叶枕叶颞叶小脑脊髓3.1脑脑的结构和功能顶叶位于额叶后面，辅助运动以及刺激和方位的感知。当我们享受一顿美餐时，食物的味道、气味和质地在顶叶起作用，阅读和算术也是顶叶的功能。顶叶的前部，运动区域的后面，是躯体感觉皮层。这些区域从身体其他部位接收有关温度、味道、触觉和运动的信息。前脑中脑

后脑右半球左半球额叶顶叶枕叶颞叶小脑脊髓3.1脑脑的结构和功能枕叶位于大脑半球的后部，处理来自眼睛的图像，并将该信息与记忆中的图像联系起来。颞叶位于视觉区域的前面，在顶叶和额叶下面。颞叶的顶部是一个负责从耳朵接收信息的区域。每个颞叶的下侧在形成和检索记忆方面起着至关重要的作用，包括与音乐相关的记忆。颞叶的其他部分还整合了味觉、听觉、视觉和触觉的记忆和感觉。前脑中脑

后脑右半球左半球额叶顶叶枕叶颞叶小脑脊髓3.1脑神经组织神经系统的主要细胞组成是神经元（又称为神经细胞）和神经胶质细胞，数量占比约为1：10。神经元负责信息处理和传递，神经系统所表现出的兴奋、传导和整合等机能都由神经元和神经元组成的神经网络所承担。神经胶质细胞主要起辅助作用，支撑神经元的正常活动。注意：近年的研究表明，胶质细胞可以放大神经信号，在心理计算中起到与神经元一样重要的作用。3.1脑神经组织神经系统包含数百种不同类型的神经元感觉神经元运动神经元中间神经元3.1脑神经组织神经元组成细胞体，一个到数千个接收输入的树突，携带电脉冲的轴突，以及一个轴突末梢。细胞体是神经元的中心部分，包含细胞核，是神经元中大部分蛋白质合成发生的部位。细胞体不参与信息传递，但为信息传递提供必要的能量支持。树突是具有许多分支的细胞延伸，其中神经元的大部分输入都发生在其中。轴突是一种更精细的索状突起，可以延伸数十倍、数百倍甚至数万倍的长度。轴突末梢是与其他细胞连接的轴突的小分支，其功能通常用于将信号传输到其他细胞。3.1脑信息处理和传递神经元内部的信息处理和传递是通过动作电位来实现树突接收来自其他神经元轴突末梢的信号信号以电化学物质的形式呈现。电化学物质改变神经元内部的电位，如果电位差到达一定的程度，即阈值电位,神经元就被激活，发生动作电位，神经元处于激活状态。动作电位导致电脉冲从细胞体开始并沿着轴突向下传播3.1脑信息处理和传递神经元之间通过突触进行信息传递突触：一侧的轴突末梢与另一侧的树突或细胞体之间有一个宽20-40纳米的间隙。突触通常在一个方向上传导信号。它们可以是兴奋性的或抑制性的，分别增加或减少目标神经元的活动。3.1脑信息处理和传递神经元之间通过突触进行信息传递突触传递信息的方式有化学突触和电突触两类。化学突触：动作电位到达轴突末端

打开电压门控钙通道

钙离子进入终端

充满神经递质分子的囊泡与膜融合

内容物释放到突触裂隙中

神经递质扩散穿过突触裂隙并激活突触后神经元上的受体。神经递质是在神经元之间传递的化学分子。某些类型的分子（兴奋性神经递质）促进神经元的激活，而其他分子（抑制性神经递质）则减少激活。神经递质有不同类型，乙酰胆碱对肌肉的控制和激素的分泌、以及认知功能很重要；去甲肾上腺素是交感神经系统功能和“战斗或逃跑”反应的关键；多巴胺有助于调节奖励行为和情绪，以及控制身体运动；血清素在睡眠的启动和食欲中发挥作用。3.1脑学习和记忆的神经机制心理学家认为：学习是人和动物依赖于经验来改变自身行为以适应环境的神经过程，即获取新知识和新信息的过程；记忆则是对获得的信息编码、储存、巩固和再现的神经过程。赫伯提出：细胞集合（cellassembly）和赫伯规则（Hebbrule）《行为的组织：神经心理学理论》（TheOrganizationofBehavior：ANeuropsychologicalTheory，1949年3.1脑学习和记忆的神经机制细胞集合（cellassembly）对刺激的表征由所有被这一刺激同时激活的神经元实现，这群神经元为细胞集合，细胞集合内所有神经元彼此交互联系；集合内神经元的连接遵循赫伯规则。赫伯规则（Hebbrule）当细胞A的轴突足够接近以激发B细胞并以重复和持续的方式参与其激活时，某种类型的生长过程或代谢变化发生在一个或两个细胞中，从而提高细胞A在激活B中的效率；简而言之，就是一起激活的神经元连接在一起。3.1脑学习和记忆的神经机制长时程增强(long-termpotentiation，LTP)和长时程抑制（longtermdepression，LPD）1973年，布利斯（TimBliss）和洛莫（TerjeLomo）发现，短暂的高频电刺激进入海马的神经通路，可以引起这条通路上的突触传递效能持续增强，这一效应即为LTP。LTP的发现证实了赫伯规则。LTP和突触传递效能降低的长时程抑制统称为突触可塑性。由少量刺激引起的长时程增强和抑制产生的记忆只能持续1-2小时，持续的刺激可以维持1天甚至更多，但要产生更长期的记忆，往往需要新蛋白质的合成和新突触的形成。3.2人工神经网络人工神经网络的源起图灵机（Turingmachines）图灵机由一条无限长的纸带和一个控制器组成。纸带用作信息存储，上面有一个个小方格，每个小方格可以存储一个符号。控制器有一个读写头，可以沿着纸带一次一格左右移动，并读取或改变纸带上方格中的符号。每一时刻，图灵机处于有限个状态中的一个状态，该状态被记录在控制器的状态寄存器中。图灵机还有一个指令表，指令表指导控制器根据当前所处状态以及当前读写头所指方格上的符号来确定读写头下一步的动作，并改变状态，令机器进入一个新的状态。3.2人工神经网络

3.2人工神经网络人工神经网络的源起实现M-P模型importnumpyasnp

deflinear_threshold_gate(dot:int,T:float)->int:#返回阈值输出

ifdot>=T:

return1

else:

return0

#输入矩阵input_table=np.array([[0,0],#0OR0[0,1],#0OR1[1,0],#1OR0[1,1]#1OR1])#权重数组赋初值weights=np.array([1,1])

#输入和权重的点积dot_products=input_table@weightsprint(f'Dotproducts:{dot_products}')

T=1foriinrange(0,4):activation=linear_threshold_gate(dot_products[i],T)

print(f'Activation:{activation}')3.2人工神经网络人工神经网络的源起生物神经元与M-P模型M-P模型是第一个基于生物神经元提出的计算模型，而且是图灵完备的。只要有足够的内存和时间，如果机器可以解决任何复杂度的任何计算问题，我们称之为图灵完备的。生物神经元M-P模型树突输入突触权重细胞体节点膜电位加权和动作电位阈值轴突输出3.2人工神经网络人工神经网络的发展脉络3.2人工神经网络脑与人工神经网络

人脑浅层人工神经网络深层人工神经网络神经元数量约860亿个神经元10~1000个神经元>1000个神经元连接数量约100万亿约10万>100万（GPT-4约1.8万亿）学习可以容忍不明确的信息需要精确、结构化数据应对不明确信息可以容忍部分不明确信息和非结构化数据拓扑结构异步连接的复杂拓扑结构层之间同步连接、树状结构同步连接、树状结构与循环、残差等连接并存能耗很小（约20瓦）大的耗能高耗能3.2感知机模型

3.2感知机模型

3.2感知机模型可学习的感知机实现“与”运算importnumpyas

np

classPerceptron(object):#定义感知机

def__init__(self,input_size):

self.W=np.zeros(input_size)#权重初始化为0

self.b=0#偏置初始化为0

self.errors=[]#误差

defactivation_fn(self,x):#定义激活函数

returnnp.where(x>=0.0,1,0)

defpredict(self,x):#定义预测z=np.dot(x,self.W)a=self.activation_fn(z+self.b)

returna

deftrain(self,X,y,eta=0.01,epochs=20):#定义训练

fortinrange(epochs):#epochs个轮回err=0

forxj,targetinzip(X,y):delta=eta*(target-self.predict(xj))

self.W+=delta*xj

self.b+=deltaerr+=int(delta!=0.0)

self.errors.append(err)

return

self

X=np.array([[0,0],[0,1],[1,0],[1,1]])#逻辑运算可能的输入组合y=np.array([0,0,0,1])#对应输入组合的逻辑与计算值，标签

perceptron=Perceptron(input_size=2)#实例化感知机perceptron.train(X,y)#训练print('Weights:',perceptron.W,'Bias:',perceptron.b)

forxjinX:pre=perceptron.predict(xj)print(xj[0],'and',xj[1],'=',pre)#输出当输入为xj时对应的预测值3.2感知机模型可学习的感知机实现“与”运算importnumpyas

np

classPerceptron(object):#定义感知机

def__init__(self,input_size):

self.W=np.zeros(input_size)#权重初始化为0

self.b=0#偏置初始化为0

self.errors=[]#误差

defactivation_fn(self,x):#定义激活函数

returnnp.where(x>=0.0,1,0)

defpredict(self,x):#定义预测z=np.dot(x,self.W)a=self.activation_fn(z+self.b)

returna

deftrain(self,X,y,eta=0.01,epochs=20):#定义训练

fortinrange(epochs):#epochs个轮回err=0

forxj,targetinzip(X,y):delta=eta*(target-self.predict(xj))

self.W+=delta*xj

self.b+=deltaerr+=int(delta!=0.0)

self.errors.append(err)

return

self

X=np.array([[0,0],[0,1],[1,0],[1,1]])#逻辑运算可能的输入组合y=np.array([0,0,0,1])#对应输入组合的逻辑与计算值，标签

perceptron=Perceptron(input_size=2)#实例化感知机perceptron.train(X,y)#训练print('Weights:',perceptron.W,'Bias:',perceptron.b)

forxjinX:pre=perceptron.predict(xj)print(xj[0],'and',xj[1],'=',pre)#输出当输入为xj时对应的预测值3.2感知机模型感知机应用案例实战：利用感知机进行鸢尾花分类问题描述选取鸢尾花数据集中的山鸢尾（setosa）和变色鸢尾（versicolor），多分类可以在二分类的基础上进行。花的特征选取花萼（sepal）长度（特征0）和花瓣（petal）长度（特征1）。3.2感知机模型应用案例实战：利用感知机进行鸢尾花分类实现importpandasaspdimportmatplotlib.pyplotaspltfrommlxtend.plottingimportplot_decision_regions#利用Pandas库处理数据df=pd.read_csv('/ml/machine-learning-databases/iris/iris.data',header=None)

#山鸢尾和变色鸢尾y=df.iloc[0:100,4].valuesy=np.where(y=='Iris-setosa',0,1)

#花萼长度和花瓣长度X=df.iloc[0:100,[0,2]].values

#实例化感知机模型perceptron=Perceptron(input_size=2)

#绘制训练过程中错误分类数的变化曲线plt.plot(range(1,len(perceptron.errors)+1),perceptron.errors,marker='o')plt.xlabel('训练轮回（Epochs）')plt.ylabel('错误分类（Misclassifications）')plt.show()

#绘制分类器的决策边界perceptron.train(X,y,eta=0.1,epochs=10)print('Weights:%s'%perceptron.W)plot_decision_regions(X,y,clf=perceptron)plt.title('Perceptron')plt.xlabel('花萼（sepal）长度[cm]')p