《机器学习Python实战》课件 20-项目10 神经网络原理讲解

机器学习Python实战

项目10神经网络基础与应用实战目录CONTENTS0110.1.1神经网络的起源发展史脉络·生物神经元与人工神经元结构·核心特性0210.1.2神经网络的原理激活函数·单层/多层感知机结构·神经元的计算0310.1.3神经网络的决策过程加权输入+偏置+激活判定·实例：看演唱会决策神经网络基础与应用实战·10.1项目知识准备10.1.1神经网络的起源从M-P模型到深度学习：神经元如何启发神经网络10.1.1神经网络的起源·神经网络发展史1943M-P模型McCulloch&Pitts提出形式神经元，奠定ANN形式化基础1957感知机Rosenblatt首个带学习规则的线性二分类模型1969XOR瓶颈Minsky证明单层感知机不能解决非线性可分，研究低谷1986BP算法Rumelhart/Hinton/Williams误差反向传播，重振MLP2006深度学习复兴Hinton逐层预训练DBN，重燃深度学习2012AlexNet8层CNN，top-5错误率15.3%，验证深度+大数据+GPU2020GPT-31750亿参数，展现规模效应与零样本能力2022ChatGPTRLHF指令对齐，两月月活破亿2024多模态大模型GPT-4o/Claude-3/Gemini原生多模态、长上下文10.1.1神经网络的起源·生物神经元结构生物神经元是人工神经网络的原始抽象对象，信号处理如同高效有序的“接力赛”。1树突Dendrite多级分支短突起，表面积最大；接收化学信号（神经递质）并转为局部电信号。▸接收·像天线2胞体Soma含细胞核；时空整合所有突触电位，轴丘产生动作电位的初始段。▸整合·指挥中心3轴突Axon单根细长突起，外覆髓鞘提高传导速度；末端经突触释放递质。▸传递·像电缆4突触→下一神经元神经递质“跳”到下一个神经元，信号一路传递，完成应急反应。▸接力·信号延续10.1.1神经网络的起源·人工神经元模型①输入单元接收外部信号向量x②加权整合单元Σwᵢxᵢ，模拟突触可塑性③激活函数非线性映射，输出判定④输出单元产生神经元最终输出y人工神经元是对生物神经元信息处理机制的高度形式化抽象，其结构可分解为四个核心组成部分：10.1.1神经网络的起源·人工神经网络核心特性人工神经网络具备数据驱动、自适应优化的核心能力：①非线性映射能力在足够网络规模与合适激活函数下，可逼近任意连续函数关系。②强大的计算处理能力适用于高维数据处理与实时决策等实际复杂问题。③样本识别与分类能力在图像识别、语音识别、自然语言处理中表现出色。10.1.2神经网络的原理激活函数、感知机结构与神经元计算10.1.2神经网络的原理·激活函数激活函数是人工神经元中的核心非线性运算单元，其作用类似于一个可微的“开关”，负责将神经元接收到的加权输入信号映射为输出信号。1提供非线性若无激活函数，多层网络仍等效线性变换，无法逼近非线性决策边界。2模拟生物机制模拟轴丘“全或无”发放，对输入进行选择性响应。3优化表示空间拉伸数据分布，增强梯度反向传播能力。4抑制噪声保留有助于任务的高阶特征，提升表达与泛化能力。10.1.2神经网络的原理·常用激活函数对比激活函数输出范围是否零均值梯度问题适用/缺点Sigmoid(0,1)否两端饱和→梯度消失适合概率输出；非零均值致梯度同向tanh(−1,1)是大输入仍梯度消失优于Sigmoid；仍可能梯度消失ReLU正线性/负为0否(可缓解)正区间恒梯度，缓解消失应用最广；可能“神经元死亡”改进版：LeakyReLU/ELU/Swish优化梯度稀疏性；Transformer中常用GELU、GLU类门控激活。10.1.2神经网络的原理·单层与多层感知机单层感知机仅输入层+输出层（一个M-P模型），无隐藏层→本质是线性分类模型。多层感知机(MLP)输入层与输出层间加入1+隐藏层；层间全连接→具备非线性表达能力。10.1.2神经网络的原理·神经元的计算v=wᵀx+b加权和+偏置y=f(v)经激活函数输出符号说明wn维权重向量，符号/大小模拟突触兴奋/抑制及其强度b偏置项，表达决策中的固有倾向xn维输入特征向量vn个输入的加权和f(v)激活函数y一个神经元的最终输出10.1.3神经网络的决策过程加权、偏置与激活：一次完整的决策10.1.3神经网络的决策过程·决策流程综合加权和与偏置，经激活函数（阈值）判定，输出类别1或0。输入特征x₁…xₙ赋权重反映重要性加权求和Σwᵢxᵢ线性组合+偏置b表达固有倾向激活函数f(v)阈值判定加权和+偏置>阈值?是→输出1（正类）否→输出0（负类）10.1.3神经网络的决策过程·实例：小芳看演唱会x₁工作按时完成方案Aw=0.5方案Bw=0.3x₂男友一起去方案Aw=0.2方案Bw=0.2x₃演唱会口碑好方案Aw=0.3方案Bw=0.5方案A0.5×0+0.2×1+0.3×1=0.50.5<0.6（阈值）⇒不去看演唱会方案B0.3×0+0.2×1+0.5×1=0.70.7>0.6（阈值）⇒去看演唱会阈值与偏置•设定阈值（如0.6）：综合结果大于阈值输出1，否则输出0。•偏置项b：可代表“与男友亲密程度”，b越大则综合结果越大，倾向去看。10.1项目知识准备·核心要点10.1.1神经网络的起源▪发展史：1943M-P→1957感知机→1986BP→2012AlexNet→2024多模态▪生物神经元：树突/胞体/轴突▪人工神经元：输入/加权整合/激活/输出▪核心特性：非线性映射·计算能力·识别分类10.1.2神经网络的原理▪激活函数：非线性“开关”，避免退化为线性▪Sigmoid/tanh/ReLU各有适用与局限▪单层感知机→多层感知机（加入隐藏层）