人工智能课件 第2章 人类大脑与人工神经网络

第2章

人类大脑与人工神经网络1伦敦出租车司机的大脑大脑不是“固定硬件”。两万多条街道、无数地标方位、2–4年训练。这些出租车司机的大脑海马体体积明显大于常人。长期训练与海马体变化相联系。大脑会随着经验重新组织连接。2神经元从“看不见”到“看得见”19世纪末，大脑结构仍是黑箱。高尔基染色法让少量神经细胞被银盐染黑，第一次在显微镜下显现出清晰轮廓。网状理论：大脑中的神经细胞是彼此连成一体的庞大网络，像一张没有缝隙的蜘蛛网。卡米洛·高尔基（1843-1926），意大利细胞生物学家、解剖学家、诺贝尔生理学或医学奖的获得者、现代神经科学奠基人。右图为他绘制的神经细胞插图。3卡哈尔的神经元学说圣地亚哥·拉蒙-卡哈尔（1852-1934），西班牙病理学家、组织学家、神经学家、诺贝尔生理学或医学奖的获得者。右图为他绘制的人类小脑中的浦肯野神经元。改进高尔基染色法，发现神经细胞之间并不是连续的整体。大脑由离散神经元组成，神经元之间通过突触连接。这一发现为人工神经网络提供了关键灵感。4生物神经元神经元是大脑中的核心处理单元。树突≈输入数据线。轴突≈输出数据线。突触≈可调电阻/放大器。连接强度能被经验改变。树突轴突突触赫布法则：一起激发的神经元，会连在一起。5赫布法则：一起激发，就会连在一起训练前训练后反复练习共同激活“Neuronsthatfiretogether,wiretogether.”如果两个神经元经常同时活跃，它们之间的突触连接就会变强。如果两个神经元很少一起活跃，连接就会变弱甚至消失。这就是大脑通过“共现=相关”来自动建立关联、形成记忆、通路、表征的基本机制。6赫布法则：一起激发，就会连在一起训练前训练后反复练习共同激活“Neuronsthatfiretogether,wiretogether.”学习是改变神经元之间的连接模式和连接强度。音乐家长期练习：手指动作和听觉相关脑区持续强化。学习新技能：相关突触连接的强度与分布被重塑。人工神经网络借鉴这一点，训练就是不断改连接权重。7大脑是如何看见的？休伯尔与威塞尔的猫视觉实验视觉皮层对光线条纹有选择性反应。有的神经元对垂直线敏感。有的神经元对水平线敏感。简单特征逐级组合，形成复杂物体识别。光点/边缘初级特征方向/纹理局部组合形状/部件中级模式物体识别高级表征8从生物神经元到人工神经元把连接强度变成可训练的权重。输入：来自外界或上一层的信号。权重：每条连接的重要性。激活函数：决定输出是否被激活。9人工神经元

输入特征

连接权重

偏置

激活函数

先加权求和，再由激活函数做判断。1011感知机的诞生弗兰克·罗森布拉特（1928-1971），美国心理学家，感知机的创造者，人工神经网络领域的先驱。他正在展示MarkIPerceptron。感知机让研究者第一次看到机器模仿大脑学习的希望。感知机是一个简化的神经元：接收输入信号分配权重与偏置超过阈值则输出1，否则输出012感知机如何学习？输入样本猫/狗图片给出预测输出0/1比较答案是否判断错误调整参数权重与偏置更新13线性可分：感知机擅长画一条直线区分两类鸢尾花用花瓣长度和宽度作图，如果两类样本能被一条直线分开，感知机就可以学到这条边界。感知机的几何意义是学习一条线性决策边界。14哪些任务线性可分？任务A任务B15感知机的局限

感知机无法解决最简单的非线性问题，例如异或（XOR）逻辑。XOR需要弯曲边界或组合边界。这暴露出单层感知机的表达能力上限。16从希望到寒冬1958MarkIPerceptron带来机器学习想象1969《感知机》指出XOR等局限70s–80s算力、数据、资金共同受限之后多层网络与反向传播重新点燃希望人工智能的第一个寒冬单层模型无法解决非线性问题。硬件算力有限，训练复杂网络成本高。数据资源匮乏，难以支撑大规模学习。17多层网络：隐藏层让模型表达复杂模式

单层不够→加隐藏层隐藏层把简单边界组合成复杂边界。新的难题：参数数量增加，如何训练上千甚至上万个参数？18反向传播（Backpropagation）大卫·鲁梅尔哈特（1942-2011）、杰弗里·辛顿（1947-）与罗纳德·威廉姆斯（1945-2024）19反向传播（Backpropagation）1前向传播输入→隐藏层→输出2误差计算预测结果vs真实答案3反向传播逐层追问“谁该负责”反向传播计算责任：每个参数对误差的责任值，即梯度。误差像水流从输出层倒流回输入端，逐层追问责任。20梯度下降（GradientDescent）梯度下降执行修正：按责任大小更新参数。误差函数像一片起伏的山谷，高处误差大，低处误差小。训练即是让误差接近谷底。梯度是当前所处位置坡度的方向。21从感知