人工基础智能 2

课堂设计一、基本信息课次第5讲课次学时数2学时主题神经网络基础二、设计方案课堂目标（一）知识目标能阐述M-P神经元模型的基本概念；能描述感知器的基本思想和学习规则；能描述BP算法的基本思想和主要过程；能简述神经网络再次崛起的前提条件。（二）能力目标能梳理神经网络的发展脉络，能用M-P神经元模型、感知器求解基本分类问题。（三）素质目标能通过学习神经网络的起落发展，增强面对困难时坚持不懈、勇于探索的意志品质。教学重难点（一）教学重点感知器、BP算法的基本思想。（二）教学难点感知器的计算过程。教学设计思路（一）教学内容组织1.神经网络的模型-MP神经元模型和感知器。2.神经网络的学习方法-BP算法。3.神经网络再次崛起-深度神经网络。（二）教学方法策略1.教学思路与方法采用启发式教学方法，通过分析生物大脑思维过程，引出M-P神经元模型。采用研讨式教学方法，通过探讨神经网络参数变化，逐步递进，分析Hebb学习、感知器的优缺点，促进学员对算法过程的深入理解。采用案例式教学方法，通过三层神经网络示例讲解方向传播算法方法；对比分析各种激活函数优缺点，启发思考、逐层分析。梳理神经网络发展的历史脉络，列举重大事件，介绍神经网络的起源、衰落及再次崛起的过程。2.课程思政设计通过介绍华人科学家在神经网络发展中取得的突破性成果，鼓励学员投身人工智能建设浪潮。3.军事特色通过军事案例分析，树立应用神经网络解决军事问题的意识。教学资源1.头歌（Educoder）平台在线资源2.《人工智能技术及其军事应用》在线课程——教案主页内容组织与过程设计备注课堂导入随着神经科学、认知科学的发展，我们逐渐知道人类的智能行为都和大脑活动有关。人类大脑是一个可以产生意识、思想和情感的器官。然而，大脑神经系统无论从构造和功能来讲，都称得上是一个非常复杂的巨系统。许多科学家尝试模仿大脑思维过程，实现人工智能。理论讲授一、神经网络的模型——MP神经元模型和感知器教学目标1：能阐述M-P神经元模型基本概念，能描述感知器的基本思想和学习规则。（一）神经元及M-P模型神经细胞是构成神经系统的基本单元，即神经元。在人类的大脑皮层中存在数百亿个神经元，每个神经元有上千个突触和其他神经元相连接。神经元作为大脑基本的信息处理单位，可以独立产生、接收、处理和传递信号。神经元主要由细胞体、轴突和树突3个部分组成。树突可以接受刺激并将冲动传给细胞体，是接受器。每个神经元可以有一或多个树突。轴突可以把自身的兴奋状态从胞体传送到另一个神经元或其他组织，是发射器。每个神经元只有一个轴突。细胞体是神经细胞的本体，当细胞体所获得的输入信号的积累超过某个阈值时，神经元就处于兴奋状态，产生电脉冲。否则，神经元处于抑制状态。脉冲沿着轴突并通过轴突终端传递到其他神经元。信号是通过轴突终端之间的化学反应来传递的。每个神经元都可以通过不断激励的方式，与成百上千个神经元建立连接并发送信号。神经元的结构相差不大，但是每个人的思维相差很大。原因在于：1、不同神经元之间的突触有强有弱，其强度是可以通过学习（训练）来不断改变的，具有一定的可塑性；2、在人脑中，神经元如何组成神经网络。大脑可以完成很多复杂的工作，人工神经网络就是通过模拟生物大脑的结构和功能构成的一种信息处理系统。1943年，心理学家麦卡洛克McCulloch和数学家皮兹Pitts从人脑信息处理的观点出发，概括了生物神经元的一些基本生理特性，抽象了第一个神经网络的运算模型，即神经元的阈值元件模型，简称M-P模型。如图，假设有d个输入𝑥1,𝑥2,⋯,𝑥d，一个神经元汇聚这些信号后，判定其与当前神经元的阈值b的大小关系，继而产生输出信号y。阈值b可以视为神经元被激活的难易程度。因为神经元之间传递信号还会有权重，所以在接收端乘以一个系数。系数大权重越高。系数小权重就低。sgn是符号函数，输出-1或1，以此实现二值输出，模拟生物神经元的兴奋或抑制两种状态。M-P模型的形式化表述为：M-P模型是从逻辑功能的角度来描述神经元的。在M-P模型中，脑细胞的活动就像开关，细胞可以按各种方式相互结合，进行各种逻辑运算。因此，用于逻辑运行的网络也可以模拟大脑的工作方式，由一些结点相互联系，从而构成一个简单的神经网络模型。M-P模型指出了神经元的形式化数学描述和网络结构方法，开创了对人工神经网络的理论研究。此模型沿用至今，为以后的研究工作提供了依据。举例：以耐力、力量和敏捷性作为主要评估指标来初步评估士兵是否适合进行某项高强度训练任务根据经验设置参数，对第一个士兵，适合进行训练任务。对第二个士兵，不适合进行训练任务。需要注意的一点时，MP模型虽然可以模拟神经元的行为，但它有一个很大的局限性：权重是固定的，无法通过数据自动调整。讨论：M-P模型固定权重是否合理？应当如何调整？（二）Hebb学习巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。受该实验的启发，1949年，加拿大著名生理心理学家DonaldHebb在提出Hebb学习规则，用来描述神经元的行为是如何影响神经元之间的连接的。Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱。为突触前一个神经元i和突触后一个神经元j的连接权重在第t步迭代时的权重，为在第t+1步的权重，突触即连接关系；为学习率；为神经元i的输出，为神经元j的输出。根据连接关系，也是神经元j的输入。根据Hebb学习规则，有：可见，当神经元和同时为正或者为负时，说明二者的激活状态的是同步的，因此连接权重增加；反之，若两个神经元输出为一正一负时，说明二者为异步激活状态，连接权重降低。若某一个神经元的输出为0，说明该神经元处于未激活状态，相应的，权重不进行更新。比如我们想要识别一只猫，有一些神经元是识别“猫耳朵”、“猫鼻子”、“猫脸”、“猫尾巴”。如果这个图像中真的有猫，那么这些和猫有关的神经元都会被激活——而且往往是会一起激活！（因为一只猫肯定会有猫的专有的特征，如果猫显示不全，那么图中有什么猫的特征，就会有与之相关的神经元被激活）Hebb学习规则将神经网络和机器学习联系起来，并且这一思想与生物神经元的条件反射一致，为人工神经网络的训练奠定了基础。讨论：Hebb学习仅考虑了相邻神经元之间是否合理？（三）感知器1957年，就职于康奈尔大学航空实验室的FrankRosenblatt，发明了感知器模型。感知器是人工神经网络的第一个实际应用，标志着神经网络进入了新的发展阶段。目标：不仅模拟神经元的行为，还试图实现一种可以学习的机器学习模型。定义：感知器是一种二分类的线性分类模型，通过学习输入特征与类别之间的关系，自动确定一个决策边界，以实现对新数据的分类预测。感知机的数学表达和M-P模型是一致的，其最大的改进就是引入了学习能力。用误差本身，反向调整网络中的权重和偏置，使得网络的输出更接近真实值。感知器的学习规则：1、初始化：权重w和偏置b初始化为零或随机值。2、前向传播：对于输入样本x计算输出y。3、误差计算：比较感知器数据输出y与真实值y，计算误差L=(y-y)。4、权重更新：根据误差更新权重和偏置。，理解:如果输出正确，什么也不做；如果输出高了，在活动的单元上降低权值；如果输出低了，在活动的单元上提高权值。举例：训练一个感知器模型，用于区分两类军事装备：坦克（标签1）和火炮（标签-1）。每个装备的图像经过处理后，提取出两个特征：履带出现次数（x1）和炮管长度（x2）。解：初始化参数，处理样本1处理样本2处理样本3更新权重和偏置处理样本4再次检验样本1、2、3，确定分类正确。思考：以图像的形式观察感知器分类面变化。FrankRosenblatt通过软件实现感知器后，开始构建硬件版本的3层感知器MarkI计算机。Mark-I由联结到神经元的400个光电细胞组成，可以将输入的光学信号（例如英文字符）转化为电信号，再通过物理电缆将其与字母分类的神经元层相连。通过不断学习，Mark-I最终可以识别图像是男人或者女人，左箭头或者是右箭头。我们可以看到它的每个权重真的就是用一根线来进行连接的，所以它真的是一个特别巨大的模型。由于当时的技术限制，基于物理实现的感知器是比较罕见的。这种用于图像识别的系统受到了各方的关注,并因此从美国海军获得了大量资金。罗森布拉特对感知器寄予厚望，对人工智能神经网络的研究持十分乐观的态度，他乐观地认为突破即将到来。然而，令人始料未及的是，神经网络的低潮正悄悄接近。二、神经网络的学习方法——BP算法教学目标2：能描述BP算法的基本思想和主要过程，能简述BP算法方法的优缺点。（一）BP算法的萌芽1969年，明斯基出版《感知器》，指出神经网络两个缺陷：第一，感知器无法处理异或问题；第二，当时的计算机无法处理大型神经网络所需要的算力。因此感知器是没有未来的。这是一本非常严谨的专著，影响力很大。一般的读者未必能理解书中的推理及其前提限制，可能就会得到一个简单的结论：神经网络都是骗人的。这一书的出版，无疑给神经网络的研究浇了一盆冷水。小结：各种模型存在的问题？M-P模型没有学习规则；Hebb学习不稳定；单个感知机的能力是有限的；多层感知机并没有找到有效的训练算法。突破来自反向传播算法。直到1974年，哈佛大学的PaulWerbo博士，在其博士论文中提出了影响深远的BP(backpropagation)神经网络学习算法。Werbos提到了将此应用于人工神经网络（ArtificialNeuralNetwork，ANN）的可能性。然而，由于此时正值神经网络低潮期，这项研究并未受到应有的重视。1982年，DavidParker重新发现BP神经网络学习算法，但都没有引起人们的重视，并未唤起人们对人工神经网络研究的兴趣。1986年，DavidE.Rumelhart、GeoffreyE.Hinton和RonaldJ.Williams发表文章Learningrepresentationsbyback-propagatingerrors，展示了这个方法可以根据输入数据适用隐含层来表示内在的联系重新报道了BP神经网络学习算法，引起了人们对BP算法的重视。（二）BP算法的运行BP算法是一种用于训练神经网络的优化算法。通过正向传播和反向传播相结合进行学习。通过计算误差的梯度，反向调整网络中的权重和偏置，使得网络的输出更接近真实值。使用误差反向传播算法训练神经网络可以分为以下四步：1、前向传播：输入通过网络，计算输出。2、误差计算：比较网络数据输出与真实值，计算误差。3、反向传播：将误差从输出层向输入层传播，计算每个权重的梯度。4、权重更新：使用梯度下降法更新权重和偏置。，讨论：BP算法与感知机有何差异？讨论：BP算法的优点与缺点？讨论：激活函数的改进？1989年，GeorgeCybenko证明了“万能近似定理”（universalapproximationtheorem），即多层前馈网络可以近似任意函数。对于具有单隐层、传递函数为sigmoid()的连续型前馈神经网络,只要隐层神经元的个数足够多,网络可以以任意精度逼近任意复杂的连续映射。这就从根本上消除了Minsky对神经网络表达力的质疑。BP算法大获成功，引起了人们对神经网络的极大兴趣。在80年代到90年代中期，数以百计的新模型被提出来，比如Hopfield网络、自组织特征映射（SOM）网络、双向联想记忆（BAM）、卷积神经网络、循环神经网络、玻尔兹曼机等。物理学家也带来了很多新方法和新概念，如协同学习、模拟退火、随机场、平均场和各种从统计物理学中借鉴过来的概念。今天探索过的很多想法当时都探索过，诸如自动控制、股市预测、癌症诊断、支票识别、蛋白质分类、飞机识别，以及非常多的军事应用等，都有成功的案例。（三）BP算法在当时遇到的困难不曾想神经网络的二次崛起来得快，走得更快，也只花了几年时间，就又遇到了“第二代终结者”。BP算法遇到的困难：1、首先就是“参数过多，影响训练”。训练一个规模不算很大的神经网络花上几天时间是很正常的。为什么这么慢呢？全连接的前馈网络，参数空间维数大幅增加，导致了维度灾难（TheCurseofDimensionality），参数组合的数量呈指数增长。而预测的精度与空间维数的增加反向相关，在20世纪90年代有限的算力支持下，规模稍大的问题就解决不了。2、维度灾难的另一个后果是泛化问题。比如训练一个手写数字识别器，稍微变化一下图像可能就识别不了了。3、BP算法计算得到的参数解释起来比较困难。再一次，“极高的期待导致极度的怀疑”，未能兑现的承诺导致了资金的快速撤离和学术热情的大幅下降。几乎所有的神经网络公司都关门了。然而黑夜之中始终有人在坚守，这为神经网络的再次崛起保留了火种。三、神经网络再次崛起——深度神经网络教学目标3：能简述神经网络再次崛起的前提条件，能举例深度神经网络的重大突破的标志性事件。（一）数据、算力、算法的发展数据的发展：在当今时代，科技以前所未有的速度持续进步。信息技术的革新使得数据的存储和传输变得更加高效和稳定，通信技术的升级打破了地域和时间的限制，计算技术的提升则增强了数据处理和分析的能力。综合这些因素，使得我们在获取数据的过程中，不再受限于传统的繁琐流程和有限的渠道。我们能够更加方便地从各种数据源，如网络平台、传感器设备、数据库等，获取各种各样的数据。这些数据不仅在数量上呈现出爆发式增长，而且在种类上也日益丰富，涵盖了文本、图像、音频、视频等多种形式，为神经网络的发展提供了坚实的数据支撑。算力的发展：2007年Nvidia推出名叫CUDA的并行计算软件开发接口，使开发者可以更方便的使用其GPU开发应用软件。多位研究者撰文表示，对于特定工作，NVIDIA的GPU带来的相对于Intel的CPU的计算速度提高，达到100-300倍。算法的发展：2006年在神经网络领域具有里程碑意义。Hinton提出了DeepBeliefNets，并改进了神经网络预训练方式，通过层层预训练的方式，使得深度神经网络的训练变得可行。各种改进技巧进一步提升了神经网络的性能。（二）深度神经网络的重大突破2010年，MicrosoftResearch研究团队首次将深度神经网络应用于语音识别任务。使用DNN替换传统的高斯混合模型（GMM），显著提高了语音识别的准确率。2012年,AlexNet卷积神经网络在ImageNet图像分类竞赛任务中以大幅优势取得了冠军,卷积神经网络在图像分类中取得了巨大成功。2016年3月AlphaGo约战了韩国围棋高手李世石,并以4∶1的成绩取得了胜利。2017年5月升级版AlphaGo以3∶0的成绩战胜当时的围棋第一人柯洁。2018年，AlphaStar以5比0的比分，击败了世界上最强大的职业星际争霸玩家温施。2019年，在多人对战游戏Dota2中，OpenAIFive以5比0的比分，击败世界冠军OG。2017年，Google发表了文章《attentionisallyouneed》，开创性地提出了在序列转录领域，依赖attention结构的简单的网络架构transformer，在自然语言处理（NLP）领域掀起了革命。2022年年底，OpenAI推出一种人工智能技术驱动的智能聊天机器人ChatGPT。该模型利用真实世界中大量的语料数据进行训练，使得ChatGPT上知天文、下知地理,还能根据聊天的上下文进行互动,具有与真正人类几乎无异的聊天能力。2024年诺贝尔物理学奖授予了约翰·霍普菲尔德（JohnHopfield）和杰弗里·辛顿（GeoffreyHinton），以表彰他们在神经网络和人工智能（AI）领域的开创性贡献。这一奖项的宣布标志着神经网络研究及其在人工智能中的应用被正式确认为对物理学和科学的重大贡献，进一步推动了人们对神经网络在广泛领域中的影响力的认识。2024年诺贝尔化学奖授予了DavidBaker、DemisHassabis和JohnM.Jumper，以表彰他们在蛋白质结构预测领域的开创性贡献，尤其是在将人工智能（AI）与计算化学相结合，推动蛋白质结构研究取得革命性进展。通过这一突破，科学家们得以以前所未有的精度预测蛋白质的三维结构，极大地加速了生物医学研究和药物开发的进程。（三）华人学者的成就李飞飞创建了ImageNet数据集，为深度学习和人工智能的发展提供了关键的大规模数据集和基准测试，为AI图像识别系统奠定了基础，推动了无人驾驶、智能相机等技术的发展。贾扬清是深度学习框架Caffe的创始人，为深度学习的研究和应用提供了重要的工具和平台，推动了AI技术在学术界和工业界的广泛应用。何恺明及其团队提出了ResNet模型，通过引入残差连接的方式，有效地缓解了深度神经网络中梯度消失的问题，使得模型的性能得以大幅提升。梁文峰是深度求索（DeepSeek）公司的创始人，DeepSeek是一家专注于人工智能技术研发的公司，以低训练成本、高性能、免费开源等特点在AI领域引发广泛关注并取得突出成绩。军事应用：为推动人机对抗智能技术研究，中科院自动化所开放“庙算·智胜”战术兵棋即时策略人机对抗平台。该平台曾用于“先知·兵圣”智能博弈对抗系列赛事，具有平台开放、在线对抗、技术共享的特点：平台开放、在线对抗、技术共享。国防科技大学举办了“慧眼行动”·首届全国智能算法对抗挑战赛，由军委装备发展部和国防科技大学科研部指导，国防科技大学系统工程学院主办。大赛充分发挥慧眼行动的群智众创平台优势，遴选优质算法，挖掘优秀团队，打造军事智能攻防对抗开源开放平台，引领军