1.1-b-神经网络理论及应用-绪论

神经网络理论及应用2024-09-09北京工商大学计算机与人工智能学院廉小亲00教材、MOOC等教学资源廉小亲，吴静珠，高超，郑彤.神经网络理论及应用，清华大学出版社，2025.韩力群，施彦.人工神经网络理论及应用，机械工业出版社，2018.施彦，韩力群，廉小亲.神经网络设计方法与实例分析，北京邮电大学出版社，2010廉小亲，吴静珠，韩力群，张洁，高超，神经网络理论及应用MOOC，清华学堂在线，神经网络理论及应用-学堂在线()学习。

/MATLAB、python等00考核方式平时（40%）：上机实验报告、实验情况、出勤、课堂讨论情况、学堂在线（雨课堂）等。期末成绩60%00其它有关事项学时：32学时（其中实验10学时）性质：必修讲课：概念、方法实验：5个自学：MATLAB神经元网络工具箱或python考试：基本概念，简答、计算等。授课计划联系方式：廉小亲：lianxq@263.net其它有关事项授课计划其它有关事项神经网络理论及应用研究进展2024-09-09北京工商大学计算机与人工智能学院廉小亲CONTENTS12神经网络的基本特征与功能32人工神经网络的用武之地42人工神经网络发展简史2人工神经网络概述01人工神经网络概述人脑与计算机信息处理能力的比较人脑与计算机信息处理机制的比较什么是人工神经网络1人工神经网络概述人工智能是一类非常广泛的问题，机器学习是解决这类问题的一个重要手段，深度学习则是机器学习的一个分支，是传统神经网络的一个重要延伸。人工神经网络（ANN）是机器学习的一个重要算法。1人工神经网络概述人类具有高度发达的大脑，大脑是思维活动的物质基础，而思维是人类智能的集中体现。

思维是人脑的信息处理方式。人脑的思维有逻辑思维、形象思维和灵感思维三种基本方式。逻辑思维的基础是概念、判断与推理，即将信息抽象为概念，在根据逻辑规则进行逻辑推理。由于概念可用符号表示，而逻辑推理可按串行模式进行，这一过程可以写成串行指令由机器来完成。

计算机就是这样一种用机器模拟人脑逻辑思维的人工智能系统。1.1人脑与计算机信息处理能力的比较识人辩物记忆与联想能力PK1.1人脑与计算机信息处理能力的比较学习与认知能力1.1人脑与计算机信息处理能力的比较信息加工能力非逻辑加工逻辑加工模糊逻辑辩证逻辑二值逻辑回忆联想想象二值逻辑1.1人脑与计算机信息处理能力的比较信息综合能力综合判断耳听八方眼观六路经验直觉信息处理速度1.2人脑与计算机信息处理机制的比较系统结构由特制扫描仪绘制的人类首幅大脑功能连线图冯·诺依曼计算机体系结构1.2人脑与计算机信息处理机制的比较信号形式对比人脑的信号形式：模拟量+离散脉冲电脑的信号形式：二进制数+二值逻辑1.2人脑与计算机信息处理机制的比较信息存储方式对比人脑总的信息分布存储于整个系统中

计算机的信息采用集中存储方式1.2人脑与计算机信息处理机制的比较串行处理可口可乐并行处理信息处理机制对比1.3什么是人工神经网络

人脑的信息处理机制是在漫长的进化过程中形成的。到目前为止，人类对大脑是如何处理信息以及如何进行思维的只有粗浅的认识。在此基础上，以数学和物理方法并从信息处理的角度对人脑生物神经网络进行抽象，并建立某种简化模型，就称为人工神经网络英文缩写为ANN。

简化模型

1.3什么是人工神经网络

人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。

人工神经网络是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。

神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。

ANN只是对人脑生物神经网络的简化、抽象与模拟，远远不是的真实写照。尽管如此，这种简化模型的确能反映出人脑处理信息的许多基本特点。这些类脑能力使得ANN在很多领域成功地解决了大量用其他方法难以解决的问题，表现出良好的智能特性。

02人工神经网络发展简史2人工神经网络发展简史启蒙时期（1890-1969）低潮时期（1969-1982）复兴时期（1982-1986）繁荣期1（1986-1995）沉寂期（1995-2010）繁荣期2（2010-至今）涂序彦先生等1980年发表的《生物控制论》一书，书中将“神经系统控制论”单独设为一章，系统介绍了神经元和神经网络的结构、功能和模型。国内也逐步掀起了研究热潮。1989年10月和11月分别在北京和广州召开了神经网络学术会议。1990年2月，北京召开中国神经网络学术大会。开创了我国人工神经网络及神经计算机方面科学研究的新纪元。我国学术界和工程界在人工神经网络的理论研究与应用方面取得了丰硕成果，学术论文、应用成果和研究人员的数量逐年增长。卷积神经网络。。。。。2人工神经网络发展简史1940年代-萌芽期：MCP模型（1943）、Hebb学习规则（1945）1958~1969年-繁荣期：感知机（1958）、Adaline（1960）…1969年：Minsky证明了感知器是线性模型，只能处理线性问题1985~1995年-繁荣期：Hopfield（1983）、BP（1986）…1995年：SVM及统计学习兴起2010~至今-繁荣期：深度学习冰河期沉寂期交替模式：热十年冷十五年2人工神经网络发展简史194319691986199820061957MCP神经元数学模型反向传播算法19891997万能逼近定理卷积神经网络LSTMLeNet深度信念网2011ReLU2012DropoutAlexNetClarifai2014GoogleNetVGGNetR-CNN2015BNFasterR-CNNResidualNet2018Transformer2017BERT2019GPT-22021SwinTransformer单层感知机Minsky和SeymourPapert专著Perceptron;单层感知机不能解决XOR问题2人工神经网络发展简史卡斯帕罗夫在与“深蓝”对弈(右为“深蓝”现场操作者)

1997年5月11日，一台名为“深蓝”的超级电脑将棋盘上的一个兵走到C4位置时，人类有史以来最伟大的国际象棋名家卡斯帕罗夫不得不沮丧地承认自己输了。世纪末的一场人机大战终于以计算机的微弱优势取胜。这场比赛是继去年卡斯帕罗夫与IBM的超级电脑“深蓝”比赛获胜后，与改进型的“深蓝”的第二次较量。整个比赛引起了全世界传媒的巨大关注。比赛吸引人们注视目光的原因之一是世界象棋冠军卡斯帕罗夫赛前充满信心，发誓要为捍卫人类之优于机器的尊严而战。然而，最后的结果却是他所捍卫的人类尊严在一台冷漠的1.4吨重的庞然大物“蓝色巨人”面前被无情地击溃了。虽然人类的骄傲可以把这场比赛的结果仍然归咎于人类的胜利，毕竟“深蓝”自己也是人类所研制出来的一台计算机而已，但人类所创造的工具击溃了人类，并且是在人类引以为骄傲的智慧领域，这在一定程度上带来了恐惧，并由此引发了一场有关人类创造物与自身关系的深层讨论。

“深蓝”是IBM公司生产的世界上第一台超级国际象棋电脑。2人工神经网络发展简史许峰雄博士：“深蓝之父”、微软亚洲研究院的高级研究员，绰号：CB——“疯狂的鸟”。他在1980年毕业于台湾大学，1989获得卡耐基梅隆大学计算机博士学位。他和同伴在1997年研制出大型计算机“深蓝”，拉开电脑与人脑的“世纪之战”，以“深蓝”战胜国际象棋世界冠军卡斯帕罗夫而告终，轰动全世界。2003年春，许峰雄加盟微软亚洲研究院。2人工神经网络发展简史“棋天大圣”由东北大学人工智能与机器人研究所的“棋天大圣”小组开发而成。“棋天大圣”小组成立于2004年６月，以击败中国象棋世界冠军为目标，并聘请“深蓝之父”许峰雄博士为名誉顾问，经过１年多的刻苦专研和技术攻关，软件的棋力迅猛提高。首届中国象棋机器博弈极表赛冠军---棋天大圣队2人工神经网络发展简史五大师将出征：汪洋、张强、卜风波、徐天红、柳大华棋天大圣2人工神经网络发展简史

2016年人类展开了一次，可以写入历史的“人机大战”。这场大战持续了5天，受到了全世界的关注，比赛一方是谷歌阿尔法狗，另一方是世界围棋冠军，韩国名将李世石，九段棋王。阿尔法狗有两个大脑，是通过两个不同的神经网络大脑，合作来进行下棋的，这些大脑是多层神经网络，一个大脑用来落子选择器，一个用来棋局评估。

2人工神经网络发展简史近年来，语言模型的规模不断扩大。从OpenAI的GPT-2到GPT-4，语言模型的参数数量呈现出数量级的增长，可拥有数十亿甚至上百亿个参数。这些超大规模的语言模型在文本生成、信息理解等任务上取得了显著的进展。

GPT基于Transformer

结构，这是一种能够处理序列数据的强大神经网络架构。得益于Transformer结构的全局信息捕捉能力，该结构在处理自然语言任务时表现尤其出色。

2人工神经网络发展简史图像领域近年来也迎来了新浪潮，随着算力的提升图像生成模型快速发展。这种模型采用多种深度神经网络结构，可拥有数十亿个参数。模型可以同时处理文字和图像两种信息，可以根据用户输入的文本描述生成各种形态的图像，包括物体、场景、人物等。甚至在最新的研究中可以生成短视频。

2人工神经网络发展简史嘉楠科技勘智KendryteK210是集成机器视觉与机器听觉能力的系统级芯片(SoC)。使用台积电(TSMC)超低功耗的28纳米先进制程，具有双核64位处理器，拥有较好的功耗性能，稳定性与可靠性。该方案力求零门槛开发，可在最短时效部署于用户的产品中，赋予产品人工智能。

KendryteK210定位于AI与IoT市场的SoC，同时是使用非常方便的MCU。Kendryte勘智取自勘物探智。这颗芯片主要应用领域为物联网领域，在物联网领域进行开发，因此为勘物；这颗芯片主要提供的是人工智能解决方案，在人工智能领域探索，因此为探智。•具备机器视觉能力•具备机器听觉能力•更好的低功耗视觉处理速度与准确率•具备卷积人工神经网络硬件加速器KPU，可高性能进行卷积人工神经网络运算•TSMC28nm先进制程，温度范围-40°C到125°C，稳定可靠•支持固件加密，难以使用普通方法破解•独特的可编程IO阵列，使产品设计更加灵活•低电压，与相同处理能力的系统相比具有更低功耗•3.3V/1.8V双电压支持，无需电平转换，节约成本全球第二大“矿机”生产商。专门做挖比特币机器2人工神经网络发展简史智能门锁室外机系统主要由STM32L0总控器，K210处理器，Wi-Fi模组，指纹识别模块四个部分组成。室内机系统主要由STM32F4总控器，Wi-Fi模组，显示装置，这三部分组成。运行CNN模型实现人脸识别接收人脸、指纹识别信息控制开锁响应用户触发灯光管理

Wi-Fi发送图像识别指纹

Wi-Fi接收图像图像的解码显示03神经网络的基本特征与功能神经网络的基本特征神经网络的基本功能3.1神经网络的基本特征看结构—并行式处理分布式存储互联与可塑看性能—非线性容错性非精确性看能力—

自学习自组织自适应性3.2神经网络的基本功能联想式记忆3.2神经网络的基本功能非线性映射3.2神经网络的基本功能非线性分类3.2神经网络的基本功能目标优化最大值最小值3.2神经网络的基本功能知识获取3.2神经网络的基本功能飞机汽车小鸟猫鹿狗狐狸马轮船卡车Meet图像数据示例CIFAR-10Dataset6000032x32colorimagesin10classes6000imagesperclass50000trainingimages/10000testimages.

当神经网络遇见图像数据？图像分析04人工神经网络的用武之地人工神经网络的应用示例——数据处理人工神经网络的应用示例——图像识别与目标检测人工神经网络的应用示例——语音识别人工神经网络理论及应用慕课4.1人工神经网络的应用示例——数据处理案例描述：根据鸢尾花的四个特征：花萼长度、宽度，花瓣长度、宽度采用BP人工神经网络对鸢尾花的品种（Setosa,Versicolour,Virginica）进行分类。花瓣长度花瓣宽度花萼长度花萼宽度数据个数4.1人工神经网络的应用示例——数据处理IrisDataSet（鸢尾属植物数据集）：神经网络、机器学习等领域的经典数据集之一，首次出现在著名的英国统计学家和生物学家RonaldFisher的1936年的论文之中。包括三个种类的鸢尾花：IrisSetosa，IrisVersicolour，IrisVirginica；包含150个样本，每类鸢花覆盖50个样本；每个样本包含鸢尾植物的4个特征（花萼长度、宽度，花瓣长度、宽度）和1个分类值。花瓣长度花瓣宽度花萼长度花萼宽度数据个数4.1人工神经网络的应用示例——数据处理创建鸢尾花分类人工神经网络模型2026/10/11BTBU-CIE46人工神经网络建模函数示例：net=patternnet(10)；创建模型net=train(net,x,t)；训练模型view(net)；可视化模型人工神经网络结构（基于matlab）……输入层隐藏层隐藏层输出层人工神经网络拓扑结构示意：样本的四个特征输入样本的类别ID4.1人工神经网络的应用示例——数据处理2026/10/11BTBU-CIE

人工神经网络方法在环境质量评价方面的应用很广，大体可分为城市环境质量综合评价、大气环境质量评价、地表水环境质量评价、地下水环境质量评价、湖泊富营养化程度评价、生态环境分类等方面。

大气环境质量评价环境空气的监测指标分别为SO2、NO2和TSP3项常规监测指标。样本编号网络输入(mg/Nm3)期望输出识别结果SO2NO2TSP1230.050.150.250.080.080.120.120.30.50.10.51.0一级二级三级表1大气环境质量评价BP网络模型训练样本集（原始）

《环境空气质量标准》(G83095—1996)4.1人工神经网络的应用示例——数据处理2026/10/11BTBU-CIE表2大气环境质量评价BP网络模型训练样本集（扩充）样本组编号样本范围期望输出识别结果样本数样本组I(0,0,0)—(0.05,0.08,0.12)0.1一级21对样本组Ⅱ(0.05,0.08,0.12)—(0.15,0.08,0.3)0.5二级21对样本组III(0.15,0.08,0.3)—(0.25,0.12,0.5)1.0三级21对建立BP网络模型……输入层隐藏层隐藏层输出层样本的三个特征输入样本的类别ID有导师学习大气环境质量评价模型训练模型测试4.1人工神经网络的应用示例——数据处理2026/10/11BTBU-CIE……输入层隐藏层隐藏层输出层样本的三个特征输入样本的类别ID神经元模型示意图大气环境质量评价4.2人工神经网络的应用示例——图像识别与目标检测传统人工神经网络向着层数与神经元更多的方向发展，形成深度神经网络。在计算机视觉、语音识别、文字识别等多方面应用。深度卷积神经网络传统神经网络4.2人工神经网络的应用示例——图像识别与目标检测图像目标检测技术可分为单阶段检测方法（one-stage）和两阶段检测方法（two-stage）。速度快、实时性好检测精度较低检测精度高速度慢、实时性较低单阶段检测方法的性能双阶段检测方法的性能4.2人工神经网络的应用示例——图像识别与目标检测

YOLOv1网络结构：2016年YOLOv12017年YOLOv22018年YOLOv32020年YOLOv4、YOLOv52022年YOLOv6、YOLOv72023年YOLOv8

YOLO算法发展历程：4.2人工神经网络的应用示例——图像识别与目标检测自动车牌识别系统是智能交通系统的核心部分，该技术先利用摄像头捕获真实场景的车辆图像并将完整的车牌号输出，是图像识别与目标检测的广泛应用之一。输入图像车辆检测（YOLOv4）车牌检测（YOLOv4-tiny）车牌识别(YOLO