深度学习基础与实践 教案1.4任务实施（操作参考）

.4任务实施1.4.1任务书学会自主检索相关案例和内容，理清人工智能中机器学习和深度学习的发展和关系，理解深度学习的应用，掌握神经元、感知器和神经网络的架构，梳理要点并绘制思维导图，录制小组汇报视频并上交，同时根据教学内容制定本书小组学习计划。1.4.2任务分组表1-4学生任务分配表班级组号指导老师组长学号成员数量组长任务组员姓名学号任务分工1.4.3获取信息引导问题1：自主学习人工智能、机器学习、深度学习的关系人工智能：机器展现的人类智能。机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。机器学习是人工智能的一个分支，被大量地应用于解决人工智能的问题。深度学习：实现机器学习的一种技术。深度学习是机器学习的一个分支，由人工神经网络算法衍生，形式通常为多层神经网络。引导问题2：上网查阅人工智能技术的主要应用领域，至少写出15个领域人工智能技术的主要应用领域：企业技术集成与方案、智慧商业和零售、智能机器人、智能硬件、科技金融、智慧医疗、智能制造、新媒体和数字内容、智慧教育、关键技术研发和应用平台、智能网联汽车、智能家居、智慧城市、智慧交通、智慧物流、智能安防、智慧政务、网络安全、智慧农业、智慧能源等。引导问题3：上网查阅国内外知名人工智能企业，并请写出5个国外企业和5个国内企业的应用领域、涉及的人工智能技术、所属国家和成立时间。企业名称应用领域涉及的人工智能技术所属国家成立时间Microsoft（微软）办公计算机视觉技术、自然语言处理技术等美国1975年Google（谷歌）综合计算机视觉技术、自然语言处理技术等美国1998年Facebook（脸书）社交人脸识别、深度学习等美国2004年百度综合 计算机视觉技术、自然语言处理技术、知识图谱等中国2001年大疆无人机创新 图像识别技术、智能引擎技术等中国 2006年商汤科技 安防计算机视觉技术、深度学习中国2014年旷视科技安防计算机视觉技术等中国2011年科大讯飞 综合智能语音技术中国 1999年AutomationAnywhere企业管理 自然语言处理技术、非结构化数据认知美国2003年IBMWatson（IBM沃森）计算机 深度学习、智适应学习技术 美国1911年松鼠AI1对1教育 智适应学习技术、机器学习中国2015年字节跳动 资讯跨媒体分析推理技术、深度学习、自然语言处理、图像识别中国2012年Netflix（网飞）媒体及内容视频图像优化、剧集封面图片个性化、视频个性化推荐美国1997年Graphcore芯片智能芯片技术、机器学习英国2016年NVIDIA（英伟达）芯片 智能芯片技术美国1993年Brainco教育、医疗、智能硬件脑机接口 美国2015年Waymo交通自动驾驶美国2016年ABBRobotics机器人机器人及自动化技术瑞士1988年Fanuc（发那科）制造 机器人技术日本1956年PreferredNetworks 物联网深度学习、机器学习技术日本2016年引导问题4：查阅相关资料，绘制深度学习发展时间简图发展简图：1950年，AlanTuring发表关于人工智能的文章，提出了“图灵测试”的概念。1957年，FrankRosenblatt发明了最早的人工神经网络——感知机。1986年，Hinton等人发明了反向传播算法，深度学习的训练变得更加高效。1997年，Hinton等人在图像识别方面取得突破性进展，深度学习成为当时最有前途的人工智能技术之一。2006年，Hinton等人发明了深度信念网络（DBN），深度学习在计算机视觉和自然语言处理领域取得巨大进步。2012年，AndrewNg在谷歌工作时使用了深度学习技术，在ImageNet图像识别比赛中取得巨大成功，深度学习成为当今人工智能的领先技术。2016年，GoogleDeepMind的AlphaGoAI击败世界围棋冠军，掀起人工智能和深度学习的热潮。2016年，谷歌推出开源的机器学习框架TensorFlow。2017年，英伟达推出最强大的人工智能芯片Volta，深度学习训练变得更快、更高效。2018年，谷歌推出预训练语言模型BERT，在自然语言处理领域取得了巨大成功。2019年，OpenAI推出了自然语言生成模型GPT-2，性能超过了人类水平。2020年，OpenAI推出了预训练语言模型GPT-3，性能比前一代模型有了巨大提升。2022年，人工智能研究实验室OpenAI发布的全新聊天机器人模型ChatGPT。引导问题5：查阅相关资料，举例机器学习和深度学习的应用场景举例机器学习的应用场景：机器学习在指纹识别、特征物体检测等领域的应用基本达到了商业化的要求。举例深度学习的应用场景：深度学习主要应用于文字识别、人脸技术、语义分析、智能监控等领域。目前在智能硬件、教育、医疗等行业也在快速布局。引导问题6：上网查阅卷积神经网络LeNet、AlexNet、VGG16网络，完成简介和模型理解网络结构简介模型理解LeNet最早发布的卷积神经网络，推动了深度学习领域的发展。1989年，AT&T贝尔实验室的研究员YannLeCun提出，目的是用来做手写数字识别，知名度最高的就是MNIST数据集。处理复杂数据的能力有限，目前很少使用在实际应用上。在计算机视觉任务中的性能高效。先用卷积层来学习图片的空间信息，通过池化层降低图片的敏感度；然后使用全连接层来转换到类别空间；两个卷积层再加一个多层感知机，最终得到从图片到类别的映射。AlexNet2012年ImageNet竞赛冠军获得者Hinton和他的学生设计的，首次在大规模图像数据集实现了深层卷积神经网络结构，在CNN中成功应用了ReLU、Dropout和LRN等，同时使用GPU进行运算加速。使得计算机视觉从业者从繁重的特征工程中解脱出来，转向思考从数据中自动提取需要的特征，做到数据驱动。AlexNet有5层卷积层，3个全连接层。卷积层C1处理流程：卷积->ReLU->池化->归一化。卷积层C2处理流程是：卷积->ReLU->池化->归一化。卷积层C3处理流程是：卷积->ReLU。卷积层C4处理流程是：卷积->ReLU。卷积层C5处理流程为：卷积->ReLU->池化。全连接层FC6流程为：（卷积）全连接->ReLU->Dropout。全连接层FC7流程为：全连接->ReLU->Dropout。VGG162014年，牛津大学在ImageNet挑战赛本地和分类追踪采用VGG获奖，模型适用于分类和定位任务。解决了Alexnet容易忽略小部分的特征。通过增加深度能有效地提升性能；VGG16是最佳的模型，从头到尾只有3x3卷积与2x2池化，简洁优美；卷积可代替全连接，可适应各种尺寸的图片。随着层数的不断提高，准确率却不断下降，通过残差网络解决。VGG16共有16层（不包括池化层），13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，采用pooling；再经过3次256个卷积核卷积后，采用pooling；再经过3次512个卷积核卷积，采用pooling；再经过3次512个卷积核卷积，采用pooling，最后经过三次全连接。引导问题7：查阅相关资料，简述并分析迁移学习、多任务学习、端到端学习及其特点。学习方式简述迁移学习迁移学习(TransferLearning)是一种机器学习技术，旨在利用已有的机器学习模型来解决新的问题。迁移学习的核心思想是利用预先训练的模型的知识，以减少解决新问题所需的训练数据和时间。迁移学习通常用于解决数据规模较小的问题，因为这些问题很难收集到足够的训练数据。通过使用已有的机器学习模型，可以减少训练数据的需求，并加快模型的训练速度。迁移学习可以通过以下几种方式实现：（1）固定特征提取：固定已有模型的特征提取层，并使用新的分类器来解决新问题。（2）微调预训练模型：通过调整预训练模型的参数，使其适应新问题。（3）训练一个新模型：使用已有模型的权重作为初始化，并训练新模型以解决新问题。迁移学习在计算机视觉、自然语言处理等领域得到了广泛的应用，并取得了许多令人瞩目的成果。多任务学习多任务学习(Multi-TaskLearning)是一种机器学习技术，旨在同时解决多个相关任务。多任务学习的核心思想是在解决一个任务时，利用其他相关任务的信息，以提高模型的性能。多任务常见的方法包括：（1）共享模型：在多个任务中共享一个模型，以利用其他任务的信息。（2）分支模型：为每个任务设计一个独立的模型，并从公共特征中分支出独特的特征。（3）共享特征：在多个任务中共享相同的特征提取层，以利用其他任务的信息。多任务学习在许多领域，如计算机视觉、自然语言处理、生物信息学等，得到了广泛的应用，并取得了很多令人瞩目的成果。多任务学习的好处在于，它可以利用其他相关任务的信息，以提高模型的性能，并且通常需要更少的训练数据，更快地训练模型。端到端学习端到端学习(End-to-EndLearning)是一种机器学习方法，它将从数据输入到输出的完整过程封装在一个单一的模型中。端到端学习省去了手动构建特征的需要，因此是一种自动特征提取的方法。端到端学习的一个典型应用是神经网络，例如卷积神经网络CNN和循环神经网络RNN。这些网络可以学习到输入数据中的特征，并使用这些特征进行预测。端到端学习的优点在于：简化了模型的构建和训练过程，减少了手动特征提取的需要；提高了模型的鲁棒性和灵活性，可以应对多种不同的数据和任务；可以充分利用数据中的信息，以提高模型的性能。但是，端到端学习也存在一些缺点：训练数据需求较高，需要大量的标记数据；模型往往更复杂，难以解释和理解；如果模型的训练不当，很容易出现过拟合问题。1.4.4工作实施引导问题8：查阅相关资料，小组讨论分析深度学习的特点深度学习的特点：区别于传统的浅层学习，强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；明确了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易，与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。引导问题9：查阅相关资料，汇总组内资料，讨论并梳理主流的神经网络模型，绘制思维导图，以小组为单位展示汇报。主流的神经网络模型思维导图：引导问题10：为了应对日益复杂的应用，半导体公司不断开发处理器和加速器，包括CPU、GPU和TPU，请详述他们的功能与特性。处理器加速器功能特性CPU中央处理器(CPU)是存在于所有智能设备中的核心处理器，作为计算机大脑工作的处理单元，设计用于通用编程的理想选择。CPU是一种通用处理器，设计有几个强大的内核和大容量缓存，使其能够同时运行几个软件线程。有几个核心；低延迟；专门从事串行处理；能够一次执行少数操作；，RNN（循环神经网络）的FLOPS利用率最高；内存容量大，支持最大机型；对于不规则计算（例如，小批量非MatMul计算）更加灵活和可编程。GPUGPU（图形处理单元）是一种专用处理器，与CPU一起用作性能加速器，可增强计算机图形和AI工作负载。GPU有数千个内核，可以将复杂的问题分解为数千或数百万个单独的任务，实现并行处理。GPU已成为深度学习开发的关键，通过在单个操作中加速大型矩阵运算和执行混合精度矩阵计算的能力，实现高速加速深度学习。拥有数千个内核；高吞吐量；专用于并行处理；能够同时执行数千个操作。TPUTPU代表张量处理单元，它是专用集成电路(ASIC)。TPU由Google定制开发的处理器，可使用（特定机器学习框架）TensorFlow加速机器学习工作负载。TPU可作为云或较小版本的芯片使用。CloudTPU在执行密集向量和矩阵计算以加速TensorFlow软件上的神经网络机器学习方面的速度非常快。TPU最大限度地缩短了训练大型复杂神经网络模型的准确时间。使用TPU，以前在GPU上训练需要数周时间的深度学习模型现在在TPU上只需数小时。矩阵处理专用硬件；高延迟（与CPU相比）；非常高的吞吐量；极端并行计算。引导问题12：查阅以下希腊字母的中文读音。大写小写中文读音大写小写中文读音Αα阿耳法Νν纽Ββ贝塔Ξξ可塞Γγ伽马Οο奥密可戎Δδ德耳塔∏π派Εε艾普西隆Ρρ柔Ζζ截塔∑σ西格马Ηη艾塔Ττ套Θθ西塔Υυ衣普西隆Ιι约塔Φφ斐Κκ卡帕Χχ喜∧λ兰姆达Ψψ普西Μμ缪Ωω欧米引导问题13：请访问GeoGebra图形计算器网站，尝试在线绘制简单图形和搜索函数。1、绘制：y=x+1，y=x+3，y=x-1，y=x2+x+1，y=-x2+x-22、搜索Sigmoid函数，并尝试拖动参数和观察图形引导问题14：查阅本书目录及内容，编写小组学期学习计划及学习形式小组学期学习计划：教师根据授课需求自行引导学生编写。1.4.5评价反馈全面考核学生的专业能力和关键能力，采用过程性评价和结果评价相结合，定性评价与定量评价相结合的考核方法。注重学生动手能力和在实践中分析问题、解决问题能力的考核，在学习和应用上有创新的学生给予特别鼓励。表1-4考核评价表内容目标方