人工智能通识课件 第4章 深度学习的应用（4.2机深度习的应用实践）

选用《信息技术课程标准（2021年版）》新型活页式教材我们毕业啦其实是答辩的标题地方4.2深度学习的应用实践第4章深度学习的应用肿瘤图形识别、机器翻译

教学重点：1.深度学习在肿瘤图像识别和机器翻译中的应用原理。2.卷积神经网络（CNN）的基本结构和训练方法。3.机器翻译的基本流程和技术发展。课前答题1。。。。。2。。。。。3。。。。。4。。。。。

教学重点：1.深度学习模型的训练和调优。2.机器翻译中语言特征的提取和翻译质量的提升课前答题1。。。。。2。。。。。3。。。。。4。。。。。深度学习在医疗影像领域应用深度学习在机器翻译的应用卷积神经网络（CNN）CNN是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。它通常由卷积层、池化层和全连接层组成：卷积层：主要用于图像的特征提取。第一层卷积层只能提取一些如边缘、大小、形状之类的低级特征，需要结合深层次卷积层才能迭代出更抽象的特征。池化层：选用下采样形式，主要用来对特征降维，并在最大程度上维持特征形状不变，提升网络的泛化性能。全连接层：往往只存在于网络的最后几层，将池化层下采样得到的信息与当前层进行全连接，负责解释全局特征信息并执行高级推理功能，常以N维向量作为输出形式，最后分类模型解析N维向量输出分类结果。卷积神经网络（CNN）在肿瘤图像识别中的应用卷积神经网络（CNN）在肿瘤图像识别中的应用主要是在医学图像分析领域，特别是在对肿瘤MRI图像的快速、精准分类方面。图像分类：CNN通过累加卷积层完成局部到全局特征的提取，在分类任务上的性能显著优于其他模型。利用CNN对脑肿瘤MRI图像分类在医学图像诊断中得到了广泛的应用。例如，基于视觉几何组（VGG）-16架构在脑MRI数据集上识别肿瘤的良恶性，实现了较高的分类准确率。此外，还有研究提出了使用VGGNet作为基线模型的复杂算法，该方法基于预训练的VGGNet并对功能模块进行逐块微调，在公开数据集上实现了更高的准确率。特征提取：CNN能够提取肿瘤图像中的深层特征，这些特征对于肿瘤的识别和分类至关重要。通过不断优化卷积核和池化层的参数，CNN可以学习到更加鲁棒和具有区分性的特征表示。多模态信息融合：在医学图像分析中，多模态信息融合是提高识别准确性的重要手段。CNN可以处理来自不同模态的图像数据。机器翻译的基本原理与技术机器翻译的原理是使用计算机自动将一种自然语言（源语言）的文本转换成另一种自然语言（目标语言）的文本。机器翻译在跨语言沟通、商务、学术和文化交流等领域具有广泛的应用价值。随着技术的不断发展，机器翻译的准确性、速度和可用性都在不断提高。未来，机器翻译将继续向更加智能化、个性化和多样化的方向发展，为人们的跨语言交流提供更加便捷和高效的工具。机器翻译的模型---Seq2SeqSeq2Seq（SequencetoSequence）模型是一类用于将一个序列转换为另一个序列的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本摘要、对话生成等。模型结构：Seq2Seq模型由编码器（Encoder）和解码器（Decoder）两部分组成。编码器负责接收输入序列并将其转换为一个固定长度的上下文向量（ContextVector）。这个过程通常使用循环神经网络（RNN）、长短期记忆网络（LSTM）或门控循环单元（GRU）来实现。解码器接收上下文向量并生成目标序列。解码器同样通常使用RNN、LSTM或GRU来实现。工作原理：编码器逐步处理输入序列中的每个元素，并将每一步的结果传递给下一步，最终生成一个总结输入信息的上下文向量。解码器使用这个向量，逐步生成输出序列的每个元素。机器翻译的模型---TransformerTransformer是一种基于注意力机制的序列模型，最初由Google的研究团队提出并应用于机器翻译任务。模型结构：Transformer模型同样由编码器和解码器两部分组成。编码器将输入序列（例如一句话）转化为一系列上下文表示向量（ContextualizedEmbedding），它由多个相同的层组成。每一层都由两个子层组成，分别是自注意力层（Self-AttentionLayer）和前馈全连接层（FeedforwardLayer）。解码器将编码器的输出和目标序列（例如翻译后的句子）作为输入，生成目标序列中每个位置的概率分布。解码器由多个相同的层组成，每个层由三个子层组成，分别是自注意力层、编码器-解码器注意力层（Encoder-DecoderAttentionLayer）和前馈全连接层。

(1)掌握数据集的获取和预处理方法：学习如何从公开数据集中下载和收集肿瘤图像数据，并了解数据预处理的重要性，包括图像尺寸归一化和像素值归一化。(2)理解并构建深度学习模型：学习如何构建和使用VGG16模型，了解其结构特点，包括卷积层、池化层和全连接层。(3)对比分析模型性能：通过实验对比普通CNN和VGG16模型在肿瘤识别任务中的表现，理解不同模型结构对性能的影响。(4)应用深度学习模型：学习如何将深度学习模型应用于实际的肿瘤图像识别任务，并通过实验验证模型的准确性和效率。肿瘤图像识别---任务目标

肿瘤图像识别---任务要求（1）获取并预处理数据集访问飞桨平台，在搜索栏中搜索“肿瘤”关键词如图所示，并下载相关数据集，包括测试集、训练集和验证集。

肿瘤图像识别---任务要求对收集到的肿瘤图像数据进行预处理，包括图像尺寸归一化和像素值归一化，以确保数据集的统一性和模型的训练需求。将预处理后的数据按照8:1:1的比例划分为训练集、验证集和测试集如图所示。

肿瘤图像识别---任务要求（2）构建模型使用VGG16模型作为基准模型如图所示，构建深度卷积神经网络。了解并实现卷积层、池化层和全连接层的配置。在卷积层中采用多种大小的卷积核，使用ReLU激活函数，并通过padding操作避免信息损失。在池化层中采用最大池化（MaxPooling）方式，以降低特征图的维度并提取更具代表性的特征。在全连接层中使用softmax函数进行多分类任务，将特征图展平并输出分类结果。

肿瘤图像识别---任务要求（3）训练且评估模型使用划分好的训练集对VGG16模型进行训练，并使用验证集评估模型的性能。对比普通CNN和VGG16模型在肿瘤识别任务中的表现，记录并分析模型的准确率、敏感性和特异性等关键性能指标。通过调整模型的超参数和优化算法，进一步提高VGG16模型的性能，并记录优化后的结果。（4）分析实验结果将普通CNN和VGG16模型在肿瘤识别任务中的表现进行详细对比，分析不同模型结构对性能的影响。记录并总结实验结果，撰写实验报告，包括数据处理、模型构建、训练过程和性能对比分析。

（1）数据集（2）预处理（3）构建模型（4）数据处理与预处理肿瘤图像识别任务实施步骤

（1）数据集肿瘤图像的公开数据集可供研究人员和开发者使用，以便更好地进行医学影像分析和相关研究。这些数据集通常包含大量的医学影像数据，如CT扫描、MRI图像等，这些数据经过处理和标注，可用于训练和验证各种医学影像分析算法。为了获取这些宝贵的数据资源，您可以访问数据集的官方网站。一个推荐的平台是飞桨平台，这是一个由百度开发的深度学习平台，提供了丰富的数据集资源。在飞桨平台上，您可以轻松地找到所需的肿瘤图像数据集。具体操作步骤如下：首先，打开浏览器，输入数据集的网址，进入网站后，会看到一个搜索栏。在搜索栏中输入“肿瘤”这一关键词，按下回车键进行搜索。搜索结果将展示与“肿瘤”相关的所有数据集如图所示，可以根据需要选择合适的公开数据集进行下载和使用。肿瘤图像识别---任务实施

通过采用这种方法，可以轻松地获得高质量的肿瘤图像数据集，从而顺利进行医学影像分析、疾病诊断等相关研究工作。这些数据集不仅有助于提高医学影像分析的准确性，还能推动医学研究的进步，为临床诊断和治疗提供有力支持。这些数据集的获取，将极大地促进医学领域的研究和发展，使医学影像分析技术更加精确和高效，从而为患者提供更好的诊断和治疗方案。肿瘤图像识别---任务实施

在“肿瘤检测”这一特定的板块中，用户可以发现一个详细的文件列表。这个列表中包含了多个与肿瘤检测相关的数据集，这些数据集经过精心整理和分类，以便于用户查找和使用。用户在浏览这些数据集时，可以仔细查看每个数据集的详细信息，了解其包含的具体内容和数据类型。在找到所需的数据集后，用户可以点击“下载”链接如图所示，将数据集下载到本地计算机或存储设备中。肿瘤图像识别---任务实施

数据文件通常包含三个主要部分：测试集、训练集和验证集如图所示。测试集用于评估模型在未见过的数据上的性能，训练集用于模型学习和优化参数，而验证集则用于在训练过程中调整模型的超参数，以防止过拟合并确保模型具有良好的泛化能力。肿瘤图像识别---任务实施

(1)理解并掌握自然语言处理（NLP）中序列到序列（Seq2Seq）模型的基本原理。(2)学习如何进行数据预处理，包括文本清洗、分词、字符数字化和句子长度归一化。(3)掌握如何构建并训练一个Seq2Seq模型，包括编码器（Encoder）和解码器（Decoder）的设计。(4)学习在模型训练过程中如何处理英文和中文数据，包括语法、拼写、用词的正确性以及汉字的规范性。(5)学习如何进行模型推断，并理解训练与推断过程中的差异。(6)掌握如何评估和优化翻译模型，提高翻译的准确性和流畅度。机器翻译---任务目标

（1）准备且预处理数据①下载数据集从提供中英文翻译数据集的网站下载中文到英语的训练集②数据清洗③分词使用jieba库对中文句子进行分词。④构建词汇表⑤句子数字化⑥句子长度归一化机器翻译---任务要求

（2）构建且训练模型①设计编码器实现一个基于RNN（如LSTM或GRU）的编码器，将输入句子转换为固定维度的向量。②设计解码器实现一个基于RNN的解码器，使用编码器的输出作为初始状态，生成目标序列。③训练模型使用处理后的数据集训练Seq2Seq模型，优化模型参数。④评估模型在验证集上评估模型性能，记录损失和准确率。机器翻译---任务要求

（3）推断且优化模型①推断过程实现模型的推断过程，根据输入句子生成翻译结果。②测试模型使用训练集的部分数据测试模型，观察翻译效果。③优化策略分析翻译结果，针对常见错误或不足，调整模型结构和训练策略。④结果展示展示模型的翻译效果，包括输入输出对比和翻译质量评估。机器翻译---任务要求

（1）数据准备目标用户群体的特征可以通过用户画像（Persona）这一方法详尽地描绘出来。它通过有条理地搜集和深入地分析用户数据，形成一个高度代表性的用户模型。这个模型不仅涵盖了用户的年龄、性别、职业等基础资料，还扩展到用户的兴趣、消费行为、行为习惯以及心理特质等众多方面。机器翻译---任务实施

下载数据Anki闪卡学习资料的网址上有许多翻译数据，包含多种语言如图所示，这里此教程选择的是中文到英语的数据集。机器翻译---任务实施

下载Chinese-English训练集，下载地址：/anki/cmn-eng.zip。机器翻译---任务实施

解压cmn-eng.zip，可以找到cmn.txt文件，内容如右图所示。可以发现，每对翻译数据在同一行，左边是英文，右边是中文使用\t作为英语与中文的分界。机器翻译---任务实施

数据预处理要进行模型训练，需要我们把数据处理成模型可以接收的格式。针对这个数据，具体来说就是需要把字符转换为数字（句子数字化），句子长度归一化处理。我们需要分别对英语和汉字进行处理，以确保内容的准确性和完整性。在处理英语时，我们要特别注意语法、拼写和用词的正确性，确保句子通顺、表达清晰。而对于汉字的处理，则需要关注字形的规范性、笔画的正确顺序以及词语的恰当使用，以保证文本的准确传达和美观度。通过细致的处理，我们能够确保最终呈现的内容既符合语言规范，又能够准确传达原本的意图和信息。机器翻译---任务实施

①英文处理因为英语每个单词都是用空格分开的（除了缩写词，这里缩写词当做一个词处理），还有就是标点符号和单词没有分开，也需要特殊处理一下。主要是要处理的符号有：逗号，句号，感叹号和问号，需要在标点前加空格。例如：将“Let'sgo!”通过处理转为“Let'sgo!”。机器翻译---任务实施

运行截图机器翻译---任务实施

②中文处理在处理中文时可以发现，中文有繁体字也有简体我们最好要转换为统一的形式。可以人工进行修订，也可以使用编写代码来进行统一处理，例如：可以使用OpenCC库进行繁体转为简体。OpenCC（OpenChineseConvert，开放中文转换）是一个开源的中文简繁转换库。Let'sgo!我們開始吧机器翻译---任务实施

机器翻译---任务实施

importopencc#创建一个简体到繁体的转换器converter=opencc.OpenCC('s2t.json')