人工智能：从基础到实践（微课视频版） 课件 第5-8章 神经网络与深度学习基础-人工智能伦理

第五章神经网络与深度学习基础1.神经网络基础21.1神经网络概述什么是神经网络(NeuralNetwork,NN)？受生物神经元启发的计算模型。由大量相互连接的节点（神经元）组成。通过节点之间的连接权重(weights)来学习和存储信息。能够从数据中学习复杂的模式和关系。3信息传输方向

4网络结构(NetworkArchitecture):输入层(InputLayer):接收原始数据。隐藏层(HiddenLayers):进行特征提取和转换(可以有多层)。输出层(OutputLayer):输出最终结果(e.g.,类别概率,预测值)。5连接方式:全连接层(FullyConnected/DenseLayer):层内的每个神经元都与前一层的所有神经元相连接。前馈网络(FeedforwardNetworks):信息从输入层单向流向输出层，没有循环。61.2激活函数(ActivationFunctions)激活函数的作用:引入非线性性(IntroduceNon-linearity):这是激活函数最核心的作用。如果神经网络只使用线性操作（加权求和），那么多层线性网络本质上等同于单层线性网络，无法拟合复杂数据。使得神经网络能够学习和逼近复杂的非线性函数:现实世界中的许多问题是非线性的。影响模型的学习能力和收敛速度。7没有激活函数（或使用线性激活）会怎样？整个网络退化为一个简单的线性模型，无法解决非线性问题。8常见激活函数Sigmoid:

输出范围:(0,1)优点:输出可解释为概率(常用于二分类输出层)。缺点:梯度消失(VanishingGradient):当输入值过大或过小时，梯度趋近于0，导致训练缓慢。输出不以零为中心(Notzero-centered):可能影响梯度下降的效率。9Tanh(HyperbolicTangent):

输出范围:(-1,1)优点:输出以零为中心，通常比Sigmoid收敛更快。缺点:仍存在梯度消失问题。10ReLU(RectifiedLinearUnit):

优点:计算简单，训练速度快。在正区间内梯度恒为1，有效缓解梯度消失问题。是目前最常用的激活函数之一。缺点:死亡ReLU(DyingReLU):如果神经元输入为负，梯度为0，该神经元可能永远不会被激活。输出不以零为中心。11LeakyReLU:(e.g.,)优点:解决了DyingReLU问题，允许负输入时有小的非零梯度。变种:ParametricReLU(PReLU,可学习),RandomizedReLU(RReLU).12Softmax:for作用:将一个K维的实数向量转换为一个K维的概率分布。*每个输出值在(0,1)之间。*所有输出值之和为1。常用场景:多分类问题的输出层。与Sigmoid的区别:Sigmoid用于二分类或多标签分类（每个标签独立）。Softmax用于互斥的多分类（一个样本只属于一个类别）。131.3前馈神经网络与反向传播算法

14

15反向传播算法(Backpropagation)

16参数更新(梯度下降):(eta)是学习率(LearningRate)。171.4神经网络的应用案例图像识别(ImageRecognition):手写数字识别(MNIST)物体检测(ObjectDetection-e.g.,YOLO,SSD)图像分类(ImageClassification-e.g.,ImageNetChallenge)图像分割(ImageSegmentation)人脸识别自然语言处理(NLP):文本分类(e.g.,情感分析,主题分类)机器翻译(e.g.,GoogleTranslate)问答系统文本生成(e.g.,GPT系列)18语音识别(SpeechRecognition):将语音信号转换为文本(e.g.,Siri,Alexa)。推荐系统(RecommenderSystems):个性化商品/内容推荐(e.g.,Netflix,Amazon)。预测与决策:金融市场预测(股票价格、信用评分)医疗诊断辅助游戏AI(e.g.,AlphaGo)192.深度学习基础202.1卷积神经网络(ConvolutionalNeuralNetworks-CNN)为什么需要CNN？(尤其针对图像)传统FNN的问题:处理高维图像数据时，参数量巨大(e.g.,256x256x3imageFClayermillionsofweights)。忽略了图像的空间结构(像素间的局部相关性)。CNN的优势:局部连接(LocalConnectivity/SparseConnectivity):神经元只与前一层的一个局部区域相连。参数共享(ParameterSharing):同一个卷积核在图像的不同位置共享权重。平移不变性(TranslationInvariance):对物体在图像中的位置不敏感。核心思想:模拟人类视觉皮层处理信息的方式，逐层提取特征。21CNN核心概念(1/2)卷积层(ConvolutionalLayer):卷积核(Kernel/Filter):一个小的权重矩阵，用于在输入数据上滑动并进行卷积运算，提取特定特征(e.g.,边缘,纹理)。特征图(FeatureMap):卷积核在输入上运算后得到的输出。每个卷积核产生一个特征图。感受野(ReceptiveField):特征图上一个神经元对应到输入图像上的区域大小。步长(Stride):卷积核每次滑动的像素数。填充(Padding):在输入图像边缘添加像素(通常是0)，以控制输出特征图的大小，并保留边缘信息。‘valid’padding:不填充。‘same’padding:填充使得输出与输入大小相同(当stride=1)。22CNN核心概念(2/2)池化层(PoolingLayer/SubsamplingLayer):目的:降低特征图的维度(空间尺寸)。减少参数数量和计算量。增强模型的鲁棒性，防止过拟合(引入少量平移不变性)。常见类型:最大池化(MaxPooling):取池化窗口内的最大值。平均池化(AveragePooling):取池化窗口内的平均值。全连接层(FullyConnectedLayer):通常在卷积层和池化层之后。将提取到的高级特征进行整合，用于最终的分类或回归任务。与传统神经网络中的层相同。23卷积神经网络架构24CNN:典型架构与应用典型CNN架构演进:LeNet-5(YannLeCun,1998):手写数字识别。(Conv->Pool->Conv->Pool->FC->FC->Output)AlexNet(2012):ImageNet冠军，引爆深度学习热潮。更深，更大，使用ReLU,Dropout,DataAugmentation。VGGNet(2014):使用非常小的(3x3)卷积核，通过堆叠构建深层网络。GoogLeNet(Inception,2014):Inception模块，并行使用不同大小的卷积核，提高参数效率。ResNet(ResidualNetwork,2015):引入残差连接(ShortcutConnections)，使得训练非常深的网络(上百甚至上千层)成为可能，解决了深度网络的退化问题。25应用:图像分类物体检测(e.g.,R-CNN,FasterR-CNN,YOLO,SSD)图像分割(e.g.,FCN,U-Net)人脸识别医学影像分析262.2循环神经网络(RecurrentNeuralNetworks-RNN)为什么需要RNN？处理序列数据(SequentialData)，其中元素的顺序很重要。文本(单词序列)时间序列(股票价格、传感器数据)语音(音频帧序列)传统FNN和CNN假设输入是独立的，不适合处理序列依赖。核心思想:网络具有记忆能力，当前时刻的输出不仅依赖于当前输入，还依赖于之前时刻的状态。通过循环连接(RecurrentConnection)，将前一时刻的隐藏状态传递给当前时刻。27RNN:核心概念与数学表示核心概念:隐藏状态(HiddenState,):编码了到当前时刻为止的序列信息，作为网络的“记忆”。循环连接(RecurrentConnection):的计算依赖于。通过时间展开(UnrollinginTime):可以将RNN视为在时间维度上共享参数的深层前馈网络。28数学表示(简单RNN):隐藏状态更新：输出计算：:时刻的输入:时刻的隐藏状态(通常初始化为零向量):时刻的输出:权重矩阵(在所有时间步共享):偏置向量:激活函数(e.g.,Tanh,ReLU)29RNN:问题与改进变体RNN存在的问题:梯度消失(VanishingGradients):在长序列中，梯度通过时间反向传播时会指数级衰减，导致难以学习长距离依赖。梯度爆炸(ExplodingGradients):梯度指数级增长，导致训练不稳定(可用梯度裁剪解决)。难以捕捉非常长的序列依赖关系。30循环神经网络架构31

32RNN:应用自然语言处理(NLP):语言建模(LanguageModeling):预测下一个词。机器翻译(MachineTranslation):Seq2Seq模型(Encoder-Decoder架构)。文本生成(TextGeneration):故事、诗歌、代码。情感分析(SentimentAnalysis):判断文本情感倾向。命名实体识别(NamedEntityRecognition,NER)。问答系统。33语音识别(SpeechRecognition):将声学特征序列转换为文本。时间序列预测(TimeSeriesPrediction):股票价格预测。天气预报。传感器数据分析。图像描述生成(ImageCaptioning):CNN(图像特征提取)+RNN(描述生成)。视频分析:动作识别。342.3Transformer网络为什么是Transformer？(Motivations)RNN/LSTM的局限性:顺序计算，难以并行化:依赖，限制了训练速度。长距离依赖捕捉仍有挑战:虽然LSTM缓解了，但对非常长的序列仍可能不足。Transformer(Vaswanietal.,2017,“AttentionIsAllYouNeed”):完全抛弃了循环结构。完全基于注意力机制(AttentionMechanism)。可以高效并行计算。在捕捉长距离依赖方面表现优异。核心思想:在处理序列中的一个元素时，能够同时关注序列中所有其他元素的重要性。35Transformer:核心概念(1/2)自注意力机制(Self-AttentionMechanism):允许模型在编码序列中某个词时，动态地衡量序列中其他词对该词的重要性。对于输入序列中的每个词，计算三个向量:查询(Query,Q):代表当前词。键(Key,K):代表序列中所有词，用于与Q匹配。值(Value,V):代表序列中所有词的内容。注意力权重计算::键向量的维度(用于缩放)。36多头注意力(Multi-HeadAttention):将Q,K,V线性投影到多个不同的子空间(“头”)。在每个头上并行计算自注意力。将多个头的输出拼接并再次线性投影。好处:允许模型在不同表示子空间中共同关注来自不同位置的信息。37Transformer:核心概念(2/2)

38Transformer:结构与应用Transformer整体结构:通常包含编码器(Encoder)和解码器(Decoder)堆栈。编码器:由N个相同的层堆叠，每层包含多头自注意力和前馈网络。解码器:由N个相同的层堆叠，每层除了编码器中的两个子层外，还插入一个作用于编码器输出的多头注意力层(Encoder-DecoderAttention)。解码器的自注意力层需要使用掩码(Masking)防止关注未来位置。39应用:机器翻译文本生成预训练语言模型(Pre-trainedLanguageModels-PLMs):BERT(BidirectionalEncoderRepresentationsfromTransformers):使用TransformerEncoder，通过掩码语言模型(MLM)和下一句预测(NSP)进行预训练。GPT(GenerativePre-trainedTransformer):使用TransformerDecoder，通过自回归语言模型进行预训练。这些模型在大量文本上预训练后，可以通过微调(Fine-tuning)适应各种下游NLP任务。也开始应用于计算机视觉(VisionTransformer-ViT)、语音等领域。40Transformer网络结构412.4主流深度学习框架及实践案例为什么使用深度学习框架？高效的张量(Tensor)运算:Tensor是多维数组，是深度学习的基本数据结构。框架底层使用C++/CUDA优化，提供高效的数值计算。自动微分(AutomaticDifferentiation/Autograd):自动计算复杂模型的梯度，是反向传播的核心，极大简化了模型开发。丰富的API和预构建模块:内置各种网络层(Dense,Conv,RNN,Attention)、激活函数、损失函数、优化器。方便快速搭建和实验模型。硬件加速支持(GPU/TPU):无缝利用GPU/TPU进行大规模并行计算，大幅缩短训练时间。大规模分布式训练能力:支持在多GPU或多台机器上进行分布式训练。模型部署与生态系统:提供模型保存、加载、转换(e.g.,ONNX)和部署工具(e.g.,TFServing,TorchServe)。42主流深度学习框架(1/4)TensorFlow:开发者:GoogleBrainTeam特点:成熟稳定，生态系统完善:广泛的社区支持，丰富的教程和工具。KerasAPI:作为TensorFlow的官方高级API，简洁易用，适合快速原型开发。灵活性:支持静态图(GraphMode,TF1.x)和动态图(EagerExecution,TF2.x默认)。部署能力强:TensorFlowServing:用于生产环境部署。TensorFlowLite:用于移动和嵌入式设备。TensorFlow.js:用于浏览器和Node.js环境。TensorBoard:强大的可视化工具。适用场景:工业界大规模应用、研究、全平台部署。43主流深度学习框架(2/4)PyTorch:开发者:FacebookAIResearch(FAIR)/MetaAI特点:动态图优先(Define-by-Run):非常灵活，易于调试，代码更Pythonic。简洁直观的API:上手快，深受研究者喜爱。强大的社区和学术界支持:大量最新研究成果首先在PyTorch上实现。TorchScript&TorchServe:用于模型序列化和部署。生态:torchvision,torchtext,torchaudio等库。适用场景:学术研究、快速原型开发、对灵活性要求高的项目。44主流深度学习框架(3/4)PaddlePaddle(飞桨):开发者:百度特点:国内使用广泛:中文文档和社区支持完善。易学易用:提供简洁的API和丰富的模型库(PaddleHub)。动静统一:支持动态图和静态图编程。端到端开发套件:提供从模型训练到部署（PaddleLite,PaddleServing,EasyDL,BML）的全流程支持。针对国内应用场景优化:丰富的产业级模型库。适用场景:国内工业界应用、教育、对中文支持有需求的项目。45主流深度学习框架(4/4)MindSpore:开发者:华为特点:全场景AI框架:支持端、边、云的协同与部署。自动并行与图算融合:针对华为昇腾(Ascend)AI处理器和GPU进行了深度优化。支持动静态图统一。原生支持大模型训练。安全可信:内置隐私保护和对抗鲁棒性等特性。适用场景:华为生态系统、对国产硬件优化有需求、全场景AI应用、研究。46框架实践案例选择一个框架(e.g.,TensorFlow/Keras或PyTorch)常见步骤:数据加载与预处理:使用框架内置数据集(MNIST,CIFAR-10)或自定义数据集。数据增强、归一化。模型构建:使用框架提供的层(Dense,Conv2D,LSTM,etc.)搭建模型。示例:构建一个简单的CNN用于图像分类。模型编译/配置:指定优化器(Adam,SGD)、损失函数(CrossEntropyLoss,MSELoss)、评估指标(accuracy)。模型训练:调用fit()(Keras)或编写训练循环(PyTorch)。在GPU上进行加速训练(如果可用)。模型评估:在测试集上评估模型性能。模型保存与加载:保存训练好的模型权重或整个模型。472.5GPU编程环境搭建与神经网络加速训练为什么需要GPU加速？并行计算能力:CPU(CentralProcessingUnit):少量核心，擅长通用计算和复杂逻辑控制。GPU(GraphicsProcessingUnit):大量(数千个)小型核心，专为大规模并行计算设计。深度学习的计算特点:涉及大量的矩阵/张量乘法和加法运算。这些运算可以高度并行化。效果:使用GPU训练深度学习模型通常比CPU快几个数量级。48GPU环境搭建(NVIDIA为例)硬件要求:NVIDIAGPU(e.g.,GeForceRTXseries,Quadro,Tesla)。NVIDIA显卡驱动(NVIDIADriver):从NVIDIA官网下载并安装与GPU型号和操作系统匹配的最新驱动。CUDAToolkit:NVIDIA的并行计算平台和编程模型。深度学习框架依赖CUDA来利用GPU。下载并安装与驱动版本兼容的CUDAToolkit。nvcc--version(检查CUDA版本)49cuDNN(CUDADeepNeuralNetworklibrary):NVIDIA提供的用于深度神经网络的GPU加速库。包含卷积、池化等操作的高度优化实现。下载cuDNN(需要注册NVIDIA开发者账户)，解压并将其文件复制到CUDAToolkit的相应目录。安装支持GPU的深度学习框架:TensorFlow:

pipinstalltensorflow(通常会自动安装GPU支持版，若CUDA环境配置正确)检查:importtensorflowastf;print(tf.config.list_physical_devices('GPU'))PyTorch:

pipinstalltorchtorchvisiontorchaudio--index-url/whl/cuXXX(XXX对应CUDA版本,e.g.,cu118,cu121)检查:importtorch;print(torch.cuda.is_available());print(torch.cuda.get_device_name(0))50GPU加速原理与框架使用GPU加速原理(简要):数据传输:模型参数和训练数据从CPU内存复制到GPU显存。并行计算:耗时的张量运算(e.g.,卷积,矩阵乘法)在GPU的众多核心上并行执行。结果回传:计算结果(e.g.,梯度)可能需要从GPU传回CPU。在框架中启用GPU:自动检测:TensorFlow和PyTorch通常会自动检测并使用可用的GPU。指定设备(PyTorch):device=torch.device("cuda"

iftorch.cuda.is_available()else

"cpu")

model.to(device)#将模型参数移到GPU

data=data.to(device)#将数据张量移到GPU指定设备(TensorFlow):通常自动完成。可通过tf.device('/GPU:0')上下文管理器指定。51注意事项:显存大小限制。CPU-GPU数据传输开销。分布式训练(可选，简介):数据并行:将数据分成多份，在多个GPU上训练模型副本，然后聚合梯度。模型并行:将模型本身切分到多个GPU上(用于超大模型)。框架提供支持:tf.distribute.Strategy,PyTorchDistributedDataParallel(DDP).523.深度学习实验53深度学习实验实验目标:通过实际编码和操作，加深对神经网络和深度学习理论知识的理解。熟悉主流深度学习框架(TensorFlow/Keras或PyTorch)的使用。掌握模型构建、训练、评估和调试的基本流程。实验内容建议:实验一:简单全连接网络(FNN/MLP)任务:数据分类。数据集:鸢尾花。内容:实现一个简单的FNN，进行训练和评估，理解正向传播、损失计算、反向传播和参数更新。工具:Python,NumPy,(可选)Scikit-learn(数据预处理/评估)。实验二:卷积神经网络(CNN)任务:图像分类。数据集:Fashion-MNIST。内容:构建并训练一个基础的CNN模型(包含卷积层、池化层、全连接层)，调整超参数，观察模型性能。工具:TensorFlow/Keras或PyTorch。54THANKS！感谢！第六章自然语言处理任课教师:CONTENT目录自然语言处理概述01NLP关键技术02语言模型03NLP的应用04知识图谱及其应用05NLP实践0601自然语言处理概述定义与重要性010203自然语言处理的定义自然语言处理（NLP）指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工，实现人机间的信息交流。NLP的应用领域NLP在信息检索、自动问答、情感分析、机器翻译等领域发挥着关键作用，极大地推动了人机交互的自然性和智能化水平。NLP的重要性NLP使得机器能够理解人类的语言，这对于提升人机交互的自然性和智能化水平至关重要，是人工智能和计算机科学的重要研究领域。发展历程机器翻译的起步20世纪50-60年代，机器翻译作为NLP研究的开端，虽然受限于当时的科技水平，但为后续的语言处理技术奠定了基础。统计方法和计算机语言学的兴起20世纪70-80年代，统计学理论的引入，促使NLP从单纯基于规则的方法向基于统计的方法转变。统计语言模型通过对大规模语料库的统计分析计算词与词之间的概率关系，从而实现对语言的建模和处理，在对自然语言形与义的处理上有了更科学的量化依据语言处理工具包和大规模语料库的出现20世纪90年代，语言处理工具包，如词性标注工具、句法分析工具等不断涌现，加速了NLP技术的研究和应用。同时，大规模语料库的建立为基于统计的NLP方法提供了更丰富的数据支持，使模型能够学习到更准确的语言模式和规律。机器学习和深度学习的推动多任务和预训练模型的崛起21世纪初-20世纪10年，机器学习技术在NLP领域得到更深入的应用，SVM等分类算法被广泛用于文本分类、情感分析等任务。2006年，深度学习的兴起为NLP带来了革命性的变化。2013年，Word2Vec模型提出。2020年以来，多任务学习旨在让模型同时学习多个相关任务，通过共享底层特征表示，模型能够从不同任务中获取更丰富的知识，提升泛化能力和性能。以BERT和GPT为代表的预训练模型在大规模无监督语料上进行预训练，学习到语言的通用语义和语法知识，开启了大语言模型时代。1.语料预处理01020304语料清洗语料清洗是去除文本中无关内容的过程，如广告、HTML标签等，确保数据质量，为后续处理提供清晰准确的输入。分词技术分词是将连续文本切分为独立词汇单元的技术，中文分词尤为重要，涉及词典匹配和统计模型，影响语义理解的准确性。词性标注词性标注为每个单词或词语分配词类标签，如名词、动词等，有助于深入分析句子结构和语法关系，支持高级语言处理任务。去停用词去停用词步骤移除对文本特征无贡献的常见词汇，如“的”、“是”等，优化文本数据，提高信息提取和分析的效率。NLP处理过程2.特征工程NLP处理过程特征工程就是把经过预处理之后的字和词语表示成计算机能够计算的类型，即把分词后的词语转换成向量。常用的两种表示方法有词袋模型和词向量：（1）词袋模型不考虑词语在句子中的次序，直接将词语或符号统一放置在一个集合中，按照计数的方式对出现的次数进行统计。统计词频是最基本的方式，TF-IDF是词袋模型的一个经典用法（2）词向量是将字、词语转换成向量矩阵的计算模型。最常用的词表示方法是独热编码。经典的模型为Word2Vec，主要包括CBOW和Skip-Gram。3.模型训练NLP处理过程模型训练即依据不同的自然语言处理任务（如文本分类、情感分析、机器翻译等）选择合适的模型进行训练（1）简单任务中，朴素贝叶斯、SVM等传统机器学习模型仍有应用，深度学习模型占主导地位；（2）以Transformer架构为基础的模型，先在大规模无监督语料上进行预训练，学习语言的通用特征和语义知识，随后针对特定任务进行微调；（3）需要合理选择损失函数（如交叉熵损失函数等）、优化器（如Adam、SGD等），并不断调整模型的超参数，提升模型的性能和效果4.指标评价NLP处理过程（1）文本分类任务：准确率、召回率、F1值等指标；（2）机器翻译任务：采用BLEU（BilingualEvaluationUnderstudy）指标，通过对比机器翻译结果与参考译文的相似度来评估翻译质量；（3）根据评估结果，可以对模型进行优化，包括调整模型结构、增加训练数据、改进训练方法等。02NLP关键技术核心任务自然语言理解NLU指将自然语言文本转换为机器可理解的语言，即对字、词、句、篇章进行输入、识别、分析和理解。自然语言生成NLG指将机器理解的语言转换为自然语言文本，即机器可以自动生成字、词、句和篇章。自然语言理解NLU以句子分析为基础，通过分析句子中的词法、句法、语义，实现对一句话的细致拆解。NLU技术包括词法分析、句法分析和语义分析等方面，旨在使计算机能够理解自然语言文本的含义和意图。01词法分析对输入的文本序列分割成词法单元（Token），并标记每个词的词性02句法分析将自然语言的复杂句子结构化为更易理解的形式，使计算机能更好地理解语言的语法和语义层面03语义分析理解和解释文本中单词、短语和句子的含义及其相互关系的过程04语用分析语言在具体语境中的使用和理解词法分析010203分词分词指将连续的汉字文本序列精准切分为独立的词汇单元。分词是中文所特有的词法分析任务。主要问题：歧义和未登录词。歧义：组合型歧义、交集型歧义和真歧义。未登录词：不在词汇表中的词词性标注词性标注是指为分词结果中的每个词语标注一个正确的词性。方法：早期依赖规则；现在基于统计的词性标注；命名实体识别属于未登录词识别的范畴，从非结构化文本中精准识别出具有特定意义的实体，并将其归类到预定义的类别中。方法：基于规则和字典匹配；基于统计机器学习的方法问题：实体类别和边界的模糊性；通用和特定领域的识别问题。4词向量把序列文本分词之后生成的词语，从原本稀疏、高维且难以计算的表示形式，转化为稠密、低维且连续的向量表示。表示方法：One-Hot编码和分布式表示句向量是一种将自然语言中的句子映射为固定长度向量空间中的向量。方法：基于词向量的后处理和直接生成句向量句法分析句法分析的目的在于分析句子，得到句子的语法结构，并以结构化的形式呈现出来，常见的呈现方式为句法树。通过建立词语间的层级关系，可以揭示句子的深层语义结构。依存句法分析依存句法分析关注词语之间的依赖关系，标识出每个词语的“头词”和它们之间的关系。在依存句法树中，句子的每个词语（除了根）都有且只有一个“头词”，表示语法依赖关系。成分句法分析成分句法分析将句子分解为它们的语法成分，如名词短语、动词短语等。每个成分都有一个标签表示其句法类别，并形成一棵树状结构，称为成分句法树。语义分析语义分析涉及对文本的意义进行解析和理解，包括词汇本身的意义、它们在特定上下文中的含义，以及文本中表达的更深层次的意图和信息语义角色标注语义角色标注是对句子中的谓词及其相关论元（句子中的名词或名词短语等）进行语义角色识别和标注的过程，旨在明确句子中各个成分在语义层面上的角色和功能词义消歧词义消歧是根据词语所处的上下文语境确定其在特定句子或文本中确切词义的过程，以消除因一词多义现象导致的语义模糊性，使计算机能够准确理解文本含义关系抽取关系抽取是指从自然语言文本中识别并提取出实体之间存在的语义关系，将非结构化的文本信息转化为结构化的知识表示语用分析语用分析不仅要理解词语和句子本身的字面含义，还要考虑说话的情境、说话者的目的、听话者的背景以及语言使用的社会文化环境等因素，以便更全面、准确地把握语言在具体语境中的意义和作用。语境理解语境理解通过分析文本的上下文环境，例如对话的前文内容、当前所处的场景、涉及的人物关系等，来构建一个完整的语境模型。意图识别意图识别通过分析语言的特征，如词汇选择、句子结构、语气等，来推断说话者的意图。情感分析情感分析则用于判断文本中所包含的情感倾向，是积极、消极还是中性的情感。自然语言生成123简单的数据合并是将获取的数据按照一定的格式要求，直接进行简单的组合和拼接，形成自然语言文本。“您的账户余额为[X]元，本次消费[Y]元，剩余余额为[Z]元”模板化的NLG基于预先设计好的语言模板，将相关的数据和信息填充到模板的特定位置，从而生成自然语言文本。“[比赛项目]比赛中，[队伍A]以[比分]战胜了[队伍B]。”高级NLG对输入的信息进行深入的语义理解、知识推理和语境分析，根据复杂的需求和情境自主地生成高质量、富有表现力和个性化的自然语言文本，通常需要大量的数据训练和复杂的模型架构来实现自然语言生成是指让计算机能够根据给定的一些结构化数据、语义信息或特定的知识表示自动生成符合人类语言表达习惯、语义通顺且有意义的自然语言文本的技术。包含三个层次：自然语言生成1.内容确定明确目的和任务；根据生成目标，收集信息；对筛选后的信息进行组织和规划。2.文本结构化根据内容确定文本的整体框架和组织形式；将文本的每个段落确定明确的主题；确定段落之间以及段落内部句子之间的逻辑关系。3.句子聚合将生成的各个独立的句子或短语按照文本结构和逻辑关系合并，形成更完整、更连贯的文本片段。4.语法化根据目标语言的语法规则，对句子进行语法结构的调整和完善；句法分析，确保句子的结构符合语法规范；对生成的句子进行语法错误检查5.参考表达式生成生成文本中涉及的各种实体，确定指代和描述；将实体的属性和它们之间的关系转化为自然语言表达式；处理数量、范围和程度等量化和限定信息6.语言实现根据生成文本的风格、语境和表达需要选择最合适的词汇来表达语义；根据生成任务的要求和目标受众调整文本的语言风格；文本进行润色和校对。03语言模型语言模型的概念基本含义语言模型是对自然语言的规律进行学习和建模的工具，它通过对大量文本数据的学习，构建出关于词序列概率分布的模型。核心功能一是预测功能，即在给定前文语境的情况下预测下一个最可能出现的词；二是评估功能，即判断一个给定的文本序列在语法、语义和语用等层面的合理性与流畅性数学含义从数学角度来看，由n个词按顺序排列组成的词序列，语言模型的核心任务是计算词序列出现的联合概率。语言模型发展阶段统计语言模型统计语言模型基于统计方法，通过对大规模语料库中词的共现频率进行统计分析，来计算词序列的概率分布，从而预测下一个词出现的概率神经语言模型神经语言模型利用神经网络的非线性拟合能力，自动学习语言的复杂模式和特征，能够处理变长的输入序列，对上下文信息的捕捉能力更强。预训练语言模型预训练语言模型在大规模无监督文本数据上进行预训练，学习通用的语言知识和语义表示，适用于多种NLP任务。大语言模型大语言模型通过层叠的神经网络结构，在海量文本数据上进行预训练，展现出强大的语言理解和生成能力。提示词工程基本含义提示词是用户向模型提供的输入，用于引导模型生成特定类型、主题或格式的文本输出。这种输入可以是一个问题、一个描述、一组关键词或上下文信息，它告诉模型用户希望得到的输出类型和内容。提示词的核心要素包括明确的任务指示、相关上下文、示例参考、用户输入以及具体的输出要求。指示指想要模型执行的特定任务或指令；上下文指包含外部信息或额外的上下文信息，引导语言模型更好地响应；例子指通过给出具体示例来展示期望的输出格式或风格；输入指用户输入的内容或问题；输出指定了大模型输出的类型或格式。提示词技术1·2·3·零样本提示在不提供任何示例的情况下，直接向模型输入一个问题或指令，依靠模型自身已有的知识和语言理解能力来生成回答少样本提示少样本提示通过在提示中提供少量示例来引导模型生成特定结构或模式的输出。这些示例就像是模型的学习范例，向模型展示了用户期望的答案形式。思维链提示引导模型逐步进行推理和思考，将一个复杂的问题分解为多个中间步骤，通过生成一系列中间推理过程来得出最终答案。4·上下文提示为模型提供与当前对话或任务相关的具体细节和背景信息，有助于模型更好地理解问题的细微差别，模型在生成回答时能够结合这些信息，给出更准确、更符合语境的答案。5·角色提示在与语言模型交互时，为模型指定一个特定的角色身份，影响其输出的语气和风格，模型会以这个角色的口吻、立场、知识背景和语言风格来生成文本内容。04NLP的应用机器翻译基于规则的翻译处理源语言句子时，首先借助语法分析工具，将句子拆解成符合语法规则的结构，清晰界定句子成分之间的关系。然后依据预先设定好的翻译规则，把源语言的语法结构和词汇逐一映射到目标语言统计机器翻译基于概率模型，从双语对应语料中自动学习出两种语言相对应的语言片段，对每个可能的翻译候选，得到一个基于映射表的翻译概率，同时得到一个基于语言模型的语言概率，将这两个概率相乘，选择乘积最大的翻译候选，即是原句的最佳翻译。神经机器翻译神经网络以词向量和句向量的方式学习词和句子的语义信息，从而实现对语义的“理解”。通过将源语言句子编码成一个连续的向量表示，该向量蕴含了句子的语义信息，随后借助解码过程将其转换为目标语言句子。文本分类基于机器学习的分类算法基于机器学习的文本分类算法是利用已有的标注数据进行模型训练，从而实现对新文本的分类预基于深度学习的分类算法深度学习模型在文本分类领域展现出强大的能力，能够自动学习文本中的复杂特征，对文本进行分类。文本分类是将文本分配到预先定义的类别中的任务，在信息检索、新闻分类和邮件筛选等领域应用广泛。情感分析基于词典的方法依赖预先构建的情感词典，词典中收纳了大量带有明确情感极性的词汇；再逐一匹配情感词典中的词汇，根据匹配到的词汇情感极性来推断整个文本的情感倾向。基于机器学习的方法利用已标注好情感倾向的数据语料作为训练集，采用机器学习算法，通过训练模型来学习不同情感类别的模式和特征，根据学到的知识对新的文本进行情感分类。基于深度学习的方法利用深度学习技术对文本所表达的情感倾向进行自动判断。优点：能够自动进行特征学习；具有强大的表示能力；模型适应性强。05知识图谱知识图谱概念知识图谱是一种结构化的知识库，以图的形式表示和存储现实世界中的实体、概念及关系，便于计算机理解和处理知识。识图谱的基本组成单位是形如“（实体，关系，实体）”的三元组。其中，实体通过关系相互连接，构成了一个网状的知识结构。实体是指现实世界中的具体事物，概念则是对实体的抽象概括，关系则描述了实体与实体之间、实体与概念之间的联系。知识抽取从各种数据源中提取知识元素，将非结构化或半结构化数据转化为结构化知识的过:实体抽取：从文本数据中识别出具有特定意义的实体关系抽取：从文本中抽取出实体之间的语义关系属性抽取：文本中抽取实体的属性信息知识融合指将从不同数据源中抽取的知识进行整合，消除知识之间的冲突和冗余，形成统一的知识图谱实体对齐：判断不同数据源中的实体是否指向同一真实世界对象的过程知识合并：将对齐后的实体的知识进行合并，消除知识之间的冲突和冗余的过程知识推理利用已有的知识图谱，通过推理规则和算法推导出新的知识或结论的过程基于规则的推理：通过制定一系列的推理规则来推导出新的知识基于机器学习的推理：利用机器学习算法从数据中学习知识之间的关联和模式图谱构建方法知识图谱的应用010203智能搜索智能搜索利用先进的算法和大数据技术，通过理解用户的查询意图，提供更加精准、个性化的搜索结果，极大地提升了信息检索的效率和用户体验。智能问答智能问答系统借助知识图谱来理解用户问题，并从知识图谱中检索相关知识生成答案。推荐系统在电商推荐系统中，知识图谱整合了商品的属性、用户的购买历史、浏览行为以及商品之间的关联关系等多方面知识为用户进行推荐。知识图谱的应用0405医疗领域知识图谱在医疗领域发挥着重要作用，整合了疾病症状、诊断方法、治疗方案和药物信息等多方面的知识，辅助医生进行诊断决策。金融领域在金融风险评估方面，知识图谱整合了企业的财务数据、股权结构、信用记录和行业动态等信息。在评估企业贷款风险时，通过知识图谱分析企业的财务状况，如资产负债率、盈利能力等；在投资决策方面，知识图谱可以帮助投资者分析不同投资产品之间的关联关系06NLP实践IMDb数据集NLP领域经典的影评数据集，包含50000条影评，分为训练集和测试集，且每条影评都标注了正面或负面情感，适合进行情感分析；同时可根据电影类型（如剧情、科幻和喜剧等）进行文本分类，该数据集可以通过torchtext库方便地加载PyTorch实践020301数据加载和预处理加载IMDb影评数据集的，去掉语料中的停用词,并对文本进行分词，创建并加载训练集和测试集。可视化情感分析使用TextBlob库对IMDb影评数据集中的影评文字进行情感分类，并使用Matplotlib库将情感分析结果以柱状图的形式进行可视化展示文本分类模型构建基于PyTorch架构，构建用于文本情感分类的神经网络模型04模型训练将模型在训练集上进行训练，每个训练回合结束后，打印训练的损失值数据加载数据预处理数据集构建可视化情感分析可视化情感分析文本分类模型构建分类模型训练THANKS！感谢！第七章计算机视觉任课教师:CONTENT目录计算机视觉概述01数字图像基础02计算机视觉的基本任务03深度生成模型04计算机视觉应用05计算机视觉实验0601计算机视觉概述视觉及计算机视觉概念视觉感知的生理基础人类通过眼睛接收外界信息，经过大脑处理后形成视觉感知。这一过程为计算机视觉的发展提供了生物学上的启示。目标通过计算机来模拟人类视觉系统的功能，使计算机能够从图像或多维数据中获取有用信息，并做出相应的判断和决策。计算机视觉定义计算机视觉（CV）是一门研究如何使计算机“看懂”图像和视频，从而理解和处理视觉信息的科学。涉及对数字图像的获取、处理、分析和理解，并从中提取高维数据以供进一步处理。涉及计算机科学、人工智能、信号处理和神经科学等。计算机视觉的发展历史010402早期探索阶段20世纪60s-70s，CV聚焦于图像低级特征提取，如边缘、角点等，出现了Sobel、Roberts等经典算法.几何和推理阶段20世纪80s-90s,研究方向转向几何形状的表示与推理。霍夫变换作为重要技术被广泛应用。深度学习的崛起2010年代至今，特别是CNN在图像识别等领域取得突破，GAN和扩散模型，Transformer架构等。03统计学习阶段21世纪初前10年，统计学习方法在计算机视觉中得到广泛应用。如，SVM等。实时目标检测利用先进的计算机视觉技术，安防监控系统能够实时识别并跟踪监控视频中的行人和车辆，有效预防犯罪行为。智能交通管理通过分析交通流量数据，智能交通系统可以优化信号灯控制，减少拥堵，提高道路使用效率和驾驶安全。违章行为自动识别采用计算机视觉算法，自动检测和记录交通违章行为，如非法停车、逆行等，提升交通法规的执行力度和效率。计算机视觉的应用_安防监控与智能交通CV在医学影像中的应用计算机视觉技术在医学影像处理中发挥着重要作用，能够辅助医生进行疾病诊断，提高诊断的准确性和效率。病变区域检测与分析计算机视觉算法可以对X光、CT、MRI等医学影像进行分析，检测出病变区域，为医生提供诊断参考。手术导航与辅助增强现实(AR)技术结合计算机视觉，为医生提供手术导航和辅助，提高手术的精准度和安全性。010302计算机视觉的应用_医学影像处理产品质量检测中的应用通过高精度的图像分析，计算机视觉技术能够快速识别产品表面的微小缺陷和尺寸偏差，显著提高生产线上的质量控制效率。机器人视觉感知能力的提升利用先进的目标识别和定位算法，计算机视觉赋予机器人更精准的视觉感知能力，使其能在复杂环境中有效执行任务，如自动分拣和搬运。自主导航系统的开发与应用结合计算机视觉技术，机器人能够在没有外部指导的情况下安全地在复杂环境中移动，避免障碍物，这在物流和仓储管理中尤为重要。计算机视觉的应用_工业制造与机器人技术02数字图像基础二值图像特点:二值图像的定义二值图像是一种特殊的数字图像，其每个像素点只有两种可能的颜色值，通常用0表示黑色，用1表示白色。二值图像的应用场景二值图像在计算机视觉中有着广泛的应用，如文字识别、形状识别等，因其简单性和高效性而受到青睐。二值图像的优点二值图像的主要优点是数据量小，处理速度快，易于存储和传输，因此在许多实时图像处理系统中被广泛使用。根据数字图像中每个像素所代表的信息不同，可将图像分为二值图像、灰度图像和RGB图像等。灰度图像表示灰度图像的定义灰度图像，也称为灰阶图像，是一种每个像素由0到255的亮度值表示的图像。其中，0表示黑色，255表示白色，0-255表示不同的灰度级。灰度图像的特点灰度图像的特点是能够通过不同的亮度值来表示图像的各种细节和层次，使得图像更加丰富和立体。灰度图像的应用灰度图像在计算机视觉中有着广泛的应用，如图像处理、特征提取等，是计算机视觉技术的重要组成部分。RGB图像构成RGB颜色模型基础RGB图像由红、绿、蓝三个颜色通道组成，每个通道的强度值范围从0到255，通过组合这三个通道的不同强度值，可以产生约1677万种颜色。像素与颜色深度在RGB图像中，每个像素点都由三个字节表示，分别对应红、绿、蓝三种颜色的强度值，这种表示方法称为颜色深度，常见的有24位真彩色。颜色混合原理RGB颜色模型基于加色混合原理，即通过红色、绿色和蓝色光的不同比例混合来产生新的颜色，这是数字图像处理中常用的颜色表示方法。123图像视觉特征图像视觉特征包括边缘、轮廓、形状和纹理等，这些特征能够直观地反映图像的外观和结构，是理解和分析图像的基础。图像统计特征图像统计特征如直方图特征、矩特征等，通过数学方法对图像进行量化描述，为图像处理和分析提供重要信息。特征提取分类及方法图像特征提取‌是指从图像中提取出具有代表性的特征，以便计算机能够更好地理解和处理图像。根据相对尺度可分为全局特征提取和局部特征提取两类；特征提取方法包括传统方法和深度学习方法。图像特征提取全局与局部特征全局特征提取全局特征提取关注图像的整体表征，如颜色、纹理和形状等，通过分析整幅图像来获取其总体信息，适用于需要整体理解图像内容的场景。局部特征提取局部特征提取专注于图像的特定区域，如边缘、角点或纹理细节，通过识别这些关键区域的独特属性来捕捉图像的重要特征，常用于目标检测和识别任务。深度学习在特征提取中的应用深度学习方法利用深度神经网络自动从大量数据中学习具有代表性的特征表示，能够有效处理各种图像变化，提高特征提取的准确性和稳健性。传统特征提取方法--SIFT算法原理SIFT特征生成SIFT算法首先从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量，确保特征的不变性，为后续匹配提供基础。特征向量匹配在SIFT算法的第二阶段，通过比对不同图像中的特征向量，实现关键点的精确匹配，广泛应用于图像匹配和目标识别领域。抗干扰能力SIFT方法能有效减少由遮挡、杂乱和噪声引起的低提取概率问题，提高特征提取的准确性和稳健性。传统特征提取方法--HOG算法应用HOG算法在目标检测中的应用HOG算法通过计算图像中每个像素的梯度大小和方向来提取图像的局部特征，这些特征能够很好地描述图像中目标的轮廓和形状，主要用于目标检测和图像识别任务。HOG算法对光照、尺度变化和几何变形的稳健性HOG算法对光照、尺度变化和几何变形的稳健性较强，适用于复杂场景下的目标检测，能够有效地从复杂背景中识别出目标物体。HOG算法的基本思想和实现步骤将图像分割成小的单元（cells），计算每个单元内的梯度方向和强度，构建梯度直方图。通过对整个图像的梯度直方图进行归一化和连接，得到一个用于描述图像特征的向量。010203深度学习特征提取---CNN010203卷积神经网络的基本原理卷积神经网络通过模拟生物视觉系统的处理方式，利用局部连接、参数共享和稀疏性等特性，有效提取图像中的空间层次特征。深度学习在图像识别中的应用深度学习技术，尤其是卷积神经网络，在图像识别领域取得了突破性进展，能够自动学习并提取复杂数据中的高级特征，极大提高了识别准确率。CNN模型的训练与优化训练CNN模型涉及前向传播计算预测值、反向传播计算梯度以及更新网络权重三个步骤，通过不断迭代优化，提升模型性能和泛化能力。卷积层作用0103卷积层的基本功能卷积层通过执行卷积操作，自动从输入图像中提取局部特征，如边缘和纹理，无需人工设计特征提取器。特征图的层次构建随着网络深度的增加，卷积层逐步构建从简单到复杂的特征表示，浅层捕捉基本元素，深层则识别更复杂的结构。高级特征的抽象与组合通过多层卷积和池化操作，CNN能够将低级特征组合并抽象为高级特征，有效提升对图像内容的理解和分类能力。02特征层次构建010203卷积层的基础特征提取卷积层通过应用多个卷积核，自动从输入图像中学习并提取边缘、纹理等基础视觉特征，为后续复杂特征的构建打下基础。激活函数引入非线性激活函数在神经网络中引入非线性因素，使得模型能够表达更复杂的数据关系，增强网络对不同特征的识别能力。池化层的降维与筛选池化层通过降低特征图的空间尺寸，减少参数数量和计算复杂度，同时保留重要信息，提高网络的泛化能力和稳健性。03计算机视觉的基本任务计算机视觉基本任务计算机视觉通常包括图像分类、目标定位、目标检测和图像分割这四大基本任务，它们是构建更复杂视觉系统的基础，其他的关键任务大多也是在这四大基本任务的基础上延伸开来的‌。图像分类图像分类定义图像分类旨在解决“图像是什么”的问题，通过提取和分析图像特征，将图像分配到特定类别，判断其所属类别。图像分类目的图像分类的目的是通过对图像的特征进行提取和分析，实现对图像的自动识别和分类，提高图像处理的效率和准确性。图像分类应用图像分类在人脸识别、物体识别、自动驾驶等领域有广泛应用，可以帮助系统做出正确的决策，提高智能化水平。图像分类--基本原理特征提取与匹配通过提取图像中的关键特征，并与预训练模型中的类别特征进行比对和匹配，从而确定图像的类别归属。深度学习方法利用深度神经网络自动学习图像的判别性特征，相比传统手工设计特征，深度学习方法在处理复杂图像时表现更优。算法模型多样性图像分类采用多种算法模型，其中卷积神经网络（CNN）被广泛应用。实际应用中通过迁移学习减少训练所需的数据量。图像分类---常用数据集010203ImageNet数据集ImageNet是一个大规模的图像分类、定位和检测的数据集，包含数百万张标注图片，涵盖数千个类别，是深度学习研究的重要资源。CIFAR-10数据集CIFAR-10数据集包含10个不同类别的60000张彩色图像，广泛用于机器学习和计算机视觉领域的算法测试和模型训练。CIFAR-100数据集CIFAR-100数据集是包含100个类别的60000张图像，为研究人员提供了更丰富的数据以进行复杂的图像识别任务。目标定位123图像预处理在目标定位中，首先对输入的图像或视频进行预处理，如去噪、数据增强等，以提高图像质量，为后续的特征提取和位置判断打下基础。特征提取算法从图像中提取与目标相关的特征，如颜色、形状、纹理等，还可以是目标在时间序列中的运动信息，这些特征是定位目标的关键。位置判断利用提取的特征对目标进行位置判断，通常是通过构建分类器或回归模型来实现，这一步是目标定位的核心，决定了目标的准确位置。判断图像中的目标具体在图像的什么位置，包括图像分析、特征提取和位置判断三个步骤：传统算法--基于图像特征匹配特征点检测算法通过SIFT、SURF等算法提取图像中的关键点及其描述子，利用描述子间的相似度进行匹配，以找到目标位置，对变形和光照变化有较好稳健性。模板匹配方法将已知目标模板在待检测图像上滑动，计算每个位置的相似度，归一化互相关算法通过计算互相关系数衡量相似程度，系数接近1表示高相似度。传统与深度学习对比传统算法依赖图像特征和模板匹配，而深度学习通过训练神经网络自动学习特征表示，实现更精准的目标定位和识别。传统算法---模板匹配归一化模板匹配基础模板匹配是一种基本的目标定位技术，通过在图像中滑动已知模板并计算相似度来识别目标位置，适用于简单背景和明确形状的目标。归一化互相关算法归一化互相关算法是模板匹配的一种改进方法，通过计算模板与图像子区域之间的归一化互相关系数，提高了对光照变化和部分遮挡的稳健性。模板匹配应用实例在安防监控领域，模板匹配技术被用于实时跟踪特定目标，如人脸识别系统，通过匹配预存的人脸模板来快速准确地识别个体。深度学习方法---基于回归的CNN算法算法概述算法利用深度神经网络自动学习图像特征，通过全连接层直接预测目标边界框坐标，实现快速且准确的目标定位。实时应用优势该算法计算速度快，特别适用于需要实时处理的场景，如视频监控和自动驾驶系统，能够迅速识别并跟踪目标。单目标定位能力算法擅长于单目标定位任务，例如人脸检测，其精确度和速度使其成为实时人脸识别系统的理想选择。深度学习方法---基于区域的CNN算法010203候选区域生成R-CNN算法首先通过选择性搜索算法，基于颜色、纹理等特征对图像进行分割，合并相似区域生成约2000个可能包含目标的候选区域。特征提取与分类每个候选区域被缩放到固定大小后输入预训练的CNN中，提取最后一层卷积层的输出作为特征表示，并使用SVM分类器进行分类。边界框回归与优化利用边界框回归器学习候选区域与真实边界框之间的偏移量，调整候选区域位置，使其更准确地贴合物体边界，提高定位精度。应用领域010203自动驾驶自动驾驶技术通过目标检测和定位，实现车辆对周围环境的感知与理解，从而在无需人工干预的情况下安全驾驶。安防监控安防监控系统利用图像分割和目标检测技术，实时分析监控画面，有效识别并跟踪可疑行为或物体，提高安全防护水平。医疗影像分析在医疗领域，图像分割帮助医生从复杂的医学影像中准确识别病变区域，为疾病诊断、手术规划提供重要依据。010203目标检测的定义目标检测是一种结合分类和定位算法的技术，旨在解决图像中“哪里有哪些哪种类别的目标”的问题。目标检测的任务找出图像中所有感兴趣的目标，确定他们的类别和位置，通常涉及候选区域生成、特征提取、定位与分类等三个主要阶段。目标检测的应用目标检测在安防监控、工业检测、智能零售等多个领域有着广泛且典型的应用，如周界防范与入侵检测、产品质量检测、消费者行为分析等。目标检测核心步骤010203候选区域生成目标检测的首要步骤是生成图像中可能包含感兴趣对象的区域，这些区域被称为候选区域。常用的方法包括滑动窗口法、选择性搜索法和区域提议网络。特征提取对输入图像进行特征提取和分析是目标检测的核心，通过深度学习方法如CNN自动学习特征，以有效区分不同类别的信息。分类与定位在候选区域及其特征生成之后，接下来就是对这些候选区域进行分类和定位，实现方式有单阶段检测器和两阶段检测器等两类。候选区域生成方法：滑动窗口法概述滑动窗口法是一种在图像中生成候选区域的方法，通过不同大小的窗口遍历图像，对每个窗口进行分类，以检测目标物体。实现步骤滑动窗口法首先选择不同大小的窗口，然后在图像上从左到右、从上到下地滑动，每次滑动时对当前窗口进行分类。优缺点滑动窗口法的优点是可以检测到不同大小的目标，但缺点是计算量大，且可能会产生重复的检测结果。候选区域生成方法：选择性搜索法选择性搜索法概述选择性搜索法通过合并图像中的相似或连续区域来提取边界框，这种方法首先对图像进行分割，然后根据子区域间的相似性进行迭代合并。区域合并过程在选择性搜索法中，小的子区域根据颜色、纹理等特征被不断合并，每次迭代都生成新的外切矩形作为候选框，以适应不同大小和形状的目标对象。候选框生成策略选择性搜索法的核心在于有效地生成高质量的候选框，这些候选框是通过分析图像中物体可能存在的区域的连续性和相似性得出的。候选区域生成方法：区域提议网络区域提议网络概述区域提议网络是FasterR-CNN目标检测算法的核心部分，通过在输入图像的特征图上滑动窗口，预测目标得分和边界框偏移量两个值。锚框机制锚框是以图像中某个位置为中心，在不同尺度和比例下生成的固定大小的矩形框，用于适应不同大小、形状和姿态的目标对象。特征提取与分类对于每个锚框，使用RoI池化或RoI对齐层来提取特征，这些特征被传递到全连接层或其他类型的网络层中，并输出目标得分和边界框偏移量两个参数。特征提取方法：传统方法010203手工设计特征描述子传统目标检测方法依赖于如SIFT、SURF等手工设计的特征描述子，这些方法通过提取图像中的关键特征点来识别和匹配对象。特征提取的局限性虽然手工设计的特征描述子在某些场景下有效，但它们在处理光照变化、视角变换时表现出一定的局限性，难以适应复杂多变的环境。深度学习的兴起随着计算能力的提升和大数据的出现，深度学习方法逐渐取代了传统方法，通过自动学习图像特征，提高了目标检测的准确性和稳健性。特征提取方法：深度学习方法深度学习在目标检测中的应用深度学习方法通过自动学习特征，提高了目标检测的准确性和稳健性，尤其在处理光照变化和视角变换时表现出色。CNN的角色CNN在深度学习中扮演关键角色，通过层次化的特征提取，有效捕捉图像中的复杂结构和模式，为精确的目标定位提供支持。从传统到现代的演变目标检测技术从依赖手工设计特征的传统方法，发展到利用深度学习自动提取高级特征，大幅提升了检测性能和应用范围。分类与定位：单阶段检测器010302YOLO系列检测器YOLO系列采用单阶段检测方法，通过单次前向传递同时完成分类和回归任务，实现快速的目标检测。SSD检测器SSD是一种高效的目标检测算法，它直接在特征图上进行预测，无需生成候选区域，提高了检测速度。单阶段与两阶段对比单阶段检测器如YOLO和SSD直接进行分类和回归，而两阶段检测器如FastR-CNN先生成候选区域再进行精细分类，两者各有优劣。两阶段检测器概述两阶段检测器首先使用区域提议网络（RPN）生成候选区域，然后对这些候选区域进行精细的分类和边界框调整，通常能获得更高的精度但速度较慢。RPN的作用RPN是FasterR-CNN目标检测算法的核心部分，它在输入图像的特征图上滑动窗口，针对每个窗口预测目标得分和边界框偏移量两个值。两阶段检测器的应用两阶段检测器在安防监控、工业检测、智能零售等多个领域有着广泛且典型的应用，如周界防范与入侵检测、产品质量检测、消费者行为分析等。分类与定位：两阶段检测器010203安防监控可实现周界防范与入侵检测，目标检测技术可以通过分析监控视频中的图像信息，准确识别是否有人员或车辆非法闯入工业检测目标检测技术可以对产品进行实时检测，快速识别出产品表面的缺陷，如划痕、裂纹、孔洞等，以及产品的装配是否正确。智能零售在零售店铺内安装摄像头和传感器，利用目标检测技术可以对消费者的行为进行分析。应用领域图像分割：语义与实例分割语义分割的定义与应用语义分割是一种像素级别的分类任务，将图像中的每个像素分配到预定义的类别标签中，常用于理解场景布局，如识别道路、建筑物等。实例分割的独特之处实例分割不仅识别目标物体，还区分同一类别的不同实例，为每个具体对象分配唯一标识符，实现精确感知和区分。实例分割的广泛应用领域实例分割在自动驾驶、安防监控、医疗影像分析等领域有广泛应用，可进行个体跟踪或分析，提高各领域的效率和准确性。图像分割：医学领域应用疾病诊断的革新计算机视觉技术通过分析医学影像，如X光和CT，自动识别异常，辅助医生进行早期疾病诊断，显著提高了诊断的速度和准确性。手术导航与机器人辅助结合实时图像处理，计算机视觉为外科手术提供精确导航，支持机器人辅助手术，增强操作精度，降低风险，加快患者恢复。远程医疗与智能监护利用计算机视觉分析视频监控和图像，实现患者远程诊断和健康监测，智能监护系统能及时发现异常，提升护理效率和安全性。04深度生成模型深度生成模型概述深度生成模型（DeepGenerativeModels）是一类利用深度学习方法生成新样本的模型，它通过学习训练数据的内在结构和模式，生成与训练数据具有相似统计特性的新数据样本，例如图像、文本或音频。深度生成模型包括生成对抗网络和扩散模型。主要类型介绍生成对抗网络（GANs）GANs由IanGoodfellow等人于2014年提出，通过生成器和判别器的相互博弈，生成逼真的数据样本，广泛应用于图像生成、风格迁移等领域。扩散模型（DiffusionModel）扩散模型基于概率论，模拟从数据分布到简单噪声分布的逐渐“扩散”过程，再通过学习逆过程重构高质量数据样本，应用于图像和声音合成。变体与扩展随着深度生成模型的发展，各种变体和扩展被提出，如StyleGAN擅长生成逼真人脸图像，CycleGAN实现无监督图像转换，推动技术不断进步。生成对抗网络（GANs）GAN主要包括生成器（Generator）和判别器（Discriminator）。生成器尝试模仿真实数据的分布，生成能够以假乱真的数据。判别器的任务是判断输入的数据是否为真实数据。扩散模型（DiffusionModel）扩散模型包含正向扩散过程和逆向去噪过程两个阶段。通过正向添加噪声和逆向去噪的过程，从随机噪声中重构出高质量的数据样本，展示了概率论在数据生成任务中的应用价值。扩散模型主要有三个类型，去噪扩散概率模型（DDPM），基于分数的生成模型（SGM）和随机微分方程（SDE）。05计算机视觉的应用人脸识别技术图像采集通过摄像头或摄像机等设备获取包含人脸的图像或视频流，为后续的人脸检测和识别提供原始数据人脸检测采用人脸检测算法，如基于Haar特征的级联分类器、CNN算法等，在图像或视频帧中搜索并定位人脸的位置和大小人脸对齐通过定位人脸的关键点如眼睛、鼻子、嘴巴等，实现人脸的标准化处理，消除因姿态和表情变化带来的差异特征提取将人脸图像转换为一组具有代表性的特征向量，这些特征向量能够高度概括人脸的独特信息，用于区分不同的个体特征匹配与识别包含相似度计算和识别决策。在相似度计算阶段，计算待识别的人脸特征向量与数据库中已注册的人脸特征向量的相似度。识别阶段与预设的阈值进行比较判断该人脸的身份信息自动驾驶技术核心技术自动驾驶技术的核心包括环境感知、决策规划和控制执行，通过集成先进的传感器和算法，实现车辆在复杂交通环境中的自主导航。应用场景自动驾驶技术广泛应用于城市道路、高速公路以及特定区域如机场、停车场等，极大地提高了交通效率和安全性。