人工智能通识课件 第5章 人工智能领域技术

人工智能通识第5章人工智能领域技术提纲5.1专家系统5.2自然语言处理5.3计算机视觉5.4计算机听觉5.5多模态技术提纲5.1专家系统5.2自然语言处理5.3计算机视觉5.4计算机听觉5.5多模态技术什么是专家系统专家系统专家系统是一种模拟人类专家思维、判断和决策的计算机程序。专家系统的核心是：“知识”（如疾病症状与病因的关系、矿产形成的规律）“推理”（思考方法，如果...那么...）专家系统的结构专家系统由知识库、推理机、人机接口组成。知识库（KnowledgeBase）：里面存着领域专家的所有知识。推理机（InferenceEngine）：负责用知识库的知识解决问题。人机接口（UserInterface）：相当于“对话窗口”。专家系统的知识从哪里来？识获取的四个环节01.知识抽取从知识源中识别、理解、筛选、归纳出有用的知识。02.知识转换将知识从一种形式（自然语言、图形、表格）变换为计算机可识别的形式。03.知识输入通过编译系统将知识转换为系统可直接利用的内部形式并送入知识库。04.知识检测对知识进行检测，以发现并纠正可能存在的不一致、不完整问题。抽取：收集症状与建议（书籍/访谈）转换：IF打喷嚏THEN建议喝水输入：录入诊断规则到知识库检测：检查规则矛盾与遗漏专家系统怎么推理？正向推理：从已知条件推结论逆向推理：从结论反推需要满足的条件Fr3EandCABDr2r1and初始假设推理规则已知事实r1：IFAandBTHENCr2：IFCandDTHENEr3：IFETHENFFr3EandCABDr2r1and初始假设推理规则结论一个专家系统的例子20世纪70年代斯坦福大学开发的一种医学专家系统MYCINMYCIN能根据患者症状与实验室数据，判断可能感染的病原体并推荐具有较高置信度的抗生素组合，推理过程透明、解释性强，是专家系统的重要里程碑。IF条件1AND条件2AND...THEN结论（置信因子CF）IF菌种是革兰氏阴性杆菌AND感部位是血液THEN大肠杆菌感（CF=0.7）MYCIN规则结构：MYCIN规则例子：使用逆向推理方式提纲5.1专家系统5.2自然语言处理5.3计算机视觉5.4计算机听觉5.5多模态技术什么是自然语言处理自然语言是指在人类社会中自然形成的语言，是人类交流和思考的主要工具，如汉语、英语、法语等。自然语言处理（NaturalLanguageProcessing，NLP）致力于研究如何使计算机能够理解、生成和处理自然语言。自然语言理解(NaturalLanguageUnderstanding，NLU)让计算机理解人类语言中的含义，核心目标是把自然语言转化为结构化、可处理的机器内部表示。自然语言生成(NaturalLanguageGeneration，NLG)让计算机用自然语言“说”或“写”出来，也就是把计算机内部的信息或数据转化为自然语言文本或语音输出。自然语言处理两大核心任务自然语言处理的主要任务信息抽取识别给定自然语言文本中的实体及其关系。例如“北京是中国的首都”，识别“中国”“北京”两个实体，并提取它们的关系“首都”。用（中国，首都，北京）三元组表示。自动文摘根据输入的一大段文本，自动生成文本摘要。文本分类根据预定义的类别标签对给定的文本进行自动归类。情感分析对文本中表达的情感进行分析、处理及归纳，通常用于判断文本是表达正面、负面还是中性情感。文本生成根据输入的上下文生成新的文本内容，生成的文本通常与给定的输入相关联，广泛应用于对话系统、自动写作、内容创作等领域。自动问答根据用户提出的问题，从给定的文本或知识库中自动生成答案，常用于智能助手、在线客服等系统。机器翻译将以一种语言表示的文本翻译成另一种语言。自然语言处理的基本方法基于规则的方法这种方法通过人工制定的规则来分析和处理语言。基于机器学习的方法这种方法通过让计算机从大量的语言数据中学习规律，而不是手工编写规则。基于深度学习的方法深度学习是机器学习的一种特殊方法，它通过模拟人脑神经网络的方式处理语言。基于大模型的方法随着大模型的发展，众多自然语言处理任务都可通过大模型进行处理。现代自然语言处理的核心——语言模型语言模型（LanguageModel，LM）是一种用来对自然语言中的词序列进行建模的数学模型，通过处理和分析大量文本数据，能够预测下一个词出现的概率。现代自然语言处理的核心——语言模型

N元（N-gram）语言模型

例：二元语言模型

收集的文本：他/喜欢/香蕉我/喜欢/香蕉我/吃/苹果我/喜欢/苹果神经网络语言模型神经网络语言模型（NeuralNetworkLanguageModel，NNLM）是一种基于神经网络的方法，旨在通过学习文本数据的复杂模式和词之间的关联来进行语言建模。神经概率语言模型将每个词映射为一个向量（词向量）来计算。猫垫子上面词向量神经网络语言模型输入层：单词表示为词向量隐藏层：用非线性变换捕捉词之间的复杂关系输出层：用Softmax函数生成下一个词的条件概率分布机器翻译MachineTranslation，MT机器翻译指的是用计算机程序将一种自然语言文本翻译成另一种自然语言文本的自动化转换过程。基于规则的系统——>基于统计的方法——>深度学习大语言模型。机器翻译MachineTranslation，MT神经网络机器翻译模型，核心由编码器与解码器两部分构成。编码器将源语言文本转化为蕴含语义信息的向量表示解码器则基于源语言向量逐步生成目标语言的对应译文，实现从语义编码到语言生成的完整转化。提纲5.1专家系统5.2自然语言处理5.3计算机视觉5.4计算机听觉5.5多模态技术计算机视觉计算机视觉是赋予机器感知和理解图像视频的能力，让机器能够“看见”并“认知”视觉信息，是人工智能感知世界的核心技术之一。底层视觉——1.图像获取与表示图像的本质是光信号的记录与再现可见光是波长400～700纳米的电磁波，物体颜色取决于其反射光的波长分布。三原色理论：人眼的视锥细胞感知红、绿、蓝三种基色，其他颜色可由这三种基色按不同比例混合而成底层视觉——1.图像获取与表示针孔相机模型假设光线通过一个极小的针孔进入相机，实际相机使用透镜替代针孔，以增加进光量并缩短成像距离图像采集设备包括镜头、快门、光圈和传感器底层视觉——1.图像获取与表示图像传感器只能感应光线的强度，通常使用像素滤光片记录不同颜色。拜耳滤波器中红、绿、蓝感光单元以特定模式分布，形成像素点。光线被滤光片分解为单色光，传感器记录下每个像素点的光强。底层视觉——1.图像获取与表示实世界中人类所看到的图像，其色调和亮度是连续过渡的。现代相机所获的图像是离散化的，其中有两个关键环节：采样和量化。采样是按照一定的间隔在x和y方向上采集样本点，这些样本点就是像素。量化则是对连续的亮度或颜色信息进行离散化。RGB颜色表示底层视觉——2.图像滤波与增强图像滤波是图像处理的基本操作，常采用某种邻域操作改变像素值分布，以去除图像中的噪声，并尽可能保留图像边缘、细节等重要信息。线性滤波(LinearFiltering)核心原理：基于线性卷积运算实现，严格遵循叠加原理。通过预设的固定权重矩阵（卷积核）对图像进行扫描，输出值是输入邻域像素的加权线性组合。均值滤波邻域像素取平均高斯滤波加权距离衰减方框滤波等权核卷积非线性滤波(Non-linearFiltering)核心原理：根据像素局部特性（如灰度值排序、统计分布）动态调整滤波方式，不遵循线性叠加准则，在抑制噪声的同时能够更好地保留图像的边缘信息。中值滤波排序取中间值最大值滤波排序取极大值最小值滤波排序取极小值底层视觉——2.图像滤波与增强——线性滤波均值滤波底层视觉——2.图像滤波与增强——线性滤波高斯滤波基于具有良好平滑特性高斯函数生成。高斯滤波在抑制噪声的同时，对图像边缘的模糊程度相对均值滤波要小

底层视觉——2.图像滤波与增强——线性滤波方框滤波在一个矩形窗口内的像素具有相同的权重。例如各像素权重都是1，则可以完成窗口内像素值之和的计算。底层视觉——2.图像滤波与增强——非线性滤波中值滤波将区域内的所有像素值按大小进行排序，取排在中间的值作为模板中心像素的新值。中值滤波能很好的抑制椒盐噪声（一种随机出现的黑白点噪声）底层视觉——2.图像滤波与增强——图像增强图像增强目的是改善图像的视觉效果，突出图像中的有用信息，同时抑制无用信息，使图像更适合观察或后续处理。图像增强后的效果评估包括1.主观评估；2.客观评价，如峰值信噪比（PSNR）、结构相似性指数（SSIM）、信息熵等底层视觉——2.图像滤波与增强——图像增强直方图均衡化是基于直方图改变图像的灰度分布，使变换后的图像直方图尽可能均匀分布，从而达到提高图像对比度的目的。原图的直方图（分红绿蓝三个子图）均衡化的直方图（分红绿蓝三个子图）底层视觉——2.图像滤波与增强——图像增强图像锐化的主要目的是增强图像中的边缘、纹理及像素值的不连续区域，以突出图像中的重要细节和结构特征。在图像的频域中低频分量对应图像中的平坦区域高频分量对应图像边缘、纹理及突变处。通过增强高频分量可以实现图像锐化

底层视觉——2.图像滤波与增强——图像增强拉普拉斯算子锐化，可以增强图像的细节，但也会放大图像中的噪声。索贝尔一阶微分算子锐化，对噪声的敏感性较低，能平滑噪声。高层视觉——1.目标检测与识别目标定位：“在哪里有东西”，确定图像视频中目标的位置和大小。目标识别：“这是什么东西”，即对定位出的目标正确地分类。高层视觉——1.目标检测与识别高层视觉——1.目标检测与识别两阶段检测器，如FasterR-CNN，采用“候选区域生成+精细分类”的方式。精度高，但速度慢。阶段1：网络自动提出若干个感兴趣的区域阶段2：对这些区域定位和分类卷积网络特征图背景区域长椅主干网络Backbone检测头Head根据窗找到特征图上对应的区域高层视觉——1.目标检测与识别一阶段检测器，如YOLO、SSD等，速度快，精度也不断提升跳过“候选区域”阶段，直接在整张图像或特征图上预测所有边界框和类别。改进方法引入特征金字塔、注意力机制、Anchor-Free（无锚点）等新思路。(x,y,w,h,objscore)classprobability2×boundingboxes20classesLength=30

主干网络：DarkNet检测头高层视觉——1.目标检测与识别目标检测除了目标定位，还要识别目标（对框内的目标进行分类）目标检测与识别技术广泛应用于各行业，包括以下几方面。（1）安防监控：自动发现画面中的人、车、异常行为等，提高安防效率。（2）医学影像：检测X光或CT中的异常区域，实现早筛早诊。（3）自动驾驶：实时检测和识别行人、车辆、交通标志，保障行驶安全。（4）工业检测：自动检测生产线上产品的瑕疵和缺陷。高层视觉——2.图像理解与分析图像理解与分析是计算机视觉领域中层次更高的任务物体识别与分类识别图像中的各物体及其类别；示例：快速定位并标记出画面中的「人」与「马」。物体间关系分析分析物体之间的空间位置关系和交互关系示例：识别出「人」处于「马」的上方，且存在「骑乘」交互。场景类型理解理解图像所呈现的场景类型示例：结合地貌特征判断场景为开阔的「西部荒野」。行为与事件解读甚至能解读图像中发生的行为动作或事件示例：完整解读为「牛仔正在荒野中骑马奔驰」。通过算法层层解析，将视觉信号转化为可理解、可描述的“知识”，让机器真正理解世界的动态。高层视觉——2.图像理解与分析基于深度学习的图像理解方法则像“博览群书”后的归纳总结。通过学习海量的图像及其对应的语义描述，计算机能自动发现图像内容与语义信息之间的关联规律。高层视觉——2.图像理解与分析图像理解任务的挑战来自图像内容的复杂性和多样性。同一物体在不同场景中可能呈现不同的状态不同物体可能具有相似的外观而且图像中的语义信息往往具有模糊性和歧义性人类理解图像往往依赖于常识和上下文知识，让计算机具备这些知识也是一大难题。高层视觉——3.运动估计与跟踪运动估计与跟踪技术通过分析连续的图像帧，捕捉物体的运动状态，从而实现对动态场景的理解。高层视觉——3.运动估计与跟踪运动估计是指从连续的视频帧中计算出物体或像素的运动信息，包括运动方向、速度大小等。跟踪则特定目标进行持续的定位和追踪。高层视觉——3.运动估计与跟踪运动估计与跟踪技术面临的挑战。首先，视频中的物体可能会出现各种复杂的运动，这增加运动估计的难度。其次，遮挡问题很常见，当一个物体被遮挡时，跟踪系统可能会丢失目标。另外，光照变化、背景干扰等因素也会影响运动估计与跟踪的准确性。早期的传统方法依赖于人工设计的特征和假设，在面对复杂运动和多变场景时表现不佳。高层视觉——3.运动估计与跟踪深度学习技术能够自动学习图像中丰富的特征，在复杂场景下的运动估计精度大幅度提升。多模态信息融合成为提升运动估计与跟踪性能的重要方向。例如自动驾驶中常将摄像头视频数据与激光雷达点云数据融合，能更准确地估计车辆和行人的运动状态，从而有效应对遮挡和复杂光照环境下的挑战。高层视觉——4.三维视觉三维视觉的核心是让计算机从二维图像或其他感知数据中，获取真实世界的三维结构信息，让它“看懂”物体的深度、形状和空间位置。高层视觉——4.三维视觉三维视觉涵盖了立体视觉、结构光、飞行时间（ToF）、激光雷达、单目深度估计等。三维点云、深度图、体素网格、三维重建、语义分割成为关键词。双目立体视觉模仿人类的双眼，双目图形中视差越大，物体离得越近。多视图三维重建，通过多张照片中物体的投影变化，还原出立体形状高层视觉——4.三维视觉早期的三维重建依赖手工设计的特征匹配和几何算法，如通过尺度不变特征变换（SIFT）特征点匹配不同视角的图像，再三角化。在纹理缺失、运动模糊的场景中容易失效。高层视觉——4.三维视觉深度学习的融入彻底改变了三维视觉的技术路径，深度学习模型能自动学习图像中的深层特征，即使是纹理少的区域，也能根据全局场景规律推断深度。高层视觉——4.三维视觉多传感器融合成为提升三维感知可靠性的关键。单一传感器往往有其局限性，将多传感器数据结合使用，能实现“优势互补”。自动驾驶车辆通常同时搭载相机、激光雷达和毫米波雷达，通过融合这些数据，车辆能在复杂环境中稳定感知周围三维环境，保障行驶安全。手机的“深感摄像头”常结合红外结构光与RGB相机，既能快速获取人脸的三维形状，又能捕捉肤色细节，用于人脸解锁与增强现实特效。高层视觉——4.三维视觉提纲5.1专家系统5.2自然语言处理5.3计算机视觉5.4计算机听觉5.5多模态技术计算机听觉计算机听觉就是让计算机像人一样理解声音，让机器能够自动分析、识别、解释声音中的信息。1950年代计算机听觉就已萌发，早期的技术只能识别几句话或者简单的指令。现在，计算机已经能够听懂对话、辨别情绪，还能合成逼真的语音和音乐。将来计算机可以听懂普通话，理解各种方言、不同情感，甚至成为懂我、会聊天的“朋友”。计算机听觉计算机听觉核心内容语音识别与语音合成对声音的综合分析此外，还有声音搜索、说话人鉴别、情感分析等计算机如何“听见”声音人类如何听到声音？简单来说，声音是由物体振动产生的波，这种波通过空气、水等介质传播，当它到达耳朵时，会引起鼓膜振动，然后通过听觉神经传递到大脑，我们就“听”到了声音。计算机如何“听见”声音计算机通过麦克风把声波“抓”住——获取声音的模拟信号麦克风里面有特殊的振动膜，会随着声波而运动，进而带动线圈在磁场中运动，根据电磁感应原理，线圈里就会产生微弱的电信号。这时候的电信号还是模拟信号。计算机如何“听见”声音将模拟声信号转换成数字信号计算机只认识“0”和“1”组成的数字信号。所以，接下来的关键一步就是把模拟信号转换成数字信号，同样要经过采样和量化两个环节。计算机如何“听见”声音数字信号预处理预处理去掉信号里面的“杂质”。例如环境中的风声、电器的电流声等。通过预处理算法，如滤波，把频率在有用声音范围之外的噪声去掉。另外，有时候声音信号的强度可能太弱，预处理还会对信号进行放大。计算机如何“听见”声音声音特征提取通过傅里叶变换这种数学方法，把时域上的数字信号转换到频域，这样就能清楚地知道声音中包含哪些频率的成分，以及它们的强度。声音的振幅决定了响度，振幅越大，声音越响。语音识别语音识别就是把语音信号转换为对应的文字语音识别根据识别对象的不同，可分为特定人语音识别和非特定人语音识别。特定人语音识别只识别特定人的语音，需提前录制使用者语音样本进行训练；非特定人语音识别则可以识别不同人的语音，适用性更广泛；根据识别内容的不同，可分为孤立词识别、连续语音识别和语音理解孤立词识别只能识别单个的词语或短句，比如早期的语音拨号功能；连续语音识别则能处理自然流畅的连续话语，像语音输入法就属于这一类；语音理解则更进一步，不仅能识别文字，还能理解语音中的语义和意图。语音识别基于统计模型的语音识别使用隐马尔可夫模型，通过寻找最可能的状态序列来确定对应的文字序列。基于深度学习的语音识别循环神经网络RNN、LSTM等处理序列数据，适合语音这种时间序列信号；Transformer模型则通过自注意力机制，能更好地捕捉语音信号中的长距离依赖关系，让“听力”变得更强。语音识别“语言模型”，帮助语音识别判断哪些词组组合起来最合理。语言模型用于描述语言的统计规律，比如，哪些词语经常一起出现，哪些句子结构更符合语法规则。比如，当识别结果可能是“我去公园”或“我去工园”时，语言模型会根据“公园”是更常见的词语，选择合理的结果。语音识别——性能评估词错误率词错误率是指识别结果中错误的词数与总词数的比值，词错误率越低越好。句错误率句错误率是指识别错误的句子数与总句子数的比值，即使一个句子中只有一个词错误，也会被算作错误句子。实时率除了准确性，识别速度也是一个重要的指标，通常用实时率来衡量。语音合成语音合成是把文字变成自然流畅的语音在手机导航时听到的“前方右转”，或是互联网客服的播报，这些都是语音合成的典型应用。语音合成的两个主要环节文本分析和预处理生成声音语音合成——1.文本分析和预处理对输入的文字进行语法、语义分析，确定断句、重音、停顿等信息。例如，当输入“我爱中国”这四个字时，语音合成系统首先要明确每个字的读音：“wǒàizhōngguó”。接着确定这句话的重音可能在“爱”和“中国”上，语调应该是积极、昂扬的，停顿主要在词语之间。语音合成——2.生成声音传统方法主要有拼接式合成和参数合成。拼接式合成把录制好的小片段“拼”在一起组成一句完整的话。这种方法简单但不够灵活，经常能听出来明显的“拼接痕迹”。参数合成会用数学模型模拟人说话时的声带、口腔、共鸣腔等的变化，语音自然流畅，不过语音稍显“机器”风格。语音合成——2.生成声音深度学习技术让语音合成变得更加智能和动听，WaveNet、Tacotron等模型，能自动学习语音的细节，生成的声音几乎可以以假乱真，甚至可以让AI模仿特定人物的嗓音，用于个性化语音合成。语音合成——面临挑战如何让机器生成的语音更好地模拟各种方言、口音、情绪和年龄特征？在数据、算力有限的场景下，如何获取优质训练数据并实现实时合成？语音伪造和恶意克隆等是值得关注的伦理问题提纲5.1专家系统5.2自然语言处理5.3计算机视觉5.4计算机听觉5.5多模态技术多模态技术模态是指信息的存在形式或载体，常见的模态包括：文本（文字、符号）图像（静态画面）语音（声音信号）视频（动态画面+声音）传感器数据（温度、湿度、

加速度等信号）多模态技术多模态技术是指能够处理、分析、理解和生成两种或两种以上模态信息的技术，其核心是解决不同模态信息之间的关联、转换和融合问题，实现跨模态的语义理解和知识挖掘。例如，“猫”这个概念可以通过文本“猫”、猫的照片（图像）、猫的叫声（语音）、猫跑动的视频等多种模态来表达。多模态技术多模态技术最初的尝试主要集中在“模态间互操作”，例如，把视频中的声音自动转成文本字幕。近年来，深度学习模型让多模态在内在表示层面实现了协同。对比语言-图像预训练模型（CLIP）、GPT-4o（Omni，全能）这些模型，已实现图像、文本、语音等模态间的自由“对话”与理解，不仅能“同步感知”，还可以“共同推理”。多模态理解多模态理解，顾名思义，就是让机器具备像人一样跨越多种感知渠道的理解力。例如，让AI对一段配图新闻进行理解，不仅要做到认出图中的人、物，还要把图片内容与新闻标题、正文，甚至配套的视频解说互相印证，从而推断出事件的前因后果与影响。多模态理解多模态理解——三个富有挑战性任务（1）检索：例如输入一张图片，系统能在海量文本库里找出最匹配的描述；或者用一句话，准确检索出相关图片或视频片段，实现“以文搜图”“以图搜文”。（2）问答：让AI听懂问题、关联视觉线索给出自然的回答。例如，输入一幅动画片场景，问“主角在做什么？”，系统要理解动画中角色的动作，联想到故事情节作答。（3）推理：AI要能围绕事件进行推理。例如，根据一段事故现场视频+监控音频+文字报警记录，综合还原事故原因、研判现场情况等。多模态理解——三个富有挑战性任务（1）检索：例如输入一张图片，系统能在海量文本库里找出最匹配的描述；或者用一句话，准确检索出相关图片或视频片段，实现“以文搜图”“以图搜文”。（2）问答：让AI听懂问题、关联视觉线索给出自然的回答。例如，输入一幅动画片场景，问“主角在做什么？”，系统要理解动画中角色的动作，联想到故事情节作答。（3）推理：AI要能围绕事件进行推理。例如，根据一段事故现场视频+监控音频+文字报警记录，综合还原事故原因、研判现场情况等。多模态理解——三个关键步骤（1）每种模态都要被高效“表达”，如何从原始数据萃取出具备丰富语义的向量表征，直接决定了后续理解的基础。图像是多维像素矩阵文本则需分词编码语音转化为波形特征向量多模态理解——三个关键步骤（1）每种模态都要被高效“表达”

CLIP模型为例，它包含一个图像编码器和一个文本编码器。通过对比学习，让同一语义的图像和文本向量在空间中距离更近，不同语义的则距离更远。多模态理解——三个关键步骤（2）“对齐”与“融合”，找到不同模态之间的内在对应关系。图文对齐时，模型会通过注意力机制，让每个词语与图片特定区域建立联系；视频场景中，画面帧与语音片段需建立时序关联。融合方式“早期融合”（各模态低层特征先拼接后送入模型）“后期融合”自独立编码、在决策层合并）近年流行的多模态Transformer则能实现跨模态深层交互，大幅提升模型的综合理解水平。多模态理解——三个关键步骤（3）“推理”与“解释”，实现跨模态之间的逻辑推理。例如，系统判断一段新闻配图与正文描述是否一致从视频与解说词中合成完整的事件脉络在有噪声、缺失部分信息的情况下依然给出合理的结论。多模态理解——面临的挑战与新发展模态之间存在“语义鸿沟”图像信息丰富但抽象不易，文本表达精确却难以还原画面细节，语音信号更有时序和情感特性；这三者的高效对齐与融合颇具挑战性。实际应用中模态数据分布不均、缺失及噪声、跨领域知识迁移较难。基于大规模数据的预训练多模态模型（如GPT-4o等）成为热门技术