《工业大数据与人工智能》 课件 第4章 工业中的感知智能

工业大数据与人工智能HFUT1教材简介2工业智能传感与感知工业机器视觉第四章

工业中的感知智能

工业机器听觉人机交互多源信息融合智能传感器

3工业智能传感与感知智能传感器具有实时处理、高精度、自校准和通信能力等特点，相比传统传感器，它更小巧高效，其内部配备了先进处理器，可以实时分析环境参数，并通过通信技术与其他设备互动，弥补了传统传感器感知范围有限和数据处理能力不足的问题智能传感器功能4工业智能传感与感知智能传感器分类

5工业智能传感与感知智能传感器信号处理技术6工业智能传感与感知采样技术滤波技术时频域分析技术7工业智能传感与感知采样技术-奈奎斯特定理核心思想:采样频率≥2×信号最高频率避免混叠(aliasing)定义:对于带限信号：采样频率≥2×最高频率保证信号无失真重建混叠:采样频率过低导致高频成分被误解为低频引起信号失真8工业智能传感与感知滤波技术目的:从含有干扰的信号中提取有用信号分类:模拟滤波器使用电容、电感、电阻等模拟电子元件处理连续时间模拟信号可处理无限带宽信号精度受限，易受噪声影响数字滤波器通过数字信号处理器(DSP)或软件实现处理数字信号具有灵活性和可编程性可以实现复杂算法9工业智能传感与感知时频域分析技术时域分析直接考察信号随时间变化的过程，通过观察信号的波形、幅度、相位等时域特性来理解信号的本质。时域分析主要包括计算信号的均值、方差、自相关函数等统计量以描述信号的集中趋势和波动情况。频域分析将信号从时域转换到频率域，通过分析信号的频谱特性来揭示信号的组成成分及其频率分布。时频域分析结合时域与频域信息，能够同时揭示信号的频率成分随时间变化的情况，特别适用于非平稳信号的分析。10工业机器视觉11工业机器视觉工业图像信号采集技术工业相机镜头光源

12工业机器视觉工业图像处理技术图像增强图像特征提取13工业机器视觉目标检测传统目标检测基于深度学习的目标检测14工业机器视觉自动定位应用:工业自动化机器人技术智能监控医疗影像功能:定位目标物体的位置和姿态15工业机器听觉目标:使计算机系统具备类似人类听觉的能力过程:从捕获声音信号到对其进行深入分析和理解发展历程早期研究:音频信号的基础处理现代进展:利用深度学习提高性能关键技术:深度神经网络用于语音识别和生成技术基础声音信号:语音、音乐、环境噪音传感器:声音传感器信号处理:特征提取（例如Mel频率倒谱系数）数字化:将声音信号转换为数字表示16工业机器听觉工业音频信号采集17工业机器听觉音频信号特征Mel频率倒谱系数（MFCCs）感知线性预测系数（PLPs）滤波器组分析（Filter-bank,FBank）语谱图描绘（Spectrogram）常数Q倒谱系数（Constant-QCepstralCoefficients,CQCCs）18工业机器听觉语音识别高斯混合模型-隐马尔可夫模型深度神经网络-隐马尔可夫模型注意力模型19工业机器听觉语音合成理论基础1960年代:瑞典语言学家提出了线性预测编码(LPC)，这是一种基于声道模型的理论，为后续的语音合成技术奠定了基础。技术进步1980年代:这一时期的技术进步包括：混合型共振峰合成器(FormantSynthesis)，它可以调整共振峰的位置来改变发音。PSOLA(Pitch-SynchronousOverlapandAdd)算法，它允许在保持音高和时长的同时对语音信号进行修改，使得合成语音更加流畅自然。基于语料库的方法1990年代:随着计算能力的提高，基于语料库的语音合成(Corpus-basedSpeechSynthesis)开始出现，这种方法使用大量的录音样本作为合成的基础，通过波形拼接来构建合成语音。统计建模与机器学习20世纪末:统计建模和机器学习被引入到语音合成领域，这使得系统能够更好地适应不同的环境和用户需求。深度学习时代随着深度学习技术的兴起，语音合成技术取得了重大进展，特别是使用深度神经网络(DNN)和端到端模型，如Tacotron和WaveNet等，大大提高了合成语音的质量和自然度。20多源信息融合起源与发展起源:20世纪70年代为军事应用提出目标:提供更全面、准确的信息核心价值综合信息:整合多种来源的数据决策支持:改善认知能力与决策质量层次结构数据预处理特征提取决策推理21多源信息融合多源信息融合的分类数据层特征层决策层22多源信息融合多源信息融合的模型联合目标定位模型Bowman数据融合与资源管理模型Luo-Kay模型23多源信息融合多源信息融合的主要技术和方法24人机交互人机交互（Human-ComputerInteraction，HCI）作为一个伴随计算机技术发展而蓬勃兴起的交叉学科，它专注于探究人类、计算机系统及其两者间相互作用的影响机制，旨在优化用户与计算机系统的交互设计流程，从而提升用户体验和工作效率。25人机交互体感交互利用身体动作进行数字指令的传输。特点:直观、本能的交互方式。发展历程:鼠标:引领图形界面革命。体感技术:推动从二维到三维的交互转型。特制硬件与算法:如Kinect、LeapMotion及深度学习技术。自然用户界面(NUI):理解方式:触碰、语音、手势、眼神等。优势:提升直观性和易用性，消除认知障碍。应用领域:智能生活，娱乐，教育，医疗未来展望:更真实、沉浸与智能的交互体验。人机无缝沟通的新纪元。26人机交互手势交互手势检测跟踪识别27人机交互沉浸式交互HFUT敬请指正28工业大数据与人工智能HFUT29教材简介30智能传感器概述智能传感器功能及分类第四章

工业中的感知智能

智能传感器的基本功能智能传感器分类采样技术滤波技术时频域分析技术智能传感器的概念和特点智能传感器的信号处理技术4.1工业智能传感与感知31智能传感器概述-智能传感器的概念智能传感器的概念起源于1979年的美国国家航空航天局宇宙飞船研发项目。作为一种先进的感测设备，智能传感器具有实时处理、高精度、自校准和通信能力等特点，相比传统传感器，它更小巧高效，其内部配备了先进处理器，可以实时分析环境参数，并通过通信技术与其他设备互动，弥补了传统传感器感知范围有限和数据处理能力不足的问题。32智能传感器概述-智能传感器的特点33智能传感器功能及分类-智能传感器的基本功能34智能传感器功能及分类-智能传感器的分类根据其内部结构和制造方式35智能传感器功能及分类-智能传感器的分类组合模块式在保持原有生产工艺基础不变的情况下，仅需通过增加一块集成了数字总线接口的微处理器模块，即可将传统传感器升级为智能传感器系统。36智能传感器功能及分类-智能传感器的分类2.混合式混合式智能传感器将传感器的敏感元件、信号处理电路、校正电路和补偿电路、微处理器、数字存储器（ROM、RAM）、数字总线接口等以不同的组合方式集成在两块或者三块芯片上，并封装在一个外壳中。37智能传感器功能及分类-智能传感器的分类3.集成式集成式智能传感器利用大规模集成电路技术和微机电技术，选用硅材料来构建精密的传感元件，并将这些元件与信号处理、A/D转换及微型处理器等关键电路集成在同一微小芯片上。38智能传感器的信号处理技术-采样技术采样技术-奈奎斯特定理核心思想:采样频率≥2×信号最高频率避免混叠(aliasing)定义:对于带限信号：采样频率≥2×最高频率保证信号无失真重建混叠:采样频率过低导致高频成分被误解为低频引起信号失真39智能传感器的信号处理技术-滤波技术滤波目的:从含有干扰的信号中提取有用信号分类:模拟滤波器使用电容、电感、电阻等模拟电子元件处理连续时间模拟信号可处理无限带宽信号精度受限，易受噪声影响数字滤波器通过数字信号处理器(DSP)或软件实现处理数字信号具有灵活性和可编程性可以实现复杂算法40智能传感器的信号处理技术-时频域分析技术时域分析技术均值方差41智能传感器的信号处理技术-时域分析技术自相关函数信号能量功率信号的平均功率42智能传感器的信号处理技术-频域分析技术傅里叶变换（FourierTransform,FT）43智能传感器的信号处理技术-频域分析技术快速傅里叶变换（FastFourierTransform,FFT）功率谱密度（PowerSpectralDensity,PSD）描述随机信号功率在频率域的分布：44智能传感器的信号处理技术-时频域分析技术短时傅里叶变换（Short-TimeFourierTransform,STFT）结合时域和频域分析的优点，通过在信号上滑动的窗口进行傅里叶变换，提供信号频率内容随时间变化的信息，适用于分析非平稳信号。45智能传感器的信号处理技术-时频域分析技术小波变换（WaveletTransform,WT）利用不同尺度的小波基函数，同时在时间和频率上提供信号的局部化分析，特别适合于分析具有瞬态特征或频率随时间变化的信号。46智能传感器的信号处理技术-时频域分析技术Wigner-Ville分布（Wigner-VilleDistribution,WVD）直接在时频平面上显示信号的局部能量分布，适用于分析具有复杂时频结构的信号。HFUT敬请指正47工业大数据与人工智能HFUT48教材简介49机器视觉基本概念工业图像信号采集技术第四章

工业中的感知智能

工业相机镜头图像增强他图像特征提取基于深度学习的目标检测工业图像处理技术4.2工业机器视觉光源传统目标检测目标检测自动定位50工业机器视觉-机器视觉基本概念51工业机器视觉-机器视觉基本概念机器视觉的工作流程根据判断结果生成控制指令；指导机器人手臂、驱动器等执行精确操作。图像采集利用高性能工业相机与精密镜头捕捉高清晰度图像。图像处理将模拟信号转换为数字信号；分析图像的亮度、颜色与尺寸等关键特征。特征提取与决策运用复杂算法提取目标特征；采用模式识别与机器学习技术做出智能判断。控制与执行52工业机器视觉-工业图像信号采集技术工业相机作为图像采集系统的“眼睛”，相机负责捕捉并记录被测物体的光学影像。其分辨率、动态范围、帧率等因素均对图像细节表现、色彩还原度及运动场景捕捉能力产生显著影响。53工业机器视觉-工业图像信号采集技术工业相机CCD相机CMOS相机功能:光电转换、电荷存储、转移及信号读取工作原理:光线→光电效应→电荷转移→放大→图像信号组件:光学镜头、时序与同步信号发生器、垂直驱动电路、模拟/数字信号处理电路优点:无灼伤、响应快、低功耗功能:高度集成（光敏元件、信号放大器、模数转换器等）工作原理:光线→电荷→电压→数字信号优点:集成性好、低功耗、高速数据传输、宽动态范围54工业机器视觉-工业图像信号采集技术镜头镜头在机器视觉系统中的功能类似于人眼中的晶状体，负责将被观察物体的光线聚焦并投射到图像传感器上形成清晰、准确的图像。机器视觉系统的镜头选择和配置直接影响到系统的分辨率、成像质量、工作范围以及对环境变化的适应能力55工业机器视觉-工业图像信号采集技术镜头选择工业检测镜头的关键因素工作波长与变焦需求波长:根据应用光谱范围选择合适镜头（如近红外用于穿透表面反射检测）。变焦:根据是否需要调整观测尺度选择定焦或变焦镜头。景深管理作用:对于动态生产线或有位置偏差的应用场景。实现:通过精确计算焦距保证足够景深，即使目标移动也保持清晰。焦距选择依据:工作距离、目标尺寸、所需分辨率和传感器规格。目的:优化视场覆盖和图像细节。综合考虑其他参数光圈大小:影响曝光时间和图像亮度。畸变控制:保持图像真实无扭曲。镜头材质与镀膜:提高透光率和图像纯净度。接口兼容性:确保与现有系统兼容。成本效益:平衡性能与价格。56工业机器视觉-工业图像信号采集技术光源1.塑造图像质量：光源直接影响图像的清晰度与对比度。2.增强特征识别：适当的照明能突出目标特征，简化图像处理。3.维持检测稳定性：稳定的照明确保系统在不同条件下的一致表现。57工业机器视觉-工业图像信号采集技术光源LED光源的优势实用性:易于安装与维护。经济性:能耗低、寿命长。灵活性:可定制形状与颜色。关键指标对比度:增强特征与背景之间的差异。亮度:保证良好的信噪比与景深。鲁棒性:确保图像质量的一致性。照明方式:根据需求选择最佳策略。其他考量:利用单色光源、滤镜、偏振技术等。照明策略暗场照明:突出轮廓。侧光:增强纹理。垂直光照:确保均匀性。58工业机器视觉-工业图像处理技术图像增强59工业机器视觉-工业图像处理技术图像增强-单点运算方法灰度变换在得到灰度图像的基础上进一步对每个像素的灰度级进行调整的过程。对于图像中的任意一点s，其在增强后的灰度图像t中的对应灰度值可通过一个预定义的灰度映射函数E来决定，该函数可能呈现为线性变换、非线性变换或分段线性变换等形式。线性灰度变换-图像反转灰度线性变换最常见的就是图像反转，在灰度图像灰度级[0,L-1]范围中，其反转的公式如下所示：

s=L-1-r

其中r表示原始图像的灰度级s表示变换后的灰度级。60工业机器视觉-工业图像处理技术图像增强-单点运算方法非线性灰度变换经典的非线性变换有对数变换，一般表示如下所示：r表示原始图像的灰度级s表示变换后的灰度级c为常数61工业机器视觉-工业图像处理技术图像增强-单点运算方法直方图修正法直方图修正法是图像处理中用于调整图像对比度和亮度的一种方法。该方法的核心在于细致分析图像中各个灰度层次的分布特性，通过以灰度级别为横轴，像素出现的频率为纵轴绘制直方图，直观展示每种灰度级与其对应像素数量的关系。这样不仅能够清晰揭示出图像的明暗分布特征及对比度强弱，还能总体上勾勒出图像的视觉概貌。此步骤是后续图像处理工作的关键基础，为深入分析与优化提供了不可或缺的信息依据。对像素的灰度级作归一化处理，即将像素灰度级为L(0~255)归一化为0<=L<=1，0代表黑，1代表白。灰度直方图的计算公式为式中，x是像素的灰度级，n是具有灰度r的像素的个数，N是图像中像素总个数，p(x)称为概率质量函数.其纵轴是概率，其归一化的累积直方图称为累积分布函数62工业机器视觉-工业图像处理技术图像增强-单点运算方法直方图修正法低亮度图像：这类图像的直方图特征表现为灰度级分布集中在较低（暗）区域。这意味着图像中的大部分像素点具有较低的灰度值，整体色调偏暗。在直方图中，左侧（代表较暗区域）的柱状高度较高，显示了像素数量较多，而右侧高灰度区域的柱状高度则相对较低。正常亮度图像：对于这样的图像，其直方图显示了像素灰度值在中间区域的密集分布特性，意味着图像中的大部分像素灰度均衡地介于高亮与昏暗之间，既不过分偏向极亮也不侧重极度阴暗，展现了良好的灰度平衡。直方图上的峰值出现在中间灰阶部分，两端（最暗和最亮）的灰度级所对应的像素数量相对适中。63工业机器视觉-工业图像处理技术图像增强-邻域运算方法64工业机器视觉-工业图像处理技术图像增强-频率域法低通滤波与高通滤波在频率域中，低频成分对应于图像中的缓慢变化区域（如大面积的均匀颜色、平滑过渡的渐变等）以及图像的全局结构信息，而高频成分则对应于快速变化的细节（如边缘、纹理、噪声等）。65工业机器视觉-工业图像处理技术图像增强-频率域法在图像处理中，低频通常对应于变化缓慢的部分，如大面积的颜色区域；而高频则对应于边缘和细节等快速变化的部分。因此，低通滤波器主要用于以下方面：去除噪声：由于图像中的随机噪声通常是高频成分，低通滤波可以平滑图像，减少噪声的影响。模糊效果：通过模糊图像可以达到平滑的效果，常用于预处理步骤以减少后续处理的复杂性。高通滤波器允许高频成分通过，而抑制或减弱低频成分。在图像处理中，这有助于突出边缘和细节，其主要应用包括：边缘检测：高通滤波器能够增强图像中的边缘和轮廓，这对于特征提取非常有用。锐化图像：通过增强高频成分，可以使图像看起来更加清晰，细节更丰富。66工业机器视觉-工业图像处理技术图像增强-图像特征提取边缘特征提取-Sobel算子模板基于图像灰度梯度的变化来确定图像中的边缘位置。具体来说，Sobel算子由两个3x3的卷积核组成，分别用于计算图像在水平方向（x轴）和垂直方向（y轴）上的梯度强度。67工业机器视觉-目标检测目标检测概述机器视觉自动检测人工检测效率效率高效率低速度速度快速度慢精度高精度易受主观因素影响，精度一般可靠性检测效果稳定不易保持检测效果工作时间可24小时不停工作容易疲劳、工作时间有限信息采集可实现信息集成不易实现信息集成成本成本低人工成本高环境可适用于危险检测环境不适用于危险检测环境教材简介68目标检测发展历程2012年，AlexNet网络提出，是卷积神经网络发展也是深度学习发展的分水岭。2014年，深度学习正式用于目标检测任务。教材简介69传统目标检测教材简介70传统目标检测1.区域选择：基于候选区域的目标检测算法主要思想是在图像中提取潜在的目标区域，通过利用图像的低级特征，如纹理、颜色和边缘信息，提取具有潜在目标的区域。2.特征提取：确认了目标物体在图像上的位置之后，接下来的步骤是对该区域实施特征提取，图像特征的选择直接关系到目标检测的准确性，因此是一个核心环节。3.分类器：提取得到的特征将被输入到分类器中进行分类处理，分类器的效能直接影响到目标区分的速度与准确度，在实践中，常用的目标检测分类器有支持向量机(SVM)和Haar分类器等。教材简介71深度学习在目标检测中的应用教材简介72深度学习在目标检测中的应用卷积神经网络结构主要包含：输入层、卷积层、池化层、全连接层。卷积神经网络是人类视觉原理的一种体现，即可视皮层是分级的。视网膜输入原始信号->摄入像素

大脑皮层初步处理->边缘和方向

抽象->形状

进一步抽象->物体教材简介73深度学习在目标检测中的应用卷积层是卷积网络的核心组件，其主要作用是从输入中提取特征。

特点：局部连接、权值共享局部连接：CNN的基本组成单元是卷积层，其中的滤波器（或称卷积核）只关注输入图像的一小块区域，这反映了生物视觉系统中神经元对局部输入敏感的特性。通过滑动窗口操作，滤波器可以遍历整个图像，捕捉局部特征，如边缘、纹理等。权值共享：卷积层中的每个滤波器在整个图像上使用的权重是相同的，这意味着一个特征如果在一个位置被识别，那么在其他位置也能被同样识别。这不仅减少了模型参数的数量，还增强了模型的泛化能力。教材简介74双阶段目标检测双阶段目标检测算法是计算机视觉领域中一类经典且影响力深远的检测模型，它将目标检测任务分为两个明确的步骤来执行：提案生成（RegionProposalGeneration）和目标分类及定位（ClassificationandLocalization）。这种分阶段处理的方式旨在提高检测的准确性和效率，尤其是在处理复杂场景时。第一阶段：区域生成这一阶段的目标是从原始图像中提出一系列潜在包含目标对象的区域，即候选区域。这些候选区域应该尽可能覆盖所有真实目标，并且数量要足够多以减少漏检，同时也要避免过多的冗余，以减轻后续处理的负担。第二阶段：目标分类及定位在获得候选区域后，第二阶段的任务是对每个提案进行两方面的评估：一是判断该区域是否确实包含感兴趣的目标类别（分类任务），二是精确定位目标的边界框（回归任务）。教材简介75双阶段目标检测-RCNN1.

利用选择性搜索(SelectiveSearch)算法对输入图像进行区域选择，提取2000个左右的候选区域。2.由于网络结构中存在全连接层，需要将提取出的候选区域统一尺寸，此处将尺寸缩放至227x227像素，再适当扩大以获取更多上下文信息。3.使用卷积网络对每个归一化后的候选区域做特征提取操作，从每个候选区域提取

4096维的特征向量。4.使用SVM或其他分类器对提取到的特征进行分类识别。5.使用边框回归(BoundingBoxRegression)微调边框位置基于区域的卷积神经网络(R-CNN)(CVRP2014)教材简介76双阶段目标检测-FastRCNN(ICCV-2015)R-CNN的第一个升级版本是FastR-CNN，通过使用了2次增强，大大提了检测速度：在建议区域之前进行特征提取，因此在整幅图像上只能运行一次卷积神经网络；用一个softmax层代替支持向量机，对用于预测的神经网络进行扩展，而不是创建一个新的模型。FastR-CNN的运行速度要比R-CNN快的多，因为在一幅图像上它只能训练一个CNN。但是，择性搜索算法生成区域提议仍然要花费大量时间。教材简介77双阶段目标检测-FasterR-CNN(NIPS2015)继FastR-CNN后，在CPU上实现的RegionProposal的算法SelectiveSearch成了物体检测速度提升上的最大瓶颈。FasterR-CNN改进：设计RegionProposalNetwork（RPN），利用CNN卷积操作后的特征图生成候选框，代替了SelectiveSearch方法，速度上提升明显（10ms）。训练RPN与FastR-CNN共享卷积层，大幅提高网络的检测速度。实现了端到端的检测。从候选区域的产生->分类->定位都在一个系统下完成，实现端到端实时检测RPN教材简介78双阶段目标检测R-FCN(CVPR2016)该模型针对感兴趣局域的分类过程进行完善。

动机：目标检测不仅需要检测还需要定位，当网络层数越来越深时，优点是可以增加语义信息，使分类更加准确，缺点是会丢失位置信息，定位精度下降。那么该如何利用好分类网络性能，解决这一矛盾？R-FCN提出了位置敏感得分图（Position-sensitivescoremaps）来解决这一问题。基本理念：位置敏感得分图是针对每个类别和每个预定义的子区域（例如，一个目标可能被划分为上、下、左、右、中心等部分），独立学习一个得分图。这样，每个子区域都有专门的分数来表示该区域是否包含目标的特定部分。目标：通过这种方式，模型不仅能够识别出图像中是否存在某个类别对象，还能更加精确地定位这个对象的各个部分，从而提高了边界框的定位精度。工作原理79双阶段目标检测R-FCN(CVPR2016)特征图细分：首先，输入图像经过卷积神经网络处理后得到特征图。然后，这个特征图会被进一步分割成多个较小的、重叠的网格，每个网格对应一个或多个子区域（例如，3x3的网格可以为一个目标定义9个不同的位置敏感区域）。位置敏感滤波器：为每个类别和每个子区域设计特定的滤波器（或称为分类器）。这些滤波器会在特征图的对应子区域上滑动，产生一系列响应，即位置敏感得分图。每个得分图反映了输入图像在特定位置和特定子区域中存在该类别目标的可能性。融合与预测：最后，对于每个候选区域，会从相应的得分图中提取相应的得分，并根据这些得分来调整候选框的位置，或者直接对候选框内的每个子区域打分，进而决定最佳的边界框位置和类别。教材简介80单阶段目标检测单阶段目标检测算法将目标检测任务视为直接回归问题，通过一个统一的网络结构同时完成目标的分类和位置回归，省略了两阶段算法中的区域生成和目标识别两个步骤。这样的设计简化了整体流程，减少了计算开销。经典的单阶段目标检测算法有：YOLO（YouOnlyLookOnce）、SSD（SingleShotMultiboxDetector）、RetinaNet等。简洁高效：单阶段算法省去了候选区域生成的步骤，直接在特征图上进行密集采样，每个采样点都对应一个或多个预定义的锚框（AnchorBoxes），用于预测目标类别和边界框。快速推理：由于仅需一次网络前向传播，单阶段算法能够实现非常高的处理速度，适合对实时性要求高的应用场景，如自动驾驶、视频监控等。设计灵活性：这类算法在架构设计上有较高的自由度，可以通过增加网络深度、采用特征金字塔网络（FPN）等方式来提升检测性能。核心特点教材简介81单阶段目标检测-YOLOYOLO（YouOnlyLookOnce）检测算法将目标检测任务视为单阶段的回归问题，通过学习从图像像素到边框坐标和类别概率的映射。图像预处理：YOLO首先将输入图像的大小调整为448x448像素，为后续处理做准备。实现步骤神经网络处理：YOLO使用一个卷积神经网络对图像进行处理，同时预测图像中多个边框以及它们所属的目标类别。NMS处理：为了消除重复的边框，YOLO使用非极大值抑制（NMS）的方法。NMS会保留具有高类别概率的边框，并消除与这些边框交并比（IntersectionoverUnion,IoU）高于阈值的其他边框，以确保最终的检测结果具有高度准确性。教材简介82单阶段目标检测-YOLOYOLO的方案有几个问题：针对小目标的检测效果会不太好，因为7*7的网格的划分可能太粗糙了；经过多层卷积和pooling的操作，图像的边缘特征可能丢失较多了，而回归boundingbox参数的只使用了高层的卷积层特征，会导致boundingbox不准确；当两个目标同时落入7*7的某一个网格中的时候，对应位置只能检测到一个物体。YOLO方案的输入是比如448*448的图片，输入是一个7*7的网格，每个网格的信息包含:1.存在某个类别的物体的概率，比如有20类目标需要检测，那就是20类+1类(backgroud);2.对应物体的boundingbox参数，使用4个数字描述;3.对应目标的概率。这个问题就被format成一个回归问题，448*448*3作为输入;7*7*(b*5+c)作为回归的参数然后进行end-to-end的学习教材简介83单阶段目标检测-Yolov2YOLOv2相对YOLOv1进行了多项关键优化，这些改进旨在提高检测精度的同时保持或提升运行速度。高分辨率分类器：YOLOv2在训练初期使用较大的图像分辨率（如416x416），然后微调时逐步减小分辨率，以提高对小物体的检测精度。特征图尺寸设计为奇数（如13x13），这样可以更准确地定位物体的中心点。网络结构改进：引入了Darknet-19作为骨干网络，替代了YOLOv1中的网络结构，提升特征表达能力去除了YOLOv1中的全连接层，转而使用全局平均池化(GAP)，允许输入图像尺寸更加灵活，不再受限于固定大小。在网络中增加了批量归一化(BatchNormalization)，提升训练速度并稳定学习过程，实验证明这能提高约2%的mAP。移除了Dropout，因为与批量归一化一起使用时，Dropout的效果并不明显，有时甚至会降低性能。教材简介84单阶段目标检测-Yolov2多尺度预测：采用了不同尺度的特征图进行检测，即在多个特征层上预测边界框，有助于检测不同大小的对象，增强模型的多尺度适应能力。锚框机制：引入了锚框(AnchorBoxes)的概念，预先定义了一系列不同比例和大小的边界框，用来匹配不同形状的目标，这是对目标框预测的一种改进。教材简介85对比方法PASCALVOC数据集COCO数据集mAPFPSmAPFPSRCNN58.5%0.531.4%0.5FastRCNN70.0%235.9%2FasterRCNN73.2%742.7%7R-FCN77.6%945.0%9YOLOv163.4%4521.6%45YOLOv278.6%4044.0%40教材简介86总结RCNN(RegionswithCNNfeatures):这是一种两阶段的目标检测方法，首先生成候选区域，然后在每个候选区域上运行卷积神经网络。RCNN的处理速度较慢，但检测精度相对较高。FastRCNN:在RCNN的基础上进行了改进，将候选区域生成和特征提取结合起来，大幅提高了检测速度。FasterRCNN:进一步改进了FastRCNN，通过引入区域建议网络（RPN）来更快地生成候选区域，进一步提高了检测速度和精度R-FCN(Region-basedFullyConvolutionalNetworks):利用全卷积网络来进行区域级别的特征提取和分类，保持高精度的同时，进一步提高了检测速度。YOLOv1(YouOnlyLookOnce):单阶段检测方法，通过一次性地将图像分割成网格并预测每个网格的检测结果，大幅提高了检测速度，但精度较低。YOLOv2:对YOLOv1进行了多项改进，包括更好的特征提取网络和锚框机制，显著提高了检测精度，同时保持较高的检测速度。教材简介87实际应用案例火灾烟雾监控智能车牌检测教材简介88实际应用案例智能驾驶医学影像分析教材简介89自动定位自动定位是机器视觉领域中一项关键而广泛应用的技术，它通过摄像机或其他视觉传感器获取图像信息，并借助计算机视觉算法实现对目标物体的准确定位。教材简介90自动定位-步骤详解图像采集：使用高清摄像机或多视角摄像系统捕获目标区域的图像或视频流。可能会利用先进的图像传感器技术和同步曝光控制以获得高质量的图像。图像预处理：进行噪声抑制，例如使用中值滤波或卡尔曼滤波器去除图像噪声。调整亮度和对比度，比如通过直方图均衡化来改善图像的整体灰度分布。边缘检测和锐化，例如使用Canny算法或Sobel算子来强化目标物体的轮廓特征。特征提取：抽取目标物体的独特几何特征（如HOG、SIFT、SURF等）、颜色特征（如HSV直方图、颜色聚类）以及纹理特征（如Gabor滤波器、LBP算子）。教材简介91自动定位-步骤详解定位精度优化：通过边界框回归、多帧融合或三维重建技术结合深度信息来提升定位精度。目标识别：利用深度学习模型如卷积神经网络（CNN）进行分类，以区分不同种类的目标。使用OCR技术识别文字标识，以确定目标的具体身份或类别属性。结果整合与输出：整合定位与识别的结果，并以坐标值、角度值等形式输出目标的精确位置信息。HFUT敬请指正92工业大数据与人工智能HFUT93教材简介94机器听觉基本概念工业音频信号采集第四章

工业中的感知智能

音频信号采样音频信号量化音频信号的接收音频信号特征4.3工业机器听觉音频信号编码滤波器组梅尔频率倒频谱系数语谱图感知线性预测语音识别深度神经网络-隐马尔可夫模型连接时序分类高斯混合模型-隐马尔可夫模型语音合成注意力模型基于深度学习的语音合成传统语音合成95机器听觉基本概念机器听觉的关键技术•声音信号的采集与预处理•基于深度学习的声音特征提取•声音分类与识别算法机器听觉的应用案例•智能家居中的语音助手•城市环境噪声监测•医疗健康领域的声学分析机器听觉面临的挑战与未来趋势•数据隐私与安全问题•跨场景适应性挑战•多模态融合与发展方向机器听觉概述•定义与背景•机器听觉与人类听觉的比较•机器听觉的主要应用领域96工业音频信号采集97工业音频信号采集-音频信号的接收麦克风是最常见的声音接收装置之一，其原理是将声音波动转换成电信号以捕捉声音。主要有两种类型：动圈式和电容式。动圈式麦克风工作原理利用电磁感应结构坚固耐用应用场合现场扩音、舞台表演等技术特点输出阻抗低不易受电缆电阻影响对温湿度不敏感电容式麦克风特性卓越音质更高灵敏度使用需求需要额外供电应用场合录音棚、音乐制作等98工业音频信号采集-音频信号的接收麦克风性能的评估涉及多个核心指标，这些指标共同决定了麦克风在不同应用场景中的适用性和表现能力。99工业音频信号采集-音频信号的接收麦克风阵列通过使用两个或更多的麦克风，提供了更全面的声音采集和定位能力。100工业音频信号采集-音频信号采样定义将模拟信号转换为离散信号目的：复现原始语音采样率计量单位：赫兹（Hz）描述：每秒采集声音样本的数量采样过程定期抽样模拟声音信号记录给定时刻声音信号的幅度值转化为一系列离散的数字信号点便于数字化处理、存储、传输和处理101工业音频信号采集-音频信号采样奈奎斯特采样定理采样率>最高频率的两倍避免折叠失真人耳感知范围20Hz至20kHz发声基音频率：70Hz至450Hz谐波频率：主要在4kHz以内，部分在4kHz至8kHz之间常见采样率电话/嵌入式设备：8kHz手机/个人电脑：16kHzCD：44.1kHz（无损）102工业音频信号采集-音频信号量化声音在被采样后，模拟的电压信号会变成离散的采样值。声音的量化过程涉及将每个采样值在幅度上进行离散化处理，转换为整型数值。103工业音频信号采集-音频信号量化

均匀量化：这种方法使用相等的量化间隔，即将整个输入范围等分为多个区间。每个区间的大小是相同的，导致在整个输入范围内采样点的分布均匀。均匀量化简单直观，但在处理一些具有不均匀分布的输入信号时，可能会导致精度损失。非均匀量化：非均匀量化是根据信号的不同区间来确定量化间隔的。对于信号取值小的区间，其量化间隔也小，反之，量化间隔就大。这样的设计允许在精度损失相对较小的情况下，使用较少的位数来表示信号。非均匀量化在处理输入信号的动态范围较大的情况下，能够更好地适应信号的分布，减少存储空间的需求。如果一个信号

x

被量化为最近的量化级

Q，且量化间隔为

，则量化后的信号xq可以近似表示为：104工业音频信号采集-音频信号量化105工业音频信号采集-音频信号编码起源1975年：线性预测编码（LPC）声码器用于分组语音电话会议传输里程碑1988年：4.8kb/s码激励线性预测编码（CELP）标志语音编码技术新阶段互联网时代的突破20世纪90年代：IP分组语音通信技术游戏内的语音聊天功能国际标准：G.723.1(5.3/6.3kb/s)和G.729(8kb/s)语音存储应用MP3高效有损压缩格式压缩比：10:1至12:1感知编码：基于人耳听觉特性特点：去除不易察觉的信息PCM采样、量化、编码优点：无损音质缺点：存储空间大示例：宽带PCM（16kHz采样率，16位量化深度）文件格式：.raw,.wav改进：ADPCM，提高压缩比106音频信号特征-语谱图语谱图（Spectrogram）是一种表示语音信号频率内容随时间变化的可视化工具。它通过二维图像展示不同频段的语音信号强度如何随时间变化。短时傅立叶变换（STFT）将信号从时域转换到频域提供特定时间窗口内的频谱信息复数矩阵处理取模值（幅度），代表能量通常只取正频率轴部分频谱图序列按时间顺序排列频谱幅度生成过程107音频信号特征-滤波器组滤波器组（FilterBank，FBank）是一种常用的语音信号特征提取方法，它主要基于人耳听觉特性设计了一组滤波器来捕获语音信号的频谱特征。预加重强调高频部分，减少低频能量损失方法使用一阶滤波器分帧将信号分成多个重叠帧参数每帧约20到40毫秒相邻帧重叠方法移动窗口加窗（汉明窗或汉宁窗）生成过程短时傅里叶变换（STFT）将时域信号转换为频域信号作用分析短时段内的频谱信息结果每帧的频谱能量分布滤波器组运算在频域上进行滤波滤波器三角形滤波器组，梅尔滤波器组特性Mel频率尺度上均匀分布模拟人耳频率感知108工业音频信号采集-梅尔倒频谱系数109音频信号特征-感知线性预测感知线性预测（PerceptualLinearPrediction，PLP）是一种基于人耳听觉模型的特征参数，它通过线性预测方法对语音信号进行解卷积处理，从而获得相应的声学特征参数。1.预加重、分帧、加窗处理：对语音信号进行预加重、分帧和加窗处理。2.计算短时功率谱：对每一帧的语音信号进行FFT，然后计算其幅值的平方，得到短时功率谱。3.临界频带分析：将频率转换为Bark频率，然后通过Mel滤波器组对功率谱进行滤波，得到每个滤波器通道的能量，这些通道对应于Bark频带。然后对这些能量进行加权求和，得到每个Bark频带的能量。4.等响度预加重：根据人耳的感知特性进行信号预处理，以增强高频部分的能量。5.强度-响度转换：进行强度-响度转换，用于近似模拟声音的强度与人耳感受的响度之间的关系，例如立方根压缩6.线性预测：使用线性预测分析（LinearPredictionAnalysis）得到PLP特征参数。110语音识别语音识别（SpeechRecognition，SR）技术允许机器理解人类的口语，将声音转化为相应的文本信息，并执行相关命令。111语音识别-高斯混合模型-隐马尔可夫模型定义高斯混合模型-隐马尔可夫模型（GMM-HMM），专为处理时间序列数据设计组成GMM（高斯混合模型）基于概率框架处理多维数据分布数据点视为多个高斯分布叠加HMM（隐马尔可夫模型）时间序列的概率图模型隐藏系统状态，通过可观测数据推断遵循马尔可夫性质结合HMM状态用GMM描述观测数据源自特定高斯混合模型捕获时间序列动态转移特性对状态数据生成过程建模112语音识别-高斯混合模型-隐马尔可夫模型语音识别应用特征提取原始语音信号转化为声学特征向量（MFCC）表征语音信号频谱属性建模HMM构建语音信号整体模型状态对应语音单元（音素、音节、单词）揭示音素转换规律细化每个HMM状态用GMM细化描绘特征向量分布训练与识别训练采用EM算法最大化观测数据似然度识别Viterbi算法寻找最优状态序列路径推断最可能词汇序列113语音识别-高斯混合模型-隐马尔可夫模型114语音识别-深度神经网络-隐马尔可夫模型在新的DNN-HMM模型架构中，DNN被用来直接预测每个状态对应的观察序列的概率分布。具体来说，DNN的输出层节点与所有HMM状态（对应于不同的音素，例如“a”，“o”等）的发射状态一一对应。115语音识别-注意力模型类似于机器翻译，语音识别也可以被视为序列对序列（Sequence-to-Sequence，Seq2Seq）问题，即将输入的语音特征转化为识别结果的任务。Encoder（声学模型）：通过循环神经网络（RNN），将输入特征序列转换为隐藏向量序列。这一部分主要负责将语音输入映射为高层的特征表示，相当于声学模型。Decoder（语言模型）：计算输出符号的概率分布，基于之前预测的标签和输入特征序列，即。这一部分相当于语言模型，负责生成目标文本序列。Attention（注意力模型）：从Encoder输出的所有隐藏向量序列中，计算注意力权重，用于构建Decoder网络的上下文向量。这个上下文向量包含了输入序列中与当前时间步相关的信息，进而建立输出序列与输入序列之间的对齐关系。Attention机制通过学习输入特征和模型输出序列之间的对齐信息，指导Decoder的输出。116语音合成18世纪：语音合成技术的探索最早可以追溯到这一时期，当时人们开始尝试通过机械装置来模拟人类声音。20世纪初：随着电子技术的进步，语音合成的研究也取得了实质性的进展。特别是在1939年，贝尔实验室开发的“VODER”系统被认为是电子语音合成的一个重要里程碑，它能够在操作员控制下模拟语音。20世纪60年代：线性预测编码（LPC）由瑞典语言学家引入，为语音合成提供了坚实的理论基础，使得语音信号可以被数学模型精确地描述。20世纪80年代：此期间出现了多种技术进步，如混合型共振峰合成器和PSOLA（Pitch-SynchronousOverlapandAdd）算法，后者尤其解决了连续语音片段之间的平滑过渡问题，促进了语音合成技术的实用化。20世纪90年代：计算机技术的快速发展促进了基于语料库的单元选择和波形拼接技术的成熟，这些技术开始被广泛应用并商业化。20世纪末：统计建模和机器学习技术开始应用于语音合成领域，提高了系统的适应性和灵活性。21世纪以来：随着人工智能技术的兴起，语音合成研究逐渐深入到了音质优化和情感表达等领域，力求实现更加自然和个性化的合成效果。同时，深度学习技术的引入，特别是深度神经网络的应用，极大地提升了合成语音的真实感和整体质量，标志着语音合成技术达到了一个新的水平。117语音识别-传统语音合成传统的语音合成系统通常包括语言分析模块和声学系统模块，也被称为前端和后端两个模块。这两个模块协同工作，完成从输入文本到最终语音波形的合成过程。语言分析模块文本结构与语种判断语种识别根据语法规则切分句子文本标准化将数字和字母转化为文字根据规则进行标准化文本转音素中文使用拼音标注分词和词性句法分析判断多音字读音生成拼音序列读韵律预测停顿位置与时长/重读与轻读预测/模仿自然韵律和语气声学系统模块波形拼接（WaveformConcatenation）基于预录制音频片段选择最匹配的音素、音节或单词片段使用动态规划优化连接生成连续自然语音波形参数合成（ParameterSynthesis）分析真实人类语音信号提取声学参数（如MFCCs、基频、时长）建立文本到声学参数的映射模型根据上下文预测声学特征及发音时长利用预测参数通过声码器重建语音波形118语音识别-基于深度学习的语音合成定义通过神经网络直接从文本或注音字符生成音频简化传统语言分析模块优势强大的自我学习能力学习复杂特征降低对语言学知识的要求119语音识别-基于深度学习的语音合成WaveNet创新点残差结构膨胀因果卷积特点逐样本生成音频信号捕捉长期时间依赖关系局限性自回归性质合成速度慢不适合实时应用经典模型Tacotron系列特点注意力机制文本到梅尔频谱图编码器理解文本解码器动态聚焦优势提高合成语音质量减少对语言学知识依赖局限性处理韵律和语调不足依赖声码器转换整体系统复杂度较高120语音识别-基于深度学习的语音合成经典模型ParallelWaveGAN创新点生成对抗网络（GAN）并行化生成器结构特点提升合成速度保持音频质量通过判别器指导生成器优势实现实时语音合成应用广泛移动设备、智能音箱、有声读物、个性化语音定制HFUT敬请指正121工业大数据与人工智能HFUT122教材简介123多源信息融合的概念多源信息融合的分类第四章

工业中的感知智能

特征层决策层数据层多源信息融合的模型4.4多源信息融合Bowman数据融合与资源管理模型Luo-Kay模型联合目标定位模型Pau模型多源信息融合的主要技术和方法基于人工智能的理论和方法经典的理论和方法124多源信息融合的概念多源信息融合（Multi-SourceInformationFusion，MSIF）是20世纪70年代为了军事应用提出的一项关键的信息处理技术。通过将来自不同来源、不同类型的多个信息源进行集成和处理，多源信息融合旨在获取更全面、更准确的信息，这些信息源可能包括遥感数据、社交媒体数据、传感器数据等各种来源125多源信息融合的概念-技术特点多层次处理结构•数据预处理：清洗、标准化与格式转换•特征提取：识别关键信息与模式•决策推理：基于多层次信息的综合分析与判断多元化信息集成•整合各类传感器数据：雷达、光学、红外等•利用专家经验与历史记录：提升决策质量•先进科技的应用：大数据、云计算与人工智能上下文与认知层增强•环境与时空变化的考量：动态调整信息处理策略•模拟人类理解方式：高层次信息处理机制•适配决策需求：情境感知与个性化信息服务面临的挑战与对策•解决信息异质性：标准化与互操作性•应对内容模糊性：模糊逻辑与不确定性管理•复杂性问题的处理：深度数学工具与算法优化126多源信息融合的分类-数据层127多源信息融合的分类-数据层多样性与数据层融合•多类型传感器数据的整合挑战•格式、单位和尺度差异下的数据处理方法•采用先进技术与方法实现异构数据的有效融合大规模数据处理•大规模数据集带来的计算与存储挑战•高效算法与技术在数据融合中的应用•保障数据融合效率与准确性的策略实时性与时效性要求•实时应用场景中数据融合的重要性•快速响应能力与实时数据处理技术•实时结果与反馈在不同场景中的应用去冗余性与数据利用率•数据去冗余技术的重要性与实现方法•提高数据利用率与价值的途径•通过去冗去噪提升数据质量和准确性128多源信息融合的分类-特征层129多源信息融合的分类-特征层特征层融合的优势•减少数据量：提高数据处理效率与实时性•提升数据表示：获得更全面、丰富的信息•灵活性：适应不同场景的数据处理需求•特征提取算法的选择与融合策略的应用特征层融合的具体实现•特征提取技术：从原始数据中提取关键信息•综合分析方法：整合不同来源的特征信息•融合策略：提高数据处理精度与准确性130多源信息融合的分类-决策层131多源信息融合的分类-决策层决策层融合的优势•降低误判率：提高整体决策系统的准确性•提升可靠性：通过综合多个决策器的结果•增强鲁棒性：减少个别决策器可能存在的偏差•全面信息整合：获得更准确、可靠的决策依据决策层融合的具体实现•融合算法的选择：基于不同决策器的特点•结果整合方法：加权平均、投票机制等面临的挑战与对策•计算时间与存储空间需求增加：优化算法与硬件支持•数据异质性：解决不同来源数据的兼容性问题•内容模糊性：应对不确定信息带来的挑战132多源信息融合的模型-联合目标定位模型JDL模型概述•JDL模型的历史背景与发展•JDL模型的基本概念与层次结构•JDL模型与其他信息融合模型的对比JDL模型的核心层级•0级：数据融合•1级：状态估计•2级：目标识别•3级：态势评估•4级：影响评估JDL模型在军事领域的应用•情报收集与分析•战场态势感知•决策支持系统JDL模型在非军事领域的应用拓展•智慧城市中的信息融合•工业自动化与智能制造•环境监测与灾害预警133多源信息融合的模型-联合目标定位模型134多源信息融合的模型-联合目标定位模型数据源预处理•数据格式转换：确保不同传感器数据的一致性•数据校准与滤波：修正偏差，提高数据质量•去噪处理：消除噪声干扰，提升数据纯净度•时间与空间对齐：为后续融合做好准备目标优化•目标辨识：分类与识别不同目标•目标追踪：监测目标状态及运动方向•关联数据：确定目标位置和属性态势评估•相关性分析：评估对象或事件之间的关系•态势评估：当前系统态势的综合评价•目标信息汇总：数量、类型、位置、速度等135多源信息融合的模型-联合目标定位模型威胁评估•事件预报：预测当前形势的发展趋势•意图分析：评估潜在威胁的意图•薄弱点分析：找出我方部队的薄弱环节•后果评估：分析可能产生的后果•威胁严重程度确定：深入评估威胁等级决策支持•融合过程评估：检查正在进行的融合过程•指导建议提供：根据评估结果向用户提供指导•任务优先级设定：合理安排任务顺序•资源最优化配置：确保资源高效利用136多源信息融合的模型-联合目标定位模型JDL模型的优势•通用性：跨领域的数据融合框架•清晰分阶段流程：细化融合过程为多个明确阶段•算法设计指导：为不同背景的研究者和实践者提供统一指导•提升透明度与操作性：促进融合系统的高效设计与实施•阶段性任务导向：增强针对性和实用性面临的挑战与不足•理论与实践脱节：高度抽象化导致应用时需额外定制•数据不确定性处理缺失：忽视现实数据的不稳定性与质量差异•缺乏动态反馈机制：限制了模型根据融合成效自我调整的能力•适应性与灵活性受限：影响系统的长期运行与优化137多源信息融合的模型-Bowman数据融合与资源管理模型Bowman数据融合与资源管理模型（BowmanDF&RM）是1980年由Bowman提出的一种用于多传感器环境下多目标识别和跟踪的数据融合架构，通过数据融合层次树和假设验证循环来优化信息处理。138多源信息融合的模型-Bowman数据融合与资源管理模型数据融合层•数据预处理与特征提取•关联分析与信息整合•减少信息冗余性控制策略•协调数据融合与资源管理•动态调整资源分配与使用•最大化系统性能与效率模型优势•解决资源有限性与不确定性的挑战•提供清晰的设计框架•提升系统性能与可靠性资源管理层•计算、存储与通信资源的管理•基于需求的资源分配策略•确保系统的高效运行139多源信息融合的模型-Luo-Kay模型Luo-Kay模型是一种基于多传感器集成的通用数据融合结构，由Luo和Kay于1988年提出。该模型旨在凸显传感器集成和传感器融合之间的区别，并提供了一种分层的数据融合方法140多源信息融合的模型-Luo-Kay模型信号级别数据融合•原始信号数据的收集与传输•信号预处理与校正分层嵌入式中心融合架构像素级别数据融合•图像数据处理与融合•图像增强与去噪特征级别数据融合•从图像中提取特征信息•特征组合与目标识别符号级别数据融合•特征转符号信息•决策支持与行为分析141多源信息融合的模型-Pau模型Pau模型是一种基于行为知识的数据融合模型，由法国学者Pau于1992年提出，是一种典型的分层结构。在Pau模型中，首先从原始数据中提取特征向量，然后将这些向量对齐并与定义的属性相关联。数据信息在传感器特征融合和数据分析层面进行组合、分析和聚类。最终决策阶段由一组行为规则组成，这些规则可以通过显式组合输出提取出来142多源信息融合的模型-Pau模型143多源信息融合的模型-Pau模型底层：传感器级别•传感器数据的矢量化表示•原始观测结果记录分层嵌入式中心融合架构中层：特征提取与关联•提取传感器数据特征•特征与属性的关联顶层：事件关联与决策•特征向量与事件的关联•基于数据分析的行为规则制定•适应性决策调整机制技术实现与应用领域•多层次数据融合技术实现•目标识别与行为分析应用•环境模型构建与融合策略定义144多源信息融合的主要技术和方法-经典的理论和方法经典的信息融合理论主要建立在统计推理和估计的数学方法之上，通常用于不完整数据(即数据类型不一致、数据可信度低、数据信息不完整等)的融合处理。经典信息融合理论中的两种方法：1.基于概率建模的融合2.信念函数理论（BeliefFunctionTheory）145多源信息融合的主要技术和方法-经典的理论和方法1.基于概率建模的融合贝叶斯融合原理贝叶斯概率论作为一种统计推断方法，用统一的概率度量来表示各种不确定性。对于单一来源，贝叶斯公式根据假设的先验概率和事件/观察的条件概率的组合计算给定假设为真的概率。例如表示健康(H1)或生病(H2)等相互排斥的事件，以及表示为证据E的相应解释事件(观察)(可以表示“环境污染”，“健康饮食”等观察结果)。或者“规律的睡眠模式”)。146多源信息融合的主要技术和方法-经典的理论和方法1.基于概率建模的融合147多源信息融合的主要技术和方法-经典的理论和方法2.信念函数理论信念函数理论的起源可以追溯到Dempster对MSIF中源状态可靠性的研究，旨在理解和完善Fisher的概率推理方法。这一理论后来被Shafer以数学形式形式化，成为循证推理的一般理论，包括两个主要部分：证据推理(Dempster-Shafer理论，DST)Dezert-Smarandache理论(DSmT)。148多源信息融合的主要技术和方法-经典的理论和方法2.信念函数理论-信念函数理论的优势提供不同粒度级别的信息•识别结果可以是粗粒度的静态和运动状态•也可以是细粒度的状态，如躺、坐、站、走、跑和跳识别框架与基本信念赋值•设置Ω作为识别框架•使用基本信念分配函数m•系统地为所有潜在的识别结果分配置信度冲突系数与多源信息融合•每个输入源被视为具有独立基本信念赋值函数的证据•冲突系数K衡量不同证据来源给出的识别结果的冲突大小•Dempster-Shafer规则提供了一种系统的方法来融合和组合多个证据来源149多源信息融合的主要技术和方法-基于人工智能的理论和方法多视图数据融合(MultiViewLearning，MVL)单一视图分析的局限性•深度学习模型在单一视图上的成就•复杂多源融合任务中单一视图的不足•多视图学习的概念与目标多视图学习的核心在于构建一个共享特征空间，整合多源特征或数据，实现协同训练。当前，主流策略聚焦于映射多视图至统一空间，增强视图间一致性。近几十年，该领域在传统机器学习及深度学习中均有重大突破，催生了协同训练、多核学习、子空间学习等前沿算法。150多源信息融合的主要技术和方法-基于人工智能的理论和方法多视图数据融合(MultiViewLearning，MVL)协同训练的基础与假设•基于散度的半监督学习方法•标记数据上的分类器训练与伪标签生成•迭代过程中的分类器权重稳定•充分性、兼容性与条件独立性假设协同训练的作用机制•利用不同视图的信息增强训练•增加训练数据规模提升泛化能力•促进信息交互与学习提高效果•降低过拟合风险与提高鲁棒性HFUT敬请指正151工业大数据与人工智能HFUT152教材简介153人机交互基本概念体感交互第四章

工业中的感知智能

体感交互技术的分类体感交互技术的应用手势交互4.5人机交互沉浸式交互交互界面设计154人机交互基本概念美国计算机协会下属的人机交互兴趣小组对此领域进行了定义：人机交互是一门致力于设计、评估并实现可供人类使用的互动式计算系统的科学，同时围绕这些方法所衍生出的主要现象开展深入研究。155人机交互基本概念156体感交互157体感交互-体感交互技术的应用家庭智能设备与智能家居控制系统娱乐领域的游戏互动体验158体感交互-体感交互技术的应用康复医学中的运动健康训练系统电子商务虚拟试衣间159体感交互-体感交互技术的分类触觉技术知觉技术160手势交互手势检测：识别用户做出的手势开始和结束的时间点。手势跟踪：持续监测手势的变化轨迹。手势识别：解析手势的含义，并将其转换为相应的命令或动作。161沉浸式交互虚拟现实技术的兴起背景:信息技术的发展和各行各业对计算机应用需求的增长。关注:在中国国家自然科学基金会、国家重点基础研究发展计划等项目的支持下，虚拟现实技术成为热点。研发进展:顶尖团队推出沉浸式设备（如暴风魔镜、OculusRift、GearVR、ProjectMorpheus），推动技术革新。162沉浸式交互技术实现:通过头戴显示器、数据手套等设备创建全方位感知的虚拟世界。用户体验:封锁感官接口，精确追踪用户视线、头部动作及手势，实现流畅互动。核心优势:极大地增强沉浸感与真实体验。对比传统二维展示:提供更直观的虚拟场景体验，如飞行或潜水。信息展示:生动、全面的信息展示方式，优化用户体验。商业价值:增强产品展示吸引力，提升购买意愿，降低成本。163交互界面设计在设计交互界面时，首要目标是确保界面组件、布局和风格等视觉元素能够有效地支持并优化用户的交互行为，通过清晰定义产品的交互逻辑，创造直观易用的设计，同时保持视觉设计的艺术性和功能性，以提升整体用户体验。164交互界面设计-视觉设计过程研究用户是设计的起点，通过访谈了解用户情感联系、环境因素及交互中的挑战与期望。研究用户通过研究形成的用户模式和关键词为设计团队提供了明确方向，使视觉设计师能基于体验关键字创造积极的第一印象和持续的情感体验，从而提出更周全的设计方案并获得实际反馈。形成视觉策略165交互界面设计-视觉设计基本原则对齐：保持界面元素间的对齐关系有助于营造视觉一致性，增强可读性和舒适度。一致性：在整个系统内保持设计的一致性，使用户能快速学习并迁移知识到新场景。强调：通过色彩、大小或位置等方式突出重要信息，引导用户的注意力。重复：在设计中采用统一的模式和样式，帮助用户建立熟悉感和操作习惯。映射：直观反映界面元素与其功能之间的关联，让用户能够迅速理解并执行操作。沉浸式体验：在特定应用场景（如游戏、VR）中创造沉浸式的环境，提升用户参与度和满意度。功能可见性：保证关键功能的明显可见，便于用户随时了解系统的状态和可用功能。易于识别：确保信息和控件具有高辨识度，尤其是针对视力较弱或其他特殊群体用户。HFUT敬请指正166工业大数据与人工智能HFUT167主讲人：徐娟

副教授基于语音指令的目标检测系统实验

168实验课目标检测169实验背景介绍目标检测是计算机视觉中的一个重要任务，它旨在从图像或视频中定位并识别出特定类别的对象。这项技术通常包括两个主要步骤：对象定位和分类。目标检测可以应用于许多场景，如自动驾驶、安全监控、医学影像分析等。主要组成部分：特征提取：使用卷积神经网络（CNN）或其他方法来提取图像中的特征。候选区域生成：确定图像中可能包含对象的位置。分类与回归：对每个候选区域进行分类判断，并调整边界框以更精确地定位对象。目标检测算法分类：两阶段检测器：如R-CNN,FastR-CNN和FasterR-CNN，这类方法先生成候选区域，然后对每个区域进行分类和位置修正。单阶段检测器：如YOLO(YouOnlyLookOnce)和SSD(SingleShotMultiBoxDetector)，这类算法直接从输入图像中预测边界框和类别概率，速度较快但精度可能略低。语音识别170实验背景介绍语音识别技术是一种能够将人类语音转换成可读文本的技术。这项技术在日常生活中有着广泛的应用，例如语音助手、电话自动客服系统、语音输入法等。基本流程：语音采集：通过麦克风捕捉说话人的声音。预处理：对音频信号进行降噪、分帧等预处理操作。特征提取：从音频信号中提取有用的特征，如梅尔频率倒谱系数（MFCC）。声学模型：识别声音片段对应的发音单元（如音素），常用的模型有隐马尔科夫模型（HMM）、深度神经网络（DNN）等。语言模型：根据上下文确定最有可能的词汇序列。解码器：结合声学模型和语言模型输出最终的文本结果。融合两种技术的意义171实验背景介绍融合目标检测技术和语音识别技术的意义在于创建更加智能和直观的人机交互系统。这两种技术结合可以实现更复杂的应用场景，为用户提供更加自然、便捷的服务体验。融合的意义：增强用户体验：通过同时处理视觉和听觉信息，系统可以更好地理解用户的意图和需求。提高安全性：在一些需要高度注意的场景下（如驾驶辅助系统），同时使用视觉和听觉信息可以提供更全面的环境感知能力。拓展应用场景：融合多种感知方式可以开拓新的应用场景，比如无障碍设计、智能客服等。实现个性化服务：结合用户的行为习惯和个人偏好，提供定制化的服务体验。172实验环境硬件环境：i5及以上的CPU，GTX1060及以上的GPU软件环境：操作系统:Windows10或Ubuntu18.04及以上版本；Python:版本3.8或更高，推荐使用Anaconda进行环境管理。/download