人工智能课件 第4章 人工智能系统

第4章

人工智能系统人工智能系统通常由机器感知、机器决策和机器执行三个核心部分构成，三者形成完整的“感知-决策-执行”闭环结构。机器感知作为系统的“感官”，通过各类传感器采集环境信息，并借助计算机视觉、语音识别等技术解析环境状态；机器决策则充当系统的“大脑”，基于感知数据进行分析与判断，通过规则系统、强化学习等方法制定最优行动方案；机器执行相当于系统的“手脚”，运用运动控制、机器人操作等技术实现具体动作。24.1机器感知4.2机器决策4.3机器执行4.4具身智能3一、视觉感知视觉感知是指借助摄像头等光学传感器采集图像或视频数据，利用计算机视觉技术对这些视觉信息进行分析与解读，从而使机器具备识别物体、监测运动、解析场景结构以及理解环境语义信息的能力。4一、视觉感知1.图像采集光学镜头犹如相机的“眼睛调节器”：焦距长短决定了视野的宽窄与拍摄距离的远近（广角镜头适合监控大场景，长焦镜头能捕捉远处的细节）；光圈大小则控制着进光量（f/1.4的大光圈在暗处可拍得更清晰，f/8的小光圈能让前后景都保持清晰）；畸变校正技术专门修正广角镜头边缘的弯曲变形，确保画面不变形。5一、视觉感知图像传感器是将光信号转化为数字照片的“翻译官”选择何种传感器：CCD成像均匀且噪点少，CMOS集成度高且省电如何设置参数：分辨率越高细节越丰富，动态范围越大明暗细节保留越完整，帧率越高越能抓拍快速动作工厂检测需使用高分辨率CMOS传感器（如500万像素以上）搭配低畸变镜头，才能发现头发丝般细小的瑕疵6一、视觉感知多传感器融合为相机赋予“多重视角”之能：RGB-D深度相机可同步获取彩色影像与深度图，助力构建立体场景；事件相机具备极速响应能力，能够精准捕捉高速运动物体的清晰轨迹，有效规避普通相机在拍摄快速动作时产生的成像模糊问题；多光谱相机还可借助红外或紫外光解析物质特性7一、视觉感知深度感知是指使机器仿效人眼功能，由二维影像中提取三维空间的几何信息，如物距、深度及空间占位等；机器人自主避障行进、车辆智能防撞与三维建模复现真实场景的核心机能。8一、视觉感知双目立体视觉仿效人眼视物机理：利用左右两台相机所摄图像寻找对应特征点，依据其位置差异解算物体相对于摄像机的空间距离：首先进行相机标定（消除镜头畸变并校正相对位姿偏差），其次在左右视图间匹配同名像素点（确立对应关系），最后由视差推算深度值（计算公式为：深度＝(b×f)/视差，其中b为两相机基线长度，f为镜头焦距）。9一、视觉感知单目视觉深度估计系指利用算法对单幅图像中的空间远近关系进行推算，主要包含两类方法：监督学习，即采用已标注深度的RGB-D数据集（如NYUDepthV2）训练卷积神经网络模型（例如MiDaS），然而逐幅图像进行深度标注需耗费大量人力；自监督学习，通过视频序列中相邻帧间的运动关联自动构造参考真值（如MonoDepth），无需依赖人工标注。10一、视觉感知主动测距传感器直接向目标发射信号以测定距离：飞行时间（ToF）相机（如KinectV2）通过测算光脉冲往返时间获取深度信息，精度可达毫米量级，适用于室内场景；结构光（如手机FaceID）在近距范围内具有较高测距精度，然易受强光干扰；激光雷达（LiDAR）可生成高密度点云地图，为自动驾驶的关键传感装置，但设备成本较高。11一、视觉感知三维重建技术借助多角度成像与深度学习手段构建目标立体模型传统方法多采用多视图立体几何（MVS），先利用SIFT或SuperPoint提取不同影像中的同名特征点，继而采用PMVS算法推算各点深度信息以生成稠密深度图，随后转化为三维点云并经优化形成网格模型。深度学习方法更具智能性：Pixel2Mesh运用图卷积网络（GCN）自单幅影像直接生成三维网格；NeRF凭借神经网络记忆整体空间体素信息，仅采集少量影像亦可合成高质量新视角渲染结果。12二、听觉感知声音信号采集是指利用传声器将空气中的声波转换为相应的电信号，随后将该电信号进一步变换为可供计算机处理的数字信息13二、听觉感知麦克风为声信号拾取的核心器件，依据其工作机制可划分为四大类：动圈式麦克风基于电磁感应原理工作，具备结构坚固、耐受高声压级的特性，适用于演唱会、大型集会等高声压环境；电容式麦克风依靠振动膜位移引起电容量变化实现声电转换，具有高灵敏度与频响均衡的优势，多用于录音棚等对音质指标要求严苛的场合；驻极体麦克风内置永久性带电介质，因结构简单、制造成本低廉，被广泛应用于手机、计算机等消费电子类日常设备中；MEMS麦克风采用微机电系统工艺将声学敏感单元微型化，智能手机及智能终端中的主流声学传感器件。14二、听觉感知麦克风阵列结构——正如人类凭借双耳可判别声源方位，多麦克风协同工作能够实现三项核心功能：借助计算声波抵达不同麦克风的时间差（TDOA）或强度差（ILD）以判定声源的空间位置；运用波束成形技术将收声聚焦于目标方向并抑制环境干扰；实现目标声源的提取并削弱背景噪声。15二、听觉感知声音采集质量主要由四项关键指标所决定：采样率，须遵循“奈奎斯特定律”——针对语音信号而言，仅需8–16 kHz的采样率即可满足需求（该范围可涵盖人声的主要频段300 Hz至3.4 kHz）；而音乐等包含全频带信息的声音则需采用44.1 kHz或更高的采样率。量化精度，其直接影响声音的细腻程度：8位量化仅能提供约48 dB的动态范围（适用于低质量语音留言场景），16位量化可达96 dB（即CD音质标准），24位量化则更为优越，具备144 dB的动态范围（广泛应用于专业录音棚）。信噪比，该指标以高值为优，优质麦克风的信噪比通常需达到60 dB以上（数值愈大，背景杂音愈少）。动态范围，此指标表征设备能够捕捉微弱声音的能力范围。16三、触觉感知（1）接触力感知当机器人与外部物体建立接触关系时，将产生两类基本作用力：其一为沿接触面法线方向的法向力，其二为沿接触面切线方向的切向力。接触力感知系统的功能在于借助各类传感器将上述力学量转换为可供后续处理与分析的电信号形式，进而为机器人控制系统提供必需的原始数据支撑。从实现方式而言，该技术主要依托于两大类别的方法路径：即力/力矩传感技术与分布式压力传感技术。17三、触觉感知六维力/力矩传感器可同步测量沿三个正交坐标轴的力分量及绕该三轴的力矩分量。核心敏感元件为应变片——当承受外部载荷发生形变时，应变片的电阻值将随之改变，借助惠斯通电桥电路可对该电阻变化进行高精度检测，进而解算获得多维力信息。18三、触觉感知分布式压力传感器通过布设由多个压力传感单元构成的阵列，对接触表面的压力分布特征进行量测，进而生成反映该分布状况的压力分布图应用于需对作用力分布实施精确调控的应用场合。例如在抓取鸡蛋等易损物体时，机器人可借助压力传感器阵列对接触面压力分布进行实时监测，并据此动态调节抓握施力大小，以防止物品因受力过大而发生破损。19三、触觉感知工作原理：应变片与压阻效应应变片技术在于通过检测弹性体受外力作用发生形变所引发的电阻值变化，进而实现对作用力大小的间接测定，该技术适用于较大量程力的测量场景。压阻效应则依托半导体材料（典型如硅）在外力压缩作用下电阻率发生改变的物理特性，具备灵敏度高、响应速度快及易于集成化设计等显著优势，20三、触觉感知（2）表面特性感知表面特性感知技术着重于解析物体表面的微观几何特征（如粗糙度、纹理）及材料特性（如硬度、弹性），使机器人得以“感知”物体表面的质性表现，进而实现物体的辨识、类别划分以及适宜操作方式的选取。21三、触觉感知表面特性感知依赖于三个方面：粗糙度感知通过探测接触界面的微观起伏以评估表面的不平度特征，其在分析摩擦力及抓取稳定性方面具有重要意义；硬度感知基于测定接触力与物体形变间的响应关系，用以判定材料抵御形变的能力，从而辅助调节抓取施力大小；纹理感知则借助解析接触过程中所感知的表面形貌变化，辨识各异的表面构造，以实现对不同材质与结构物体的有效区分。22三、触觉感知表面特性感知传感原理：压阻阵列传感器由若干微型压阻元件构成，可同步测量接触面上多个测点的压力分布情况，并借助对表面压力分布变化的解析以辨识表面特性，适用于高精度测量场合；电容式触觉传感器通过感知电容值的改变来实现对表面特性的探测，当传感器与物体发生接触时，因介电常数及极板间距的变化将引发电容量的相应变动，具备响应灵敏、动作迅捷的特点；光学式触觉传感器则利用光信号传输特性的改变以检测表面特性，尤其适用于高精度测量及无需直接接触的测量情境，在存在电磁干扰的应用环境中亦展现出显著优势。23三、触觉感知（3）振动感知振动是指机械系统在外界激励作用下所产生的具有周期性或准周期性特征的运动形式，主要依赖三类传感器实现：压电式传感器基于石英等晶体受外力作用产生电荷的物理效应，可直接将机械振动转换为电信号，具备高灵敏度与宽频率响应范围的特点；MEMS振动传感器借助微纳加工工艺，将机械结构与电子电路集成于单一芯片之上，具有体积微小、功耗极低的特征；光纤振动传感器则通过探测光在光纤内传输过程中干涉特性的改变以感知振动，拥有抗电磁干扰及可实现长距离检测的显著优势，适用于特殊环境下的振动监测任务。24三、触觉感知（4）温度感知技术温度感知是指机器对环境中的热能信息进行获取并据此做出响应的能力。依据感测机理的不同，温度感知方法可划分为接触式与非接触式两大类：接触式温度感知依靠传感器与目标物体直接物理接触以获取温度信息，其典型实现方式包括热电偶与热敏电阻两类。非接触式温度感知通过探测目标物体向外发射的红外辐射强度反演其表面温度，无需与被测对象发生直接接触，且响应时间短，尤其适用于对温度快速变化过程的监测。25四、其他感知方式电子鼻作为模拟生物嗅觉机理的机器感知装置，依托气体传感器阵列对气体成分进行检测与辨识）。其在食品安全检测中可精准解析食品挥发物的特征谱，实现对变质或掺假食品的快速判别，兼具高灵敏度、响应迅速与可重复检测等优势，有效克服了传统化学分析方法检测周期冗长的不足。26四、其他感知方式电子舌则借助多化学传感器阵列测定液体样本的化学属性，应用于食品品质评价时可解析滋味特征，用于水质检测时可辨识污染物的种类与浓度，并在医疗领域辅助分析体液成分，为疾病诊断提供重要参考。27四、其他感知方式惯性测量单元IMU利用加速度计与陀螺仪分别测量物体的线加速度与角速度，并通过数据融合算法推算其位置、速度与姿态变化，被广泛应用于机器人导航、无人机姿态稳定控制以及虚拟现实设备的运动追踪。28四、其他感知方式生物电信号传感器通过电极采集人体表面的微弱电信号，例如心电图（ECG）用于监测心脏电生理活动，脑电图（EEG）用于解析大脑神经电活动，在医疗诊断中可实现心律失常检测、癫痫发作预警及睡眠质量评估，同时为人机交互提供新范式，如基于肌电信号操控假肢或外骨骼。29四、其他感知方式生物分子传感器基于抗原–抗体特异性结合或DNA杂交原理检测DNA、蛋白质等生物分子，在疾病早期筛查中可检测血液肿瘤标志物，在基因组学分析中识别特定基因序列，在环境监测中检测水体或空气中的病原微生物，从而为精准医疗与环境生物污染预警提供技术保障。DNA生物传感器30四、其他感知方式温湿度传感器基于电容或电阻变化机制测量环境气温与相对湿度，为农业温室环境调控、智能家居气候管理以及工业过程环境监测提供关键数据支撑；气压传感器通过膜片形变或电容变化感知大气压力波动，可用于高度估算、气象预报及密封性检测，并与GPS与IMU数据融合以提升定位精度；辐射传感器依据气体电离、半导体或闪烁体原理检测α、β、γ射线及中子等辐射粒子，在核电站安全监控、医疗放射治疗剂量管理与环境辐射水平评估中发挥核心作用；化学传感器凭借特异性识别层与目标分子的相互作用产生电信号变化，用以检测工业废气中有害气体浓度、土壤中污染物含量或水体中重金属离子，在工业流程控制、环境监测及危险品泄漏应急检测中应用广泛。314.1机器感知4.2机器决策4.3机器执行4.4具身智能32一、机器决策总体流程（1）数据收集与预处理33一、机器决策总体流程数据收集的三大挑战：数据质量缺陷，表现为问卷调查中的字段缺失或传感器异常读数；时效性约束，典型场景如自动驾驶需实现毫秒级响应；隐私合规要求，依据GDPR等法规，须对身份证号等敏感信息实施脱敏处理。34一、机器决策总体流程预处理四个关键环节：数据清洗：针对数据质量问题，通过删除重复记录、填补缺失值及平滑噪声数据，提升数据完整性与一致性。数据转换：解决不同特征间量纲差异问题，包括数值标准化、分类变量编码以及连续变量离散化，实现数据格式统一与模型适配。特征工程：构造高阶特征（如从订单时间提取“是否节假日”标签）、筛选关键特征（如利用PCA保留解释95%方差的主成分），通过特征交叉（如“用户年龄×浏览时长”）生成潜在行为模式，增强模型表征能力。数据平衡：采用过采样（复制少数类样本，如欺诈交易）、欠采样（随机剔除部分多数类样本）或合成采样方法（如SMOTE算法生成虚拟少数类实例），缓解模型对多数类别的偏好偏差，提升分类性能。35一、机器决策总体流程常见数据预处理方法：36一、机器决策总体流程（2）数据分析与模型构建探索性数据分析EDA揭示数据内在分布规律：计算用户年龄均值（35岁）与标准差（5岁）结合直方图识别年龄分布的右偏特征（表明老年用户占比较高）利用箱线图检测收入异常值37一、机器决策总体流程特征分析用于评估各变量对目标的解释力：皮尔逊相关系数表明“广告曝光次数”与“购买转化率”存在强线性正相关；主成分分析（PCA）将高维特征空间降维至几个主成分，保留主要信息的同时降低模型复杂度。卡方检验评估分类变量间的独立性，结合互信息法捕捉非线性关联，有效识别并剔除冗余特征，从而提升模型泛化能力。皮尔逊相关系数38一、机器决策总体流程模型构建-算法选择：分类任务（如垃圾邮件识别），可选用逻辑回归以增强模型可解释性，或采用随机森林提升抗过拟合能力，亦或应用支持向量机处理高维空间中的复杂分类问题；回归任务（如房价预测）则适配线性回归以建模线性关系，XGBoost用于捕捉非线性模式，神经网络则擅长拟合高度复杂的函数映射；聚类任务（如用户分群）可借助K均值实现硬聚类划分，高斯混合模型进行概率性软聚类，或利用DBSCAN识别密度分布中的簇结构；强化学习（如游戏AI），Q学习适用于离散状态空间的策略学习，DQN可处理高维连续状态的逼近问题，策略梯度方法则专注于优化动作策略本身。39一、机器决策总体流程常见的机器学习算法40一、机器决策总体流程模型构建-模型训练优化：定义任务适配的损失函数（分类任务采用交叉熵损失，回归任务使用均方误差）选用优化算法（如SGD或Adam——后者可自适应调整学习率）引入正则化技术（包括L1/L2正则化以约束参数规模，Dropout机制随机失活神经元以缓解过拟合。常用正则化方法41一、机器决策总体流程模型构建-性能验证：性能验证采用k折交叉验证对数据集进行分层抽样与多轮评估，结合准确率、均方误差、F1分数以及AUC值等多维度指标进行综合测评；引入SHAP值解析各特征对预测结果的边际贡献（如在医疗预测模型中量化“血糖水平”的影响权重），增强模型可解释性，确保决策过程透明且可信。k折交叉验证42一、机器决策总体流程（3）模型评估与优化模型评估需构建涵盖多任务类型的多维指标体系：分类任务，采用准确率、精确率（TP/(TP+FP)）、召回率（TP/(TP+FN)）以及F1分数（精确率与召回率的调和均值）进行综合评判，AUC值（ROC曲线下面积）则可有效反映分类器在不同阈值下的整体判别能力；回归任务则依赖均方误差（MSE）、平均绝对误差（MAE）以及R²决定系数（用于衡量模型对目标变量方差的解释比例）作为核心评估标准；聚类任务通过轮廓系数（衡量样本与其所属簇的紧密程度）与Calinski-Harabasz指数（评估类间分离度与类内凝聚度的比值）来检验聚类结构的合理性，为无监督决策提供依据。43一、机器决策总体流程ROC曲线44一、机器决策总体流程模型优化主要聚焦于三大关键路径：超参数调优，可通过网格搜索（遍历预设参数组合）或贝叶斯优化（基于概率代理模型实现高效寻优）策略，确定学习率、树深度等关键超参数；特征工程优化，涵盖特征选择（剔除冗余或低信息量变量）、特征构造（生成交互项或非线性组合特征）以及降维处理（如采用PCA提取主成分）；模型架构升级，针对复杂场景引入集成学习方法（如随机森林、Stacking融合多模型优势）或深度神经网络结构（如CNN用于图像识别、LSTM建模时序依赖）。45一、机器决策总体流程学习率调优46一、机器决策总体流程（4）决策实施与监控实施部署阶段系统性解决模型从实验室研发到生产环境落地的技术适配挑战：模型封装通过模型压缩、量化等手段将训练完成的算法转化为轻量化服务，提升运行效率；系统集成借助API网关与微服务架构（如基于Kubernetes构建的容器化平台），实现模型服务与现有业务系统的无缝对接；实时推理引擎（如TensorRT加速框架）通过计算图优化与硬件协同，保障毫秒级低延迟响应。47一、机器决策总体流程自动驾驶决策系统48一、机器决策总体流程监控体系保障系统持续运行：性能指标追踪涵盖决策准确率（如分类任务中实时计算F1分数）、响应延迟（关注P99分位数）以及资源利用率（CPU/GPU内存与计算负载）等关键参数，确保系统运行在预期区间；数据漂移检测通过统计方法（如KL散度、PSI指标）动态比对在线数据与训练数据的分布差异，及时识别输入特征的结构性变化；异常检测采用孤立森林、LSTM时间序列预测等算法，识别异常决策行为（如金融风控中将正常交易误判为欺诈），并结合根因分析工具（如SHAP值反向解析异常样本的关键特征贡献），精准定位问题源头，支持快速干预。当监控系统检测到性能劣化或显著数据偏移时，自动触发分级报警机制，并启动根因分析流程，启动应对策略。49二、图像处理技术（1）图像预处理图像预处理的核心是通过数学变换与算法优化，解决原始图像中的噪声、光照不均、对比度不足及几何畸变等问题。均值滤波利用邻域像素的平均值替代中心像素值，可平滑高斯噪声但可能模糊边缘；中值滤波则利用邻域像素的中值替代中心值，能高效抑制椒盐噪声，同时保留边缘清晰度；高斯滤波通过高斯函数对邻域像素进行加权平均，对高斯噪声效果显著；频域滤波，如低通滤波，则适用于衰减高频分量，但可能损失边缘细节。50二、图像处理技术均值滤波51二、图像处理技术中值滤波52二、图像处理技术对比度处理光照不均会导致局部对比度下降。全局直方图均衡化通过重新分配灰度值提升整体对比度，但可能放大噪声自适应直方图均衡化（contrastlimitedadaptivehistogramequalization,CLAHE）将图像分块进行局部均衡化，从而避免过度增强噪声。原图与全局直方图均衡化后图像53二、图像处理技术

伽马校正54二、图像处理技术畸变处理张正友平面标定法利用棋盘格标定板计算相机内参和畸变系数，生成校正映射表，透视变换基于四点对应关系计算单应性矩阵，用于矫正广角镜头拍摄的矩形变形。张正友平面标定法55二、图像处理技术（2）特征提取特征提取的核心是从图像中筛选出对任务最具区分力的信息，可分为基于几何结构、基于局部纹理、基于全局特征及基于深度学习四大类。几何特征反映物体的形状与空间布局，适用于刚性物体检测：边缘检测（如Canny算法）通过计算像素强度梯度定位轮廓，但易受噪声干扰；角点检测锁定强度变化剧烈的点，在旋转与尺度变化下更稳定。Hu矩（Humoments）通过图像矩计算7个不变量，对平移、旋转及缩放均具有鲁棒性。56二、图像处理技术Canny算子边缘检测57二、图像处理技术纹理特征表征物体表面微观结构的规律性模式：局部二值模式（LBP）以中心像素与邻域像素的亮度差异为依据生成二进制编码序列，并对各局部编码的出现频次进行统计；圆形LBP可实现旋转不变性。灰度共生矩阵（GLCM）用于统计图像中不同灰度级间的空间分布关系，进而提取对比度、相关性等特征指标，在医学图像分析中应用广泛。58二、图像处理技术局部二值模式59二、图像处理技术全局特征反映图像的整体统计属性：颜色直方图对各颜色通道的像素分布进行统计，可用于判别水果的成熟度；HOG算法通过统计图像局部区域内明暗变化的方向分布，形成一组稠密的特征描述子，为车辆与行人的识别提供依据。HOG特征提取60二、图像处理技术基于深度学习的特征提取通过端到端训练自动学习层次化特征表示，突破了传统方法依赖人工设计特征的局限：CNN通过局部感受野和权值共享机制，逐层提取从低级到高级的特征——浅层卷积核捕捉边缘、纹理等基础模式，中层组合这些模式形成局部结构，深层则抽象出全局语义信息。；预训练模型可通过迁移学习快速适配具体任务，仅需微调部分参数即可适应新数据分布；Transformer架构引入自注意力机制，实现了对图像块间关系的全局建模，进一步增强了特征的全局上下文理解能力，在复杂场景分类与目标检测中表现优异。61二、图像处理技术CNN从低级到高级的层次化特征提取62二、图像处理技术（3）目标检测与识别目标检测与识别是智能系统实现高层语义理解的核心功能，其目标是在复杂场景中准确定位感兴趣目标的空间位置并确定其类别属性。传统方法依赖手工特征与机器学习分类器，典型流程包括特征提取、区域提议以及分类回归。这类方法在简单场景，如工业零件检测中曾广泛应用，但受限于特征设计的经验依赖性与计算效率，难以应对复杂环境。深度学习的兴起彻底改变了目标检测的技术路线，核心是通过端到端训练实现特征提取、区域提议与分类的联合优化。63二、图像处理技术深度学习方法：两阶段检测器，如FasterR-CNN首先由区域提议网络生成高质量候选框，再对每个候选区域进行分类与回归，这种方法的检测精度高（mAP可达70%以上）但速度较慢；单阶段检测器直接密集采样预测目标位置与类别，省去区域提议步骤，检测速度大幅提升，适合实时应用，但对小目标的敏感度较低；特征金字塔网络（FPN）通过融合低层高分辨率特征与高层语义特征，显著增强了小目标检测能力；注意力机制则通过动态分配权重抑制背景干扰，Transformer架构利用自注意力机制替代卷积操作，对图像块间的关系进行全局建模，突破了CNN局部感受野的限制；64二、图像处理技术特征金字塔的特征融合65二、图像处理技术（4）语义分割与实例分割语义分割与实例分割是机器视觉感知中实现图像精细化理解的关键技术，其目标是将图像中的每个像素分配到预定义的语义类别（如“汽车”“行人”“道路”），并进一步区分同类目标的不同个体实例（如“汽车1”“汽车2”）。66二、图像处理技术语义分割的技术演进：早期采用全卷积网络（FCN）首次实现端到端像素级分类，但下采样导致空间信息丢失，边界精度较差，如分割结果出现“块状效应”；随后采用编码器-解码器结构，通过跳跃连接融合低层细节与高层语义特征，显著提升边界清晰度，具有代表性的网络结构是U-net；DeepLab系列进一步引入空洞卷积与条件随机场（conditionalrandomfield,CRF）后处理，优化了分割细节表现；Transformer架构以全局依赖建模取代传统局部卷积方式，突破了卷积神经网络仅能捕获局部特征的局限，在维持分割精度的同时有效降低了计算资源开销。67二、图像处理技术U-net网络结构68二、图像处理技术实例分割的方法：两阶段方法，如MaskR-CNN通过目标检测生成候选框，再对每个框内像素进行分类与分割，精度高但速度慢；单阶段方法直接联合检测与分割任务，省去候选框生成步骤，从而提升实时性，代表方法是YOLACT；为解决小目标分割难题，多尺度特征融合技术，如FPN、PANet结合高低层特征，增强细节捕捉能力；注意力机制，如CBAM可动态分配权重，抑制背景干扰；损失函数优化，如Diceloss解决类别不平衡问题、edgeattentionloss强化边界预测，进一步提升了分割的鲁棒性。69二、图像处理技术YOLACT网络结构70二、图像处理技术（5）视觉跟踪视觉跟踪是通过分析目标在连续图像序列中的外观特征和运动模式，在视频帧间建立目标关联从而实现持续定位的核心技术。。71二、图像处理技术相关滤波类算法：早期高效解决方案的代表。这类方法通过快速傅里叶变换（fastfouriertransform,FFT）将目标匹配问题转换到频域，利用循环矩阵近似实现实时跟踪。方法核心是通过岭回归学习目标模板与搜索区域的相似性函数，在频域中快速计算响应峰值以定位目标。为提升对光照与纹理变化的鲁棒性，引入颜色直方图特征［如CSK（circulantstructurewithkernels）算法］和多通道特征（如HOG+CN、ColorNames），同时结合尺度估计模块［如DSST（discriminativescalespacetracking）］解决目标尺寸变化问题。这类滤波方法对快速运动或严重遮挡敏感，模型更新策略易受干扰导致漂移，尤其在目标外观剧烈变化时表现不佳。72二、图像处理技术基于深度学习的方法：通过端到端训练学习目标的层次化特征表示，显著提升了复杂场景下的跟踪性能。孪生网络（siamesenetwork）架构成为里程碑式突破，其双分支共享权重的设计通过对比目标模板与搜索区域特征，直接计算相似性得分图，避免了在线微调模型的计算开销。改进版本如SiamRPN引入区域提议网络（RPN），直接预测目标边界框与置信度，支持多尺度跟踪。SiamMask进一步扩展支持实例分割，同时输出目标掩码。Transformer架构通过自注意力机制建模目标与全局上下文的关系，在视觉目标跟踪（visualobjecttracking,VOT）等基准测试中达到最先进的（state-of-the-art,SOTA）精度。73二、图像处理技术Siamese结构的深度神经网络74三、声音处理技术（1）声音信号预处理与特征提取声音信号处理与特征提取将麦克风采集的原始声波转换为可表征声音特性的参数，可分为三个步骤依次推进：预处理操作，如采用谱减法、维纳滤波或基于人工智能的降噪技术以滤除背景杂音，进行音量均衡化处理；三类声学特征的提取——时域特征，如过零率可用于判别语音信号的清脆度或沉闷度；频域特征，如梅尔频率倒谱系数（MFCC）借鉴人耳听觉感知机制以提取语音频谱的关键属性；时频联合特征，如通过短时傅里叶变换STFT构建语音信号的时频分布图谱；运用主成分分析（PCA）、线性判别分析（LDA）等特征降维方法，对高维特征集实施“瘦身”优化，在尽可能保留关键信息的前提下提升后续运算效率。75三、声音处理技术MFCC处理步骤76三、声音处理技术（2）声学建模与理解该技术自早期基于统计模型的方法起步，历经深度学习范式的演进，发展至当前一体化端到端架构阶段，逐步形成声学建模、语言模型与语义理解三者间紧密协同的技术体系。

声学建模作为基础层，旨在建立声音特征与声学单元的概率映射关系。早期的隐马尔可夫模型-高斯混合模型（hiddenmarkovmodel-Gaussianmixturemodel,HMM-GMM）通过状态转移概率描述时序关系，GMM对特征分布进行建模，但受限于HMM的线性状态转移假设和GMM对复杂特征分布的拟合不足。DNN-HMM将GMM替换为深度神经网络，通过非线性变换提升了特征建模能力，但仍依赖HMM的时序框架。77三、声音处理技术深度学习的突破催生了RNN及其变体LSTM，其门控机制有效解决了长时序依赖问题。近年来，端到端模型，如CTC、Transformer-ASR进一步简化了传统级联架构。其中Transformer-ASR基于自注意力机制进行全局依赖建模，不仅提升了长序列处理能力，还支持并行计算，已成为当前主流架构。Transformer-ASR78三、声音处理技术语言模型作为约束层，通过统计或神经网络方法建模词语组合的概率分布，以提升识别结果的合理性：传统N-gram模型依赖滑动窗口统计共现频率，存在数据稀疏问题；最大熵模型等指数模型虽通过特征工程缓解此问题，但依赖人工设计；RNN-LM等神经网络语言模型通过时序建模捕捉局部上下文信息；BERT、GPT等Transformer语言模型基于注意力机制实现全局上下文建模，其“预训练+微调”范式进一步提升了语义泛化能力。79三、声音处理技术BERT的输入与输出80三、声音处理技术语义理解作为高层认知层，旨在从识别结果中提取意图、实体等高层语义信息：早期基于规则的方法依赖预定义语法模板，灵活性差。CRF、BiLSTM-CRF等传统机器学习方法通过特征工程实现序列标注，但特征设计仍需人工干预。预训练大模型通过海量语料预训练习得通用语义表示，结合微调可适配问答系统、对话机器人等任务，显著提升了复杂语义的解析能力。目前，端到端ASR（automaticspeechrecognition）模型已取代传统级联系统成为语音识别的主流方案。未来随着多模态融合技术和认知智能的发展，声学建模与理解进一步向“认知听觉”迈进，实现“听清声音”到“理解意图”。81四、大模型决策大模型决策是指基于大规模预训练模型进行复杂任务判断与策略生成的技术范式。其核心在于通过海量数据驱动的预训练与任务适配，使模型具备跨领域、多任务的通用决策能力，是人工智能从“感知”到“认知”跃迁的关键标志。82四、大模型决策（1）预训练大模型预训练大模型（pre-trainedlargelanguagemodel）是通过在大规模无标注数据上进行自监督学习训练得到的通用深度学习模型。其核心是通过海量数据与超大规模参数捕捉丰富的世界知识与语言规律，形成强大的跨任务泛化能力。83四、大模型决策传统模型需针对每个任务单独标注数据训练，而预训练大模型通过“预训练-微调”范式，先在预训练阶段学习通用表征，再在下游任务中通过少量标注数据微调。传统模型到预训练大模型的演变过程如右图。84四、大模型决策

预训练大模型的决策能力体现在跨任务泛化、零样本/少样本适应和多模态融合三方面：跨任务泛化指同一模型处理文本分类、问答、摘要生成等多任务。零样本/少样本适应指模型通过提示词引导完成未见过的任务，如法律条款解读无需重新训练。多模态融合包括CLIP（contrastivelanguage-imagepretraining）和PaLM-E等CLIP模型联合文本-图像预训练，实现图文匹配决策；PaLM-E模型整合文本-传感器数据，赋能机器人控制。85四、大模型决策大模型决策面临的挑战包括计算资源消耗、可解释性缺失、数据偏差放大等方面。计算资源消耗指大模型训练需千卡级GPU集群。可解释性缺失指训练时模型注意力权重难以直观映射到决策依据。数据偏差放大指大模型训练语料中的偏见可能强化歧视性决策。针对这些问题，可以采用知识蒸馏等轻量化技术、决策解释工具、公平性约束等优化方案。86四、大模型决策（2）视觉-语言-动作模型视觉-语言-动作模型（vision-language-actionmodel,VLAM）是一种融合视觉感知、自然语言理解与动作决策能力的多模态智能系统。VLAM能够通过自然语言指令与视觉输入，在复杂物理世界中完成如机器人操作、自动驾驶、虚拟助手交互等高阶任务。87四、大模型决策

视觉编码器模块的核心任务是提取图像或视频中的丰富特征信息。常采用CLIP视觉编码器或3DCNN等技术。CLIP视觉编码器凭借在大规模图像-文本对上预训练的优势，能够学习到具有强语义表达能力的视觉特征，有效捕捉图像中的物体类别、形状、空间关系等信息。3DCNN则更侧重于处理视频数据，通过对视频帧序列的卷积操作，挖掘时序维度上的动态特征，比如物体的运动轨迹、速度变化等。3DCNN88四、大模型决策CLIP视觉编码器工作流程：89四、大模型决策语言编码器负责解析自然语言指令的语义信息：基于Transformer架构的语言模型是当前的主流选择，它能够对输入的文本指令进行词嵌入表示，通过多层自注意力机制捕捉词语之间的语义关联和上下文信息。对于指令“拿起红色杯子并将其放在桌子上”，语言编码器可以准确识别出关键实体“红色杯子”和动作“拿起”与“放置”，以及它们之间的逻辑关系，然后将自然语言转化为模型能够理解和处理的特征表示。90四、大模型决策跨模态融合模块是VLAM架构的核心枢纽，其作用是对齐和整合视觉编码器与语言编码器输出的特征表示。对比学习通过构建对比损失函数，拉近视觉特征和语言特征在嵌入空间中的距离，使得具有相似语义的视觉内容和语言描述在特征空间中位置相近，从而实现跨模态的语义关联。注意力机制融合则采用交叉注意力（cross-attention）技术，动态地关联视觉区域与语言实体。以“拿起红色杯子”指令为例，交叉注意力机制可以让模型聚焦于视觉特征中对应“红色物体”的区域以及符合“杯子形状”的部分，建立视觉与语言之间的精确对应关系，为后续的动作决策提供准确的上下文信息。91四、大模型决策交叉注意力机制工作流程：92四、大模型决策动作解码器基于融合后的跨模态特征生成具体的动作序列。基于扩散模型（diffusionmodel）的方法通过逐步添加噪声和去噪的过程，学习动作的概率分布。扩散模型能够生成连续、平滑的动作轨迹，在机器人操作任务中可以实现高精度的动作模仿学习。强化学习策略网络则通过与环境的交互，根据奖励信号不断优化动作策略，以适应不同的任务需求和环境变化。动作解码器需要将跨模态特征映射到具体的动作空间。扩散模型93四、大模型决策VLA典型应用实例：机器人清理餐桌和自动驾驶的靠边停车94四、大模型决策（3）世界模型世界模型（worldmodel）是机器学习领域用于模拟和预测环境动态的认知框架，其核心是通过构建虚拟环境的表征来理解物理世界与任务场景的运行规律，使智能体能够基于对未来的预测进行决策。95四、大模型决策传统决策模型依赖即时感知数据与环境交互试错，而世界模型通过内部建模实现对环境状态的抽象表示与未来演化预测。在自动驾驶中，世界模型不仅识别当前道路上的车辆与行人，还能预测未来5s内目标的运动轨迹，如“前车2s后急刹”；在机器人控制中，世界模型可模拟抓取动作对物体稳定性的影响，如“施加力矩后杯子是否会倾倒”。96四、大模型决策世界模型架构旨在模仿人类大脑的连贯思考与决策过程，整合了几个关键组件:感知模块（perceptionmodule）作为系统的基本感官输入单元，类似于人类的感官。该模块采用先进的传感器及编码器技术，如变分自编码器（VAE）、掩码自编码器（MAE）和离散自编码器（DAE），将环境输入（图像、视频、文本、控制指令）处理并压缩为更易于管理的格式。记忆模块（memorymodule）的作用类似于人类的海马体，对于记录和管理过去与现在的信息、预测世界状态及其相关的成本或回报至关重要。它通过重放近期经历来支持短期和长期记忆功能，这一过程通过将过往经验纳入未来决策，增强学习与适应能力。97四、大模型决策控制与执行模块（control/actionmodule）直接负责通过操作与环境进行交互。它评估当前状态和世界模型提供的预测，以确定实现特定目标的最佳行动序列，例如最小化成本或最大化回报。世界模型模块（worldmodelmodule）执行两项主要功能：估计当前世界状态中的缺失信息和预测环境的未来状态。这种双重能力使系统能够构建其周围环境的综合预测模型，并考虑不确定性和动态变化。98执行四、大模型决策世界模型典型应用：自动驾驶领域，动态预测模块可实时模拟行人与车辆的运动轨迹（如预判行人横穿马路的路径），并结合奖励预测机制量化不同避障动作的收益，综合评估急刹与缓刹的风险，从而生成安全且流畅的驾驶策略。在分子动力学模拟领域，该模型通过学习原子间的相互作用力场（如范德华力、化学键能），精准预测药物分子与靶蛋白的结合构象，将传统依赖超级计算机需耗时数月的分子筛选过程压缩至数小时内。在工业分拣场景中，世界模型融合视觉信息（如零件形状与位置）与力学参数（如抓取力度与摩擦系数）等多模态数据，规划出符合生产节拍的最优分拣路径，同时具备设备健康预测能力，可提前识别潜在故障风险，例如“机械臂关节过热概率”。99四、大模型决策药物分子与靶蛋白的结合：1004.1机器感知4.2机器决策4.3机器执行4.4具身智能101机器执行是指智能设备将高层指令转化为具体物理动作或逻辑操作的过程，通常由指令解析层、运动规划层与物理执行层构成，各层协同实现从抽象指令到具体动作的精准映射。102一、指令解析层指令解析层首先需对决策进行语义理解与任务拆解。例如，若决策结果为“抓取杯子并移动至目标位置”，解析层会进一步将其分解为三个子任务：①识别杯子的空间位置与姿态（需调用视觉感知模块的实时数据）；②规划机械臂的运动路径以避免碰撞（需结合环境地图与动态障碍物信息）；③控制夹爪以适当力度抓取杯子（需根据物体材质与重量调整夹持参数）。103一、指令解析层为确保任务的可执行性，指令解析层还需对决策结果进行可行性验证，例如：若决策指令要求机器人穿过一扇关闭的门，解析层需先检查门的状态，如通过物联网传感器获取门锁开闭信息，若门未开启，则需插入“开门”子任务或重新规划路径。自然语言指令“把冷饮放进冰箱”隐含了温度感知需求，解析层需关联环境传感器数据，如冰箱内温度是否低于设定阈值，并在任务目标中嵌入条件判断逻辑。104一、指令解析层最终指令解析层将验证通过的子任务转化为标准化指令格式：机器人操作系统ROS的ActionLib目标的梯形图指令，转化完成后下发至运动规划层。需保证指令的实时性与一致性。例如，在动态环境中，若杯子的位置因外力发生偏移，解析层需通过实时感知数据更新目标位置，并重新规划路径以避免无效动作。ActionLib105二、运动规划层运动规划层的核心任务是将指令解析层生成的抽象任务目标转化为可执行的运动轨迹与动作序列。通常分为路径规划与动作生成两大子模块。在路径规划方面，系统首先基于指令解析层提供的目标位置与环境地图，如栅格地图、语义地图或点云地图，通过全局路径规划算法，计算从当前位姿到目标位姿的全局最优路径；动态窗口法等局部路径规划算法实时调整轨迹，结合传感器反馈实现毫秒级避障决策。Dijkstra算法106二、运动规划层在动作生成方面，系统需针对多自由度机械臂或移动平台生成关节角度序列或轮速指令。对于机械臂任务，系统通过逆运动学求解将目标位姿转换为各关节的目标角度，然后系统利用轨迹优化算法生成平滑的关节空间轨迹；对于轮式移动平台，需结合运动学模型生成前轮转角与车速指令，确保轨迹跟踪精度。机械臂的逆运动学求解107二、运动规划层运动规划层还需处理任务级动作序列生成问题：在“整理桌面”任务中，系统需通过分层任务网络（hierarchicaltasknetwork，HTN）将任务分解为“识别物体→分类物体→规划抓取顺序→执行抓取与放置”等子任务，并协调机械臂与末端执行器（如夹爪或吸盘）的动作时序。为提升复杂任务的泛化能力，现代运动规划系统常结合强化学习与物理仿真（如PyBullet、MuJoCo），利用人类示范数据与虚拟环境试错来优化动作策略，逐步实现从“预设轨迹执行”到“自主任务规划”的跨越。108三、物理执行层物理执行层是机器执行系统的最终环节，负责将决策层生成的动作指令、指令解析层转换的任务目标以及运动规划层设计的具体轨迹，转化为实际的物理动作。涉及高精度运动控制、力反馈与柔顺控制以及多执行机构协同。在高精度运动控制方面，伺服电机、步进电机等执行机构需在毫秒级时间内响应决策层的指令，驱动机械臂、移动平台等完成亚毫米级甚至微米级的定位精度。光刻机晶圆台109三、物理执行层为实现这一目标，执行层通常采用闭环控制算法，如比例-积分-微分PID控制和模型预测控制MPC，结合高分辨率编码器图的实时反馈位置、速度信息，动态调整电机输出扭矩，消除机械传动间隙与环境干扰带来的误差。110三、物理执行层力反馈与柔顺控制是物理执行层应对复杂交互任务的核心能力。在接触式作业场景中，执行机构需通过六维力传感器、触觉传感器等实时感知接触力，并结合阻抗控制、导纳控制算法调整输出力矩，实现“刚柔并济”的操作。医疗手术机器人中，医生通过主控手柄施加微小力即可控制末端器械的切割深度与方向，传感器反馈的力信号经控制器转换后调整电机输出，确保手术操作的安全性与精准性。111三、物理执行层多执行机构协同则针对需多个物理执行器联动的复杂任务。物理执行层需解决运动同步、负载分配与冲突消解三大问题。物理执行层通常采用分布式通信架构与集中式任务调度算法，通过共享状态信息与全局任务目标，优化各执行机构的动作时序与资源分配。双臂协作机器人1124.1机器感知4.2机器决策4.3机器执行4.4具身智能113具身智能（embodiedintelligence）是指智能体通过物理身体与环境的交互实现感知、决策和行动的能力，其核心特征在于智能体不仅依赖于计算或符号处理，更依赖于身体结构、传感器-执行器系统与环境动态的耦合。114一、无人驾驶汽车无人驾驶汽车作为具身智能的典型应用范例，依托多模态感知、实时决策与运动控制等关键技术的深度协同，成功构建了从“环境感知”到“自主驾驶”的完整闭环系统。115一、无人驾驶汽车1.多模态环境感知116一、无人驾驶汽车（1）摄像头视觉感知：从图像到语义理解①目标检测与识别：基于CNN的目标检测算法可识别车辆、行人、交通标志等关键目标。②语义分割与车道线识别：全卷积网络（FCN）或U-Net架构可对图像进行像素级分类，区分路面、绿化带、障碍物等语义区域；车道线检测算法利用霍夫变换或深度学习提取车道边界，为路径规划提供参考。③动态目标跟踪：结合卡尔曼滤波或SORT、DeepSORT等深度学习跟踪器，关联连续帧中的目标检测结果，估计其速度、加速度等运动状态。117一、无人驾驶汽车（2）激光雷达感知：三维空间建模与动态检测①点云数据处理：原始点云数据需经过滤波、分割等预处理，分割后的点云可提取车辆、行人等目标的轮廓特征。②目标检测与跟踪：PointNet++、VoxelNet等基于点云的3D检测算法可直接在三维空间中定位目标。③动态轨迹预测：结合LSTM、Transformer等时序模型，预测动态目标的未来运动轨迹，如在交叉路口场景中，预测行人过街路径可辅助决策系统提前规划避让策略。118一、无人驾驶汽车（3）毫米波雷达感知：速度与距离的高效测量①测距与测速原理：基于调频连续波（frequencymodulatedcontinuouswave,FMCW）技术，通过发射与接收信号的频率差计算目标距离，利用多普勒效应计算相对速度，毫米波雷达可生成极坐标系下包含距离、角度、速度等信息的目标列表。②目标聚类与跟踪：采用DBSCAN算法对雷达点云进行聚类，结合卡尔曼滤波或扩展卡尔曼滤波（extendedkalmanfilter,EKF）跟踪目标运动状态。在高速公路场景中，雷达可稳定跟踪前车速度，为自适应巡航控制（adaptivecruisecontrol,ACC）提供输入。119一、无人驾驶汽车（4）多模态感知融合：从冗余到互补①数据层融合：直接融合图像像素、LiDAR点云等原始传感器数据，通过MV3D(multi-view3D)、AVOD(advancedvideoobjectdetection)等深度学习模型联合提取特征。②特征层融合：分别提取各传感器特征后，在特征空间进行加权融合。如PointPainting算法将LiDAR点云投影至语义分割图像，通过CNN融合几何与语义特征，提升小物体检测精度。③决策层融合：各传感器独立生成检测结果后，通过投票机制或贝叶斯估计综合决策。如在目标分类任务中，若摄像头识别为“行人”、LiDAR识别为“车辆”，则通过置信度加权判定最终类别。

120一、无人驾驶汽车2.高精度定位与地图构建121一、无人驾驶汽车（1）SLAM定位与高精地图匹配：从局部到全局的“空间锚定”①基于LiDAR的SLAM：通过激光雷达扫描周围环境，生成动态点云地图并匹配历史数据以估计位姿。常见的LOAM（lidarodometryandmapping）算法将点云分为边缘特征与平面特征，通过特征匹配计算相邻帧间的相对运动，实现10Hz以上高频位姿估计。②基于视觉的SLAM：利用摄像头采集的图像序列，通过ORB-SLAM3等算法提取角点、边缘等特征并追踪其运动轨迹。③高精地图匹配：将传感器数据与预先构建的高精地图（high-definitionmap）比对，校正定位误差。高精地图包含车道线曲率、交通标志位置等语义信息，通过点云或图像特征匹配可将定位精度提升至±10cm，显著优于全球卫星导航系统（globalnavigationsatellitesystem,GNSS）的±2~5m。122一、无人驾驶汽车（2）组合导航系统：多传感器协同的“误差补偿”①GNSS/IMU紧耦合：IMU（惯性测量单元）以200Hz高频输出角速度与加速度，短期精度高但存在累积误差；GNSS（全球导航卫星系统）提供绝对位置与速度基准，但更新频率低。紧耦合算法通过卡尔曼滤波融合两类数据，在GNSS信号不稳定时仍能保持定位连续性。②轮速传感器辅助：车轮转速与车身运动存在确定性关系，通过轮速计可估算行驶距离，组合导航系统将轮速数据与IMU、GNSS数据联合优化，进一步抑制累积误差。123一、无人驾驶汽车（3）动态环境下的定位更新：应对变化的“自适应机制”①局部地图更新：通过LiDAR或视觉SLAM实时构建局部动态地图，与高精地图比对并标记变化区域（如新增锥桶、事故车辆）。局部更新算法可识别动态障碍物并剔除其对定位的影响，避免误匹配导致的轨迹偏移。②重定位技术：当车辆因遮挡或环境剧变丢失位姿时，通过全局重定位（globallocalization）重新锚定自身位置。重定位技术通常基于ScanContext算法提取点云的建筑轮廓、车道线拓扑等全局特征，可在100ms内完成重定位，恢复定位精度。124一、无人驾驶汽车3.实时决策与路径规划125一、无人驾驶汽车（1）行为决策：高层任务的“逻辑判断”①基于规则库的行为决策：传统行为决策方法依赖专家经验构建规则库，例如“若前方车辆速度低于阈值且右侧车道空闲，则执行超车”。规则库通过“if-then”逻辑定义优先级，在简单场景中可靠性高，但难以应对复杂问题（如“鬼探头”）。②基于强化学习的行为决策：通过PPO等深度强化学习算法从仿真环境中学习最优策略，智能体通过与虚拟交通流交互，优化长期奖励（如通行效率、碰撞惩罚），最终生成适应复杂场景的决策模型。例如在无信号灯交叉路口，强化学习模型可动态权衡“抢行”与“等待”的风险收益比。126一、无人驾驶汽车（2）运动规划：轨迹生成的“几何求解”基于采样的轨迹规划：快速扩展随机树（RRT）算法通过随机采样生成可行轨迹，并逐步优化轨迹代价（如长度、曲率）。RRT在动态环境中可快速找到从起点到目标点的无碰撞路径，但生成的轨迹平滑性较差，通常需后处理以提升可执行性。基于优化的轨迹规划：Frenet坐标系优化算法将轨迹规划问题转化为二次规划（QP）问题，在车辆坐标系（Frenet-Serret框架）下分解为纵向（速度）与横向（偏移）优化子问题。该方法生成的轨迹具有高平滑性，且能显式约束曲率与加速度，适合高速场景。RRT*适用于动态障碍物避碰，Frenet系优化更适合结构化道路的稳态行驶，两者常结合使用以平衡效率与精度。127一、无人驾驶汽车（3）实时控制：轨迹跟踪的“执行保障”实时控制将规划轨迹转化为车轮转角与加速度指令，确保车辆精确跟踪目标路径，其核心是通过模型预测控制（MPC）​解决“如何实现”的动态问题。MPC在每个控制周期（通常为10~20ms）内求解有限时域优化问题，最小化轨迹跟踪误差与控制输入代价，同时结合车辆动力学模型、道路曲率与执行器约束，动态调整前轮转角与油门/制动开度，通常可将横向跟踪误差控制在±5cm以内。在急弯场景中，MPC通过预判轨迹曲率提前调整转向角，显著优于PID的滞后响应。MPC的计算复杂度随预测时域增长而升高，需结合边缘计算硬件实现实时求解。128一、无人驾驶汽车（4）动态环境下的决策更新：应对不确定性的“自适应机制”

动态环境要求决策系统具备快速重规划能力，其关键技术包括局部重规划和全局重规划。局部重规划：当感知到新障碍物时，在原轨迹基础上局部调整轨迹。动态窗口法（dynamicwindowapproach,DWA）通过实时评估可行速度空间，选择最优避障策略，适用于低速场景。全局重规划：在环境剧变时，重新计算全局路径。基于A*或D*Lite算法的增量式搜索可在100ms内更新路径，确保车辆驶向替代路线。129一、无人驾驶汽车4.车辆动力学控制130一、无人驾驶汽车（1）线控底盘技术：取消机械连接的“电子执行”线控转向系统：取消方向盘与转向轮间的机械连接，通过转向电机直接驱动转向柱。线控转向系统可实现±720°无限制转向角，且支持狭窄场景下的原地掉头。线控制动系统：采用电子液压制动（electronichydraulicbrake,EHB）或电子机械制动（electronicmechanicalbrake,EMB）替代真空助力器。EHB通过电机推动液压泵产生制动力，保留传统液压管路作为备份。EMB则完全取消液压系统，由电机直接驱动卡钳夹紧制动盘，响应速度提升至<5ms。线控油门系统：通过节气门电机精确控制进气量，取代加速踏板与节气门间的拉索连接。线控油门系统可根据规划指令实时调整发动机/电机输出功率，控制精度达±1%，满足动力输出的线性需求。131一、无人驾驶汽车（2）集成式底盘控制：多系统协同的“动态稳定”扭矩矢量控制（torquevectorcontrol,TVC）：在四驱系统中，通过独立控制左右轮电机转矩以产生横摆力矩。当车辆高速过弯时，内侧车轮减速、外侧车轮加速可增大横摆力矩，抑制转向不足，反之则修正转向过度。主动悬架控制：通过电磁阀调节减震器阻尼力，实时调整车身姿态。在颠簸路面行驶时，主动悬架可降低车身振动幅度，提升传感器的测量稳定性；在急转弯时，主动抬高外侧悬架高度以减小侧倾角，增强乘坐舒适性。多目标优化控制：集成式底盘控制器需平衡安全性、舒适性与能耗。例如，在湿滑路面制动时，优先分配前后轮制动力矩以避免打滑，同时限制减速度以减少乘客前倾感，并通过再生制动回收能量。132一、无人驾驶汽车（3）故障容错机制：失效场景下的“安全兜底”冗余设计：关键部件（如转向电机、制动泵）采用双备份配置，当主系统失效时自动切换至备用系统，确保车辆可控。故障诊断与降级策略：实时监测传感器数据（如轮速、电机电流）与执行器反馈，通过阈值判断或机器学习模型识别故障类型并实施降级处理。如当检测到转向电机堵转时，启动最小风险状态（minimalriskcondition,MRC）策略，逐步降低车速并靠边停车。133二、仿生人形机器人仿生人形机器人是融合仿生学、人工智能与精密机械技术的复杂系统，它可模仿人类的形态（双足行走、灵活关节）、感知能力（视觉、听觉、触觉等多模态交互）与行为模式（语言交流、精细操作。134二、仿生人形机器人多模态仿生感知（1）视觉感知的仿生优化：动态聚焦与立体视觉RGB-D相机与事件驱动相机的融合：RGB-D相机提供彩色图像与深度信息，DVS等事件驱动相机则以微秒级延迟捕捉运动目标的像素级变化。两者融合后，机器人可在强光闪烁或快速运动场景中（如体育赛场）实时跟踪目标。仿生动态视觉注意力机制：人类视觉通过“注视点切换”实现动态场景的高效处理。仿生机器人采用SalGAN等基于深度学习的显著性检测算法，模仿人类视觉的注意力分配策略，优先处理关键区域。三维重建与场景理解：结合双目立体视觉与结构光技术，仿生机器人可生成高精度三维点云地图，在室内导航任务中，机器人通过点云配准与语义分割，构建可通行区域模型。135二、仿生人形机器人（2）触觉感知的仿生设计：从接触力到材质识别柔性电子皮肤：采用分层结构，顶层为柔性