《人工智能基础与应用（第二版）》课件 平震宇 项目4-6 智能体开发实践-AI艺术和创意实践

记忆知识库工具工作流测试LLM人工智能基础与应用｜第二版项目4智能体开发实践从“会聊天”到“会办事”：感知—推理—规划—执行—学习需求人设知识库工作流测试物联网工程学院（信息安全学院）

平震宇前言项目描述：从“会聊天”到“会办事”传统AI｜建议型分析数据，给出建议接收一个问题，给出一段回答知识来自预训练，时效与领域有限通常不直接操作外部系统结果是否正确，主要靠人判断智能体｜执行型理解目标，拆解并执行感知多模态、多源数据推理、规划，选择工具与路径调用知识库、API、数据库、设备以执行结果反馈，持续优化能力升级能力越强，风险越高：权限可控、审核前置、日志可追溯，是智能体落地的前提。2前言学习目标：知识、技能、素质三位一体知识目标理解与解释智能体的组成，与大模型、聊天机器人的区别五环节：感知、推理、规划、执行、学习RAG、Embedding、知识库、工作流、设计模式四维测试与自主智能体安全规范技能目标设计与构建完成需求分析四问与人设四部分在Coze创建智能体并配置模型、插件按五步法构建知识库，完成检索测试搭一个带分支的工作流，完成四维测试素质目标边界与责任理解“智能体可以自主执行，责任仍由人承担”坚持权限最小化、人工审核前置、日志审计保护商业机密与个人信息，尊重知识产权对高风险动作保持审慎，能说明人机分工3前言项目结构：认识—设计—构建—测试认识4.1—4.2制造业应用、智能体组成、五环节、工业场景设计4.3平台选型、需求四问、人设四部分、四条原则构建4.3大模型接入、知识库与RAG、工作流编排测试4.3—4.4四维测试、安全边界、综合实训与拓展4.1制造业典型应用预测维护、机器人、视觉检测、数字孪生4.2制造业中的智能体组成、五环节、工业场景、人机分工4.3平台与设计平台选型、需求四问、人设、设计原则4.3知识库与工作流RAG、Embedding、五步法、节点与分支4.3测试与安全四维测试、权限、审核、日志4.4综合实训与拓展课程助手、PMIC任务、设备巡检方案测试项目测试与小结概念、情境与开放题44.1SECTION人工智能在制造业中的典型应用场景从设备运维、质量检测到数字孪生，AI正在进入制造全流程。预测性维护：从被动维修到主动干预机器人与视觉检测：让设备看得见、动得准数字孪生与智能体：从仿真优化到自主执行项目4｜智能体开发实践4.1人工智能在制造业中的典型应用场景人工智能在制造业的九大应用领域1预测性维护提前发现设备故障2质量检测亚毫米级缺陷识别3数字孪生虚拟仿真与优化4机器人人机协同作业5供应链需求预测与库存优化6生成式设计加速零件研发7流程优化实时调整生产参数8安全与培训危险源监测、AR/VR9智能体自主决策与执行共同目标：降本、增效、提质、减碳；从单点工具走向全流程优化。64.1人工智能在制造业中的典型应用场景价值地图：AI在制造业到底改变了什么降本减少停机与浪费预测性维护减少非计划停机数字孪生减少物理试错供应链优化降低库存增效缩短周期与等待排产与调度更快跨系统流程自动流转研发与设计迭代加速提质提升一致性与检出率视觉检测7×24小时稳定缺陷检出率超过99%减少人为疲劳与误判减碳优化能耗与资源流程参数实时优化设备能效监测减少报废与返工讲价值时要说清基线、口径、统计周期；企业发布的数据只能作为案例参考，不能直接当作普遍结论。74.1人工智能在制造业中的典型应用场景AI预测性维护：从“坏了再修”到“提前干预”1感知层振动、热成像、电流、声学2边缘层5G传输、清洗、特征提取3模型层基线、异常检测、寿命预测4应用层工单、备件、MES/ERP联动典型场景新能源汽车远程诊断覆盖动力电池、驱动电机、整车控制器分析充放电特征，提前预警电池热失控从“故障后维修”转向全生命周期管理典型场景半导体产线能效平台监测真空泵等核心设备的电力波纹异常避免突发停机造成晶圆报废保障核心工序连续运行预测性维护的价值不在“预测”本身，而在预测—决策—执行的闭环。84.1人工智能在制造业中的典型应用场景AI驱动机器人：给机器装上眼睛、大脑和手感1视觉感知识别无序零件，精准抓取2自然语言口语下指令，降低门槛3力控柔顺碰撞停止，精密贴合4强化学习仿真中探索最优路径5灵活重配快速换型，多品种生产六大场景从单点自动化到柔性生产精密装配：电子器件、汽车零件，视觉+力控焊接喷涂：路径补偿，替代高危作业拣选码垛：视觉引导无序抓取危险环境：高温、有毒、密闭空间运维调度：物料配送、盘库、巡检全流程制造：上下料、装配、检测一体案例：均胜电子UR5e协作装配，人均效率提升45%；华为5G-A柔性产线换型时间缩短60%。94.1人工智能在制造业中的典型应用场景AI视觉检测：让缺陷识别更快、更稳、更一致1高精度成像线阵/面阵相机2图像预处理去噪、定位目标3深度学习推理纹理、颜色、几何特征4自动分拣判定类型、报警、剔除表面缺陷划痕、裂纹、变色装配完整性漏装、错装、焊接不良PCB/半导体微米级焊点、走线偏差食品医药异物、瓶损、药片缺损标签包装条码、有效期、位置三维尺寸非接触精密测量人工检测准确率约85%，AI检出率超过99%；但阈值、误报成本和样本代表性仍要人判断。104.1人工智能在制造业中的典型应用场景数字孪生：在虚拟世界里先跑一遍阶段1设计建设虚拟规划、瓶颈排查、提前调试阶段2仿真推演产线布局、物料流转、人机工学阶段3实际运营实时数据、快速定位、持续优化五大环节从设计到培训的全流程工厂设计与虚拟调试：降低试错成本设备预测性维护：降低非计划停工生产流程实时优化：识别瓶颈、动态排产供应链韧性管理：预演中断、提升履约员工培训与安全仿真：零风险反复演练案例从钢铁到面板南钢：生产、物流、设备、能耗三维可视化中铁盾构：研发—制造—施工—运维全生命周期长虹：物流自动化率95%，交付周期49天→11天数字孪生的关键不是“好看的三维模型”，而是虚实数据同步与可验证的决策价值。114.1人工智能在制造业中的典型应用场景六类工业智能体场景：智能体做什么，人把关什么自主排程订单拆解、工序排产、动态调度岗位：生产调度员人把关：停机/插单需审批自愈维护异常诊断、寿命预测、备件调度岗位：设备运维工程师人把关：停机维修需确认供应链需求预测、库存优化、补货建议岗位：供应链专员人把关：大额采购需审批知识Copilot检索工艺、标准、维修案例岗位：工艺/质量工程师人把关：结论需核对出处质量闭环缺陷识别、原因分析、参数建议岗位：质检工程师人把关：合格判定需人工知识传承班次交接、经验沉淀、培训问答岗位：班组长/培训师人把关：经验需审核入库案例数据只作参考；引用前通过工信部典型案例、企业官方发布核实口径。124.1人工智能在制造业中的典型应用场景人机分工：权限越大，审核越前置L1只读查询查知识库、查记录、查状态可自主L2生成建议方案、报告、诊断建议人确认后使用L3低风险执行创建草稿工单、发送提醒可自动，留日志L4高风险执行停机、下单、改参数、判合格必须人工审批权限最小化、人工审核前置、操作日志审计：这三条比“模型多聪明”更重要。134.2SECTION制造业中的智能体大模型是认知引擎，智能体是能办事的系统。智能体不等于大模型：还需要记忆、知识、工具、工作流五环节：感知—推理—规划—执行—学习两类形态：虚拟智能体与具身智能体项目4｜智能体开发实践4.2制造业中的智能体智能体≠大模型：七块能力拼成一个系统智能体=大模型+提示词+记忆+知识库+工具+工作流+测试评价1大模型理解与推理缺了：无法理解2提示词角色、任务、边界缺了：边界不清3记忆多轮上下文与偏好缺了：对话断裂4知识库专业、可追溯的依据缺了：回答无依据5工具API、数据库、设备缺了：只能给建议6工作流多步骤任务编排缺了：复杂任务做不完7测试评价质量、安全、体验缺了：风险失控缺一块，就少一种能力；能办事=认知+记忆+依据+行动+评价。154.2制造业中的智能体智能体与聊天机器人：五个维度看差异维度聊天机器人智能体主要能力一问一答，被动响应自主规划，主动执行知识来源主要依赖预训练知识可结合专属知识库实时检索任务处理单轮或短对话拆成多步骤任务链外部交互通常没有可调用工具、API、数据库效果评价较少系统评价持续测试、审查、优化课堂任务4-1：各举一个聊天机器人和一个具备智能体特征的AI应用，对照表格说明差异。164.2制造业中的智能体系统组成与五个环节：从感知到学习大语言模型理解意图、逻辑推理记忆上下文、偏好、历史知识库RAG、专业依据工具调用API、数据库、设备工作流拆解、排序、推进1感知2推理3规划4执行5学习多模态、多源数据上下文理解、可追溯总目标拆成子任务调用工具、真正执行以结果反馈优化执行是分界：智能体不只给建议，而是直接调用工具完成任务；因此必须设置权限分级与人工审核。系统组成174.2制造业中的智能体用设备运维体会五个环节1感知电流50A+维修日记“轴承异响”输出：多模态状态来源：传感器+工单+文档2推理电流异常关联异响，判断轴承风险输出：可追溯的判断依据：历史案例+机理模型3规划立即停机损失1万元vs下班后维修风险输出：优先级方案权衡：成本/风险/产能/交付4执行发补货申请/下发降速指令输出：工单/指令/回执分级：低风险自动，高风险审批5学习记录预判准确度，改进下一次输出：改进规则沉淀：规则/案例/提示词一个智能体做不完时，把任务拆给排程、维护、质检、采购等专项智能体，由编排器统一调度。这就是多智能体协作的起点；本课程先建立概念，重点掌握单个智能体的设计与验证。184.2制造业中的智能体工业智能体：虚拟与具身两类形态虚拟智能体在数字环境里办事生产排程、查询、报告生成知识问答、工艺检索、异常分析调用MES、ERP、数据库、工单系统不直接操作物理设备具身智能体在物理世界里行动机器人、AGV、协作机械臂视觉、力控、导航、抓取在动态环境中感知与操作安全边界与急停机制更关键传感器/物联网机器视觉数字孪生MES/ERP机器人本体智能体的“感官”和“手脚”，来自制造业已经成熟的技术。194.3SECTION智能体开发实践：平台与设计先选平台、再做需求与人设；设计在前，创建在后。平台选型：Coze、Dify、FastGPT、RAGFlow、n8n需求四问：对象、任务、知识、工具人设四部分：角色、能力、流程、限制项目4｜智能体开发实践4.3智能体开发实践｜平台与设计平台选型：没有绝对优劣，只有适不适合表4-1智能体应用开发平台对比（节选）平台核心优势适用场景部署局限Coze零代码可视化，插件生态丰富对话应用、内容创作、教学实训云端定制化较弱Dify开源，兼容多模型，工作流强企业级系统、多模型编排云端/私有化高级功能需编程FastGPT专注RAG，中文优化突出企业知识库问答、合规问答云端/私有化配置门槛较高RAGFlow复杂文档解析，引用溯源强合同、报告、学术文献问答云端/私有化资源占用高n8n跨系统集成，支持人工审批ERP、运维、业务流程自动化云端/私有化需开发能力本课程以Coze为主线；选平台先看数据合规、部署方式和团队能力，再看功能多少。214.3智能体开发实践｜平台与设计需求分析四问，人设四部分需求分析先回答四个问题服务对象：谁用？他的专业背景和表达习惯是什么？主要任务：问答、分析、生成、调度，还是执行？知识依托：课程、手册、规范、案例，还是实时数据？外部工具：是否需要查数据库、调API、发工单？人设设计四部分写清楚角色定位：是谁、服务谁、语气如何主要能力：能做什么、不能做什么工作流程：先判断→再检索→再回答/执行限制规则：超范围、找不到依据、高风险动作怎么办温度参数：专业问答类智能体建议0.3～0.5，降低随机性；创意类任务可适当提高。224.3智能体开发实践｜平台与设计四条设计原则：用户、内核、架构、效能原则一用户本位面向非技术用户能理解模糊、口语化指令GUI+自然语言双入口检查：用户要不要学配置？做法：意图识别+默认值反例：要求用户先写JSON原则二智能内核规划：拆解复杂目标记忆：短时+长时反思：异常时修正并重试检查：会不会直接报错退出？做法：规划器+记忆+反思循环反例：异常时直接终止原则三柔性架构功能插件化模型可热插拔接口标准化检查：换模型要不要停机重构？做法：插件注册+标准接口反例：换模型改全部代码原则四效能平衡复杂度路由：简单任务用小模型端云协同：敏感数据本地处理成本与体验平衡检查：是否所有任务都用大模型？做法：复杂度路由+端云协同反例：所有请求走最大模型四条原则互相支撑：好用、会办事、能演进、算得过来。234.3智能体开发实践｜平台与设计任务：创建“人工智能课程助手”1需求分析对象、任务、知识、工具2基本信息名称、介绍、图标3模型配置温度0.3~0.5、输出长度4撰写人设角色、能力、流程、限制5测试优化问答+学习计划本任务验收｜四类问题各测一次概念题3+学习计划1+超范围1；查答非所问、虚构。人设文本示例你是“人工智能课程助手”，服务本课程学生。主要能力：课程知识问答、学习规划、错题分析。工作流程：先判断问题是否属于课程范围；属于则检索知识库作答；不属于则礼貌说明并引导咨询任课教师。限制规则：不代替学生完成作业原始作答，只提供思路；不虚构课程中没有的知识点；找不到依据时明确说明。检查人设：找不到依据怎么办？超范围怎么回应？限制能否被测试？语气是否适合学生？244.3智能体开发实践｜平台与设计进阶案例：售后服务智能体与插件售后服务智能体从问答到工单用户提问：产品型号、故障现象、使用环境检索：产品手册、故障案例、维修规范分析：可能原因、排查步骤、所需备件输出：结构化工单（JSON/表格），含“是否需人工审核”摘要助手插件三种输入，一套输出文本粘贴：直接摘要网页链接：链接读取插件抓取正文文档上传：文件解析插件提取文本人设写清：输入适配→摘要生成→交互反馈课堂任务4-2：创建摘要助手，三种输入各测一次，记录插件调用是否正常、摘要数据是否与原文一致。254.3SECTION知识库与工作流给智能体可靠的资料库，再把多步骤任务串成可控流程。RAG与Embedding：先检索，再生成知识库五步法：收集、清洗、切分、向量化、检索测试工作流四要素：节点、逻辑、数据流、资源集成项目4｜智能体开发实践4.3智能体开发实践｜知识库与工作流RAG：先检索，再生成1构建知识库清洗、切分、向量化、入库2检索关键词+语义混合检索3重排与增强相关片段排在前面，与问题合并4生成回答模型基于检索依据作答作用一扩展知识广度弥补预训练知识在时效和领域上的不足例：新标准发布后，不必重训模型作用二降低虚构风险让生成有可核对的事实依据例：回答附条款号，便于核对作用三增强专业性引入权威资料，适配医疗、金融、工业例：工业规范、医疗指南、合规文件RAG不是“把文档丢给模型”，而是检索—重排—增强—生成的完整链路。274.3智能体开发实践｜知识库与工作流Embedding：把语义变成可计算的距离语义空间（示意）猫狗宠物汽车卡车轿车问题找最近的片段三个用途检索、记忆、推荐语义检索：问题向量与文档片段向量比相似度上下文记忆：多轮对话形成连续语义轨迹个性化推荐：用户行为向量匹配内容长文档先切分，再分别生成向量切分长度与重叠要测试，不是越细越好语义相近→向量距离相近；Embedding是RAG的“检索底座”。284.3智能体开发实践｜知识库与工作流知识库构建五步法：上传不等于完工1资料收集手册、规范、案例2数据清洗去重、去噪、去无关3文本切分按语义完整性切分4Embedding转成向量入库5检索测试真实问题检验指标一召回率知识库里真正相关的内容，能不能被找出来测：相关问题能否命中指标二精确率返回的片段和问题到底有多相关测：命中片段是否相关指标三覆盖率领域常见问题是否都有资料支撑测：常见问题清单检索测试不是可选项：至少准备正常、边界、超范围三类问题，逐条看命中了什么。294.3智能体开发实践｜知识库与工作流知识库维护与Prompt/RAG协同维护知识库会“过期”规章、产品、标准更新后，替换或增量更新只入库权威、有效的版本商业机密与个人信息：权限控制+脱敏保留更新记录，能追溯“当时依据哪一版”1提示词约束边界、语气、范围2RAG检索找到可核对依据3大模型生成基于依据回答4安全过滤敏感内容拦截人设必须写：找不到依据就说明、超范围就拒绝、不直接说“根据文档内容”。304.3智能体开发实践｜知识库与工作流任务：学生手册规范问答智能体需求唯一知识来源：学生手册覆盖学籍、奖惩、学业、宿舍等条款支持PDF/Word/TXT修订后增量更新范围判断：属于手册则答，不属于则引导模糊问题主动追问；超范围礼貌回绝1创建文本知识库2上传手册3分段预览与清洗4构建索引5新建智能体并绑定6人设约定规则7典型问题测试是否标出处，取决于使用者能否核对；授权、脱敏、版本三件事先确认。314.3智能体开发实践｜知识库与工作流平台接入与模型配置：先把“思考能力”接上1进入空间选择智能体开发关键：工作空间→开发2基本信息名称、介绍、图标关键：三项必填3模型配置模型、温度、输出长度关键：温度0.3~0.54插件链接读取、文件解析关键：先看权限再添加5开场白引导用户输入关键：写清能做什么6预览发布测试后发布关键：多类输入各测一次模型选择精度、速度、成本三者平衡复杂长文本：选语义理解强的模型；高频摘要：选兼顾速度与质量的轻量模型；时延敏感：选更小的模型。专业问答温度0.3～0.5；最大输出长度按任务设定。平台菜单名称随版本变化；课堂以当前界面和数字实训手册为准。324.3智能体开发实践｜知识库与工作流知识库创建流程：分段预览必须人工核查1资源库右上角“资源”→“知识库”2创建知识库名称、用途、文本类型3上传文档本地导入PDF/Word/TXT4分段预览核查语义完整性、清理冗余5构建索引Embedding、写入向量库6绑定智能体编排界面添加知识库重点分段预览看什么一段是否表达完整语义是否混入页眉、页脚、页码是否把条款和标题拆散是否重复、乱码、空段调整后重新预览，再构建索引知识库质量的上限，往往在分段这一步就决定了。334.3智能体开发实践｜知识库与工作流工作流四要素与常用节点要素1节点最小执行单元，标准输入输出要素2逻辑控制选择、意图识别、循环、异常要素3数据流变量引用、强类型、上下文透传要素4资源集成知识库、数据库、API、模型开始唯一边界入口LLM分类、分析、生成插件调外部能力代码精确计算、解析知识库RAG检索结束定义输出格式节点之间靠变量连接；上游输出格式，必须与下游输入格式相容。画工作流前先在纸上写清：输入→节点→分支→输出；再拖控件。344.3智能体开发实践｜知识库与工作流分支、数据流与异常处理选择节点按问题类型/参数值分流意图识别自动判断参数查询、失效分析等循环节点批量处理多条测试记录异常分支节点失败时兜底，不中断变量引用{{start.user_test_query}}强类型约束字符串/数值/JSON/数组上下文透传芯片型号、历史查询数据校验阈值范围、格式校验异常分支不是“可选项”：节点失败、数据缺失、格式不符都要有兜底。354.3智能体开发实践｜知识库与工作流工作流与自主智能体：路径由谁决定工作流路径由开发者预先规定节点与连线固定过程可检查、可复现适合规则清晰、风险可控典型：参数查询、分流、审批流自主智能体路径由模型动态决定可自行选择工具可中途重新规划灵活性高，过程不易预先检查典型：开放环境多步任务维度工作流自主智能体可控性高较低可复现性强较弱灵活性中高适用风险低—中需更强隔离与审批364.3智能体开发实践｜知识库与工作流任务：车规级PMIC测试工作流1开始问题、型号、测试项2意图识别参数查询/失效分析3知识库检索手册、AEC-Q100、规程3LLM+知识库原因分析、方案生成4格式化结论、依据、建议5结束输出合格判定→人工审核工作流适合规则清晰、风险可控的测试流程；高风险结论必须保留人工审核节点。验收：6个问题覆盖参数查询、失效分析、超范围、缺字段、多型号、合格判定；记录分流是否正确、引用是否可核对、是否转人工。议一议：如果测试项新增“EMC”，工作流要改哪些节点？374.3智能体开发实践｜知识库与工作流六种基础设计模式：把提示词方法变成流程必学提示词链固定步骤，前一步输出作后一步输入例：抽取→分类→生成报告必学路由按问题类型选择不同路径例：参数查询vs失效分析了解并行化独立任务同时执行再汇总例：多份文档同时摘要结合测试反思评估输出、识别问题、迭代改进例：自检答案再修正了解工具使用调用API、数据库、插件例：查数据库、发工单进阶规划自主安排行动序列，随障碍调整例：多步巡检任务工作流多用提示词链+路由；自主智能体更多依赖规划+工具+反思。384.3智能体开发实践｜知识库与工作流进阶模式与协议：知道它们解决什么问题人机协同关键环节人工监督、审批、纠偏记忆管理会话、状态、长期记忆分层知识检索RAG，引入外部依据多智能体专项智能体+编排器调度MCP模型上下文协议统一工具与数据源接入A2A智能体间协议跨厂商、跨框架通信与分派上下文工程组织给模型的信息RAG+记忆+人设按重要度组织提示词工程侧重“怎样表达”，上下文工程侧重“给模型什么信息”。394.3SECTION智能体开发实践：测试与安全智能体上线前必须系统测试；能力越强，风险越高。四维测试：功能、知识、安全、体验三条底线：权限最小化、审核前置、日志审计高风险动作必须人工审批项目4｜智能体开发实践4.3智能体开发实践｜测试与安全四维测试：功能、知识、安全、体验维度一功能测试能否正确回答能否调用指定工具工作流是否完整执行典型任务逐一验证例：查参数、走流程、转人工维度二知识测试回答正确率幻觉率引用是否准确已知标准答案抽样例：标准题、超范围题维度三安全测试越权访问敏感信息泄露恶意提示诱导边界与攻击用例例：越权、泄露、诱导维度四体验测试响应时间任务成功率用户满意度多轮实际使用记录例：3轮追问、响应时长实训任务4-1：四个维度各设计3个用例，共12个，运行并记录，写一份简要测试报告。测试不是“问几个问题看看”：每个用例都要有输入、预期、实际、结论。414.3智能体开发实践｜测试与安全安全边界：权限最小化、审核前置、日志审计权限最小化只给完成任务所需的最小权限审核前置高风险动作先审批再执行日志审计记录操作、依据、时间、责任人L1查询自主L2建议人确认L3低风险执行自动+日志L4高风险执行人工审批法规底线：《生成式人工智能服务管理暂行办法》2023-08-15施行；《个人信息保护法》2021-11-01施行。424.3智能体开发实践｜测试与安全安全审查清单：把“能不能做”写清楚自主范围哪些查询、生成、草稿可以自动完成？例：查手册、生成建议、创建草稿工单高风险审批哪些动作必须人工确认？例：停机、下单、改参数、判合格敏感信息知识库里哪些内容要保护？例：客户信息、价格、工艺参数责任界定误判时谁负责、如何追溯？例：日志、依据、审批人、复核记录议一议4-3：清单里哪一项最容易被忽略？为什么“日志”是责任界定的前提？434.4SECTION综合实训与拓展把方法串起来，完成一个可测试、可审查的智能体。基础任务：AI学习助手智能体企业任务：车规级PMIC测试智能体拓展：设备巡检方案与自主智能体安全项目4｜智能体开发实践4.4综合实训与拓展项目综合实训：三级任务与评价基础版｜必做基础闭环需求四问+人设四部分；5份文档；5题检索测试完整版｜推荐验证闭环加工作流、功能/知识测试、安全清单、AI使用声明专业/企业｜选做真实场景本专业助手，或车规级PMIC测试智能体基础必做；选做附加分最高10分评价项权重需求分析与人设20%知识库20%工作流20%四维测试20%安全审查10%效果与AI使用声明10%等级关键点优秀与不及格优秀：关键用例独立设计、安全审查到位、能说明人机分工不及格：无核查验证，或说不清AI与人的贡献454.4综合实训与拓展企业任务：车规级PMIC测试智能体资料包教师提供的虚构或脱敏材料；企业资料先确认授权人设与限制回答附条款出处；材料没有的明确说明；只辅助判断分流工作流参数查询→知识库；失效分析→LLM+知识库；判定→人工四维测试功能、知识、安全、体验；专设人工审核用例PMIC场景的底线：回答必须有依据，合格判定必须人工审核。464.4综合实训与拓展拓展：设备巡检智能体系统设计知识库收集设备手册、点检标准、历史故障、维修案例；明确更新频率与责任人人设车间巡检顾问；支持语音/口语；未知问题记录并转人工；不擅自下结论工作流异常上报→分类→检索→建议→工单→人工确认；异常分支兜底验收指标召回率、精确率、回答准确率、上报到工单时长、人工复核通过率方案要写清：谁使用、什么场景、数据从哪来、异常怎么办、如何验收。474.4综合实训与拓展自主智能体框架：自主不等于放任边界内自主目标、工具、审批由人设定不是AGI，不是自我意识可自主规划、调用工具、执行多步任务工具、技能、记忆、沙箱是常见组成开放环境任务需要更强隔离与审计1环境隔离专用设备/虚拟机/沙箱2权限最小化不用管理员权限3数据安全不存隐私与机密4版本管理关注安全更新5监控审计开启日志、定期审查6应急准备预案与离线备份课堂任务4-4：从“生成代码”到“自主执行任务”，人的责任发生了什么变化？484.4综合实训与拓展课堂任务与讨论：把方法用起来任务4-1聊天机器人vs智能体五个维度对照，各举一例任务4-2摘要助手三种输入各测一次，记录插件调用任务4-3RAG与幻觉说明外部依据如何降低“凭概率猜”任务4-4自主与责任目标、权限、最终确认由谁负责讨论要求：先给结论，再给依据；说清边界，再说责任。选做：为你的专业设计一个“知识库+人设+工作流+测试”的最小方案。49项目拓展与测试项目测试：概念、情境与开放题判断题对/错，并说明理由1.智能体就是大模型。（）2.RAG是在生成前先检索外部知识。（）3.高风险动作应设置人工审核节点。（）4.知识库上传文档后就算建好了。（）5.工作流的路径由开发者预先规定。（）简答题两个核心问题1.智能体由哪些部分组成？它和聊天机器人的区别是什么？2.人设四部分是什么？知识库构建五步法是什么？开放题协议与上下文工具接入不统一对应什么？智能体之间难协作对应什么？长任务信息丢失对应什么？答案提示：①错②对③对④错⑤对；开放题：MCP、A2A、上下文工程与记忆管理。50项目拓展与测试项目小结：智能体可以自主执行，责任仍由人承担01认识智能体≠大模型；五环节；工业场景人机分工02设计需求四问、人设四部分、四条原则03构建RAG、知识库五步法、三项指标04编排工作流四要素、节点、分支、数据流05测试四维测试、权限、审核、日志、六条原则智能体可以自主执行·安全边界由人设计·责任由人承担下一项目：辅助驾驶实践——多模态感知与安全评估。514项目4结束把智能体用在正确的地方能办事，也要能被检查、被审计、被叫停。下一项目｜辅助驾驶实践L2辅助驾驶驾驶员监督人工智能基础与应用｜第二版项目5辅助驾驶实践感知—决策—控制：AI负责聪明，规则守住底线感知决策控制监督物联网工程学院（信息安全学院）

平震宇前言项目导入：校门口的一次自动刹停1看见摄像头、雷达采集2识别AI识别行人、预测意图3决策规划判断必须停车4执行控制制动系统问题一车辆怎样“看见”学生？多传感器+融合感知问题二一秒内经历了哪些步骤？感知→预测→规划→控制问题三AI失误谁负责？驾驶员监督+企业责任+法规本项目讨论的是辅助驾驶，不是无人驾驶；L2阶段驾驶员仍须全程监督。54前言三层认识：概念、范式、责任第一层概念与边界多模态、MLLM、VLA、自动驾驶系统技术思想相通，但不是同一个系统不把实验室研究与量产系统混为一谈第二层通用范式感知—决策—控制—安全兜底可迁移到医疗、仓储、农业会分析、会测试、会评估风险第三层责任与监督AI负责智能规则负责底线人类负责监督与最终责任智能驾驶测试工程师智能网联汽车检测与运维AI产品技术支持数据标注与场景分析这些岗位不要求精通神经网络训练，但要求：看得懂系统、测得出好坏、说得清风险。55前言学习目标：知识、技能、素质三位一体知识目标理解与辨析多模态AI、MLLM、VLM、VLA感知—决策—控制流程AI模型与安全规则协同端到端、数据闭环、仿真测试L0—L5分级与L2监督技能目标分析与测试用多模态AI分析道路图像并复核设计结构化提示词依据测试数据写分析报告设计传感器、AI逻辑与安全约束方案素质目标安全与责任人主导、AI辅助不夸大L2能力采集图像先遮挡人脸车牌能说明技术边界与责任边界贯穿全项目的一句话：AI负责智能，规则负责底线，人类负责监督。56前言项目结构：从看懂到测试5.1多模态大模型多模态、MLLM、VLA、概念辨析5.2VLA在辅助驾驶中的应用原理、感知执行、提示词、规则混合、少样本5.3AI在交通领域ITS、亦庄、智慧停车、路侧感知5.4辅助驾驶实施方案特斯拉、华为、Momenta；两个维度5.5Apollo平台实战DreamView、数据回放、路线规划、定速巡航实训三项岗位化实战场景分析、测试报告、风险评估测试项目测试与小结概念、计算、情境与责任575.1SECTION多模态大模型让车辆“看懂”世界，但看懂不等于会开车。多模态AI：文本、图像、音频、传感器一起理解MLLM：能看懂并描述VLA：理解之后还能输出动作项目5｜辅助驾驶实践5.1多模态大模型多模态AI：像人一样综合多种信息1单模态只处理一种信息文本或图像2多模态同时理解多种信息图文、音视频3多模态大模型海量多模态数据训练通用理解与生成4具身智能理解+物理行动机器人、车辆辅助驾驶是多模态典型场景摄像头+雷达+导航+语言指令单一文本模型无法理解“杯子掉落会碎”这类常识，因为缺少视觉、触觉的信息来源；多模态让系统能同时看、听、读、定位。课堂任务5-1：举一个日常多模态AI应用，说明用到哪几种信息，与纯文本对话相比体验有何不同。595.1多模态大模型MLLM与VLM：能看懂，也能说清楚结构视觉编码器+大语言模型图像/视频→视觉编码器→视觉令牌视觉令牌与文本令牌一起送入大模型输出描述、问答、分析、结构化结果应用座舱、长尾、回溯座舱交互：用自然语言问车、控车长尾场景：规则难覆盖的罕见场景解读事后回溯：事故或接管片段的分析MLLM也会“幻觉”：把白色货车车厢误认成天空。能描述不等于判断可靠，必须人机复核。MLLM负责“看懂并描述”；它不直接承担车辆控制。605.1多模态大模型VLA：从“看懂”到“输出动作”1V｜视觉看见场景与物体2L｜语言理解目标与约束3A｜动作输出轨迹/控制指令例子机械臂抓取红色杯子看见：桌面、杯子、箱子理解：“把红色杯子放进箱子”动作：抓取、移动、放置的连续指令意义具身智能的“身体”不再只输出文字，而是输出行动环境变化时有一定泛化能力RT-2能理解“把恐龙放进垃圾桶”课堂任务5-2：V、L、A分别对应哪个环节？与只会“说”的语音助手有何区别？615.1多模态大模型关键辨析：MLLM、VLA与自动驾驶系统概念核心输入核心输出在系统中的角色MLLM图像/视频+文本描述、问答、分析看懂并说清楚VLA视觉+语言+状态动作/轨迹/控制指令理解并行动自动驾驶系统多传感器+地图+车辆状态转向、加速、制动完整工程体系，含安全冗余技术思想相通，但不是同一个系统；不要用“VLA”一个词替代整个自动驾驶工程。议一议5-1：遇到“某系统是VLA”的说法，追问三件事：输入是什么？输出是建议还是控制？安全仲裁层是否保留？625.2SECTIONVLA大模型在辅助驾驶中的应用从物理场景到动作令牌，再到安全规则兜底。VLA原理：视觉令牌+语言令牌→动作令牌感知与执行：传感器、算力、线控规则混合：AI负责聪明，规则守底线项目5｜辅助驾驶实践5.2VLA大模型在辅助驾驶中的应用VLA辅助驾驶工作原理：从场景到动作令牌1物理场景摄像头、雷达、车辆状态2视觉令牌视觉编码器提取3语言令牌导航、规则、偏好4世界模型多模态融合与预训练5动作令牌转向、加速、制动优势自然语言约束+少样本学习“有易碎物品，请开平稳些”→降低急加速/急刹语言可约束驾驶策略少量示范即可学习新技能风险内部决策更难解释端到端输出难以逐条追溯必须保留独立的安全规则层不能把“能输出动作”当成“可以独立驾驶”“世界模型”不是物理世界的真实复制，而是模型学到的统计规律；动作令牌必须经过规则层。645.2VLA大模型在辅助驾驶中的应用感知与执行模块集成：算力、时延与线控1传感器摄像头/雷达/激光雷达2计算平台NPU/GPU，毫秒级推理3决策规划预测、路径、动作4线控执行转向/制动/驱动5车辆反馈横摆、加速度、轮速算力数据量大、时延敏感多路摄像头+雷达点云每秒可达数GB数据必须在毫秒级完成感知与推理执行线控底盘车载以太网/CANFD线控转向、线控制动执行指令要可诊断、可回退闭环反馈校正轮胎、路面、载重影响效果底盘反馈横摆/加速度/轮速上层持续修正控制量VLA的“动作令牌”只有落到可执行、可反馈、可诊断的底盘上，才真正变成车辆动作。655.2VLA大模型在辅助驾驶中的应用提示词约束的动作策略：用语言给驾驶“加条件”自然语言约束示例“车上有易碎物品，请平稳驾驶；前方学校区域，提前减速；除非必要，不要急加速和急刹。”提示词要写清目标、约束、优先级目标：安全、平稳、按时到达约束：限速、车道、学校区域优先级：安全>法规>舒适>效率冲突时：规则层否决，驾驶员接管语言约束能影响“怎么开”，但不能替代“必须守”的规则；安全仲裁层始终保留。教材强调：提示词约束的是动作策略，不是安全责任。665.2VLA大模型在辅助驾驶中的应用规则与VLA混合控制：AI负责聪明，规则守底线AI模型层理解环境、预测风险、生成候选方案安全规则层物理约束、交通法规、否决危险指令控制执行层转向、制动、加速AI负责聪明·规则负责底线·控制负责落地议一议5-3：AI方案与规则层冲突时，最终否决权属于谁？对医疗、工业机器人有什么启示？675.2VLA大模型在辅助驾驶中的应用少样本示教：从几次示范中学会新场景1示范人类驾驶几次2学习模仿动作序列3泛化迁移到相似场景4验证仿真/场地/实车适合狭窄乡间路会车规则难穷举的交互场景需要柔和、经验性的动作示范能表达“先慢后让”的策略边界示范不等于安全示范者习惯可能不安全少量样本可能学偏场景分布变化后必须重新验证少样本示教是“学得像人”，不是“天然比人更安全”。685.2VLA大模型在辅助驾驶中的应用传感器：车辆的“眼睛”和“耳朵”摄像头车道线、标志、行人、车辆信息丰富；怕强光/雨雾毫米波雷达距离、相对速度全天候；分辨率有限激光雷达高精度三维点云精度高；成本较高超声波雷达近距离障碍物泊车常用；距离短GNSS+IMU定位、姿态、加速度路径规划的基础没有一种传感器全能：多传感器融合才是现代辅助驾驶的常态。695.2VLA大模型在辅助驾驶中的应用多传感器融合：BEV与Occupancy让系统“看见空间”融合多源异构数据互补摄像头：是什么、车道线、标志毫米波雷达：距离、速度、全天候激光雷达：三维点云、异形障碍物融合后比单一传感器更可靠代价：标定、时间同步、算力BEV鸟瞰图：统一俯视表征多摄像头画面转换融合，便于判断车辆与行人的位置关系。Occupancy占用网络：先发现“有东西”判断三维空间每个位置是否被占据；没见过的异形障碍物也能先发现。议一议5-2：浓雾中摄像头失真，哪些传感器仍可能有效？为什么融合更安全？705.2VLA大模型在辅助驾驶中的应用决策：从路线到行为再到轨迹路线规划宏观从A到B走哪条路导航、地图行为决策中观跟车/变道/超车/让行规则、预测运动规划微观平滑轨迹、速度、转角优化、约束安全>效率>舒适：三个层面的目标冲突时，优先级必须明确。715.2VLA大模型在辅助驾驶中的应用控制：把决策变成转向、加速、制动算法PID/MPCPID：按误差比例、积分、微分修正MPC：预测未来、滚动优化通识：理解角色，不推公式执行线控底盘车载以太网/CANFD线控转向、线控制动指令要可诊断、可回退反馈高频闭环横摆角速度、纵向加速度、轮速轮胎/路面/载重影响效果上层持续修正控制量规划速度与实际速度的差距，往往反映控制环节的执行精度，这也是5.5测试的重点。725.2VLA大模型在辅助驾驶中的应用核心理念：AI模型与安全规则协同聪明AI模型层理解、预测、生成候选方案底线安全规则层物理约束、交通法规、否决落地控制执行层转向、制动、加速例一躲异物的过大转向规则层依据车速和轮胎侧偏极限判断会失控，限制转角，必要时触发AEB。例二误判红灯想加速信号拦截规则直接切断动力输出，不等待模型“想明白”。AI负责创新与效率，规则引擎负责守住底线，控制系统负责把动作做出来。735.2VLA大模型在辅助驾驶中的应用多模态AI辅助决策分析：五步框架1环境识别参与者、标志、道路结构、潜在风险2风险识别风险点、位置、来源3意图分析行人/车辆接下来可能做什么4建议动作减速、让行、变道等，仅供参考5规则检查是否符合交规与安全边界AI给的是建议，规则层做检查；最终动作不由一段文字描述直接决定。745.2VLA大模型在辅助驾驶中的应用范式迁移：感知—决策—控制+安全兜底医疗监护心率、血氧、血压异常判断、报警输液/报警医护复核感知决策控制兜底智能仓储摄像头、AGV传感器拣货/搬运路径AGV、机械臂急停、围栏感知决策控制兜底智慧农业多光谱、土壤传感器病虫害/缺水飞行、变量喷洒禁飞区、地勤感知决策控制兜底议一议5-4：任选本专业场景，仿照这张表填四个环节，说明AI负责什么、人必须把关什么。755.3SECTION人工智能在交通领域的典型应用从单车智能到“车—路—云”协同。ITS：动态信号、路况预测、智能监控亦庄：300多个智能路口，灯看车路侧感知：摄像头+雷达+边缘计算项目5｜辅助驾驶实践5.3人工智能在交通领域的典型应用智能交通管理系统：让路网“动态调度”应用一智能交通管理实时分析路口车流动态调整信号配时匝道、公交专用道、限速数据源：摄像头/地磁/雷达应用二路况预测与优化预测拥堵趋势补全上下游路口数据提前发布诱导信息输出：拥堵指数/诱导信息应用三智能交通监控计算机视觉辅助执法识别违停、逆行、闯红灯减少人工巡查输出：事件告警/证据链应用四智慧停车识别车位占用电子计费提高路侧周转率输出：占用状态/计费记录共同点实时数据→模型判断→执行/建议四个应用都依赖数据采集、模型判断和行动闭环；区别在输出是信号、信息还是执法/计费动作。落地条件设备覆盖、数据质量、接口、权限没有稳定数据和系统接口，模型判断落不了地；涉及执法/计费还要权限与审计。ITS的核心不是“多装摄像头”，而是用数据动态配置路网资源。775.3人工智能在交通领域的典型应用亦庄实践：从“车看灯”到“灯看车”300+智能路口15%—30%通行效率提升28.48%车均延误下降99.97%高位视频识别准确率亦庄多源时空数据+动态信号潮汐车流、大型运输车、混行补全上下游路口缺失数据信号配时动态优化从“车看灯”到“灯看车”智慧停车高位视频+电子计费多车遮挡下保持识别准确率一套设施兼顾违停、共享单车、头盔识别提高路侧周转率与流畅度数据来自政府或企业公开材料，受统计口径影响；课堂重点看技术思路，不要求记数字。785.3人工智能在交通领域的典型应用交通智能体与L4示范：两类不同产品数据采集摄像头、浮动车、天气、事件分析智能体拥堵、事故征兆、违规决策智能体法规、调度目标、管理建议输出信号配时、诱导信息、执法提醒广州L4示范限定区域的自动驾驶巴士激光雷达+摄像头+毫米波雷达+GNSS/IMUV2X获取路侧信息限定区域、限定路线运营截至2024年7月：服务超108万人次、里程超179万公里与私家车L2辅助驾驶是两类产品课堂任务5-4：分析Agent、决策Agent分别对应智能体五环节的哪一步？795.3人工智能在交通领域的典型应用路侧感知与设备布点：先找风险最高的位置1划重点区域校门口、斑马线、支路、遮挡处2定覆盖范围重点区域无盲区，必要时多设备补位3选设备组合摄像头看清、雷达测准4核对安装条件避开眩光、预留供电/网络/检修高清摄像头杆件，俯视来车毫米波雷达杆件中部，正对车道激光雷达条件允许时装顶部边缘计算杆件箱体内本地处理方案不必追求设备越多越好：按无盲区、可维护、成本合理取舍。805.4SECTION辅助驾驶实施方案解析技术路线没有绝对优劣，只有不同的工程权衡。特斯拉：视觉为核心+端到端华为：多传感器融合+BEV/障碍物检测Momenta：数据闭环+影子模式项目5｜辅助驾驶实践5.4辅助驾驶实施方案解析特斯拉：视觉为核心，数据规模驱动感知方案摄像头为核心多摄像头+深度神经网络端到端探索：输入图像→驾驶动作量产车数据规模大OTA持续更新边界不是“无人驾驶”强光、逆光、雨雾可能影响感知“纯视觉”是相对说法，多数仍配雷达官方明确需驾驶员主动监控不能把营销名称当成能力等级看技术路线时，先问：传感器组合、输出是什么、谁负责监督、安全冗余在哪。825.4辅助驾驶实施方案解析华为乾崑智驾：多传感器融合与安全冗余激光雷达三维点云、异形障碍物毫米波雷达距离、速度、全天候摄像头语义、车道线、标志BEV网络统一俯视表征通用障碍物检测锥桶、水马、土堆、碎石工程权衡冗余与成本优势：冗余度高、环境适应性强优势：异形障碍物识别能力强局限：硬件成本较高、集成复杂数据多为企业宣称，需独立验证议一议5-5：如何理解“技术路线没有绝对优劣，只有不同的工程权衡”？从成本、冗余、数据规模、安全验证说明。835.4辅助驾驶实施方案解析Momenta：数据闭环与影子模式采集训练验证部署再采集数据飞轮自动筛选“错题”量产车真实道路数据回传难例自动筛选、标注、训练、验证更新后OTA到所有车辆影子模式AI预测vs人的操作未开启辅助驾驶也后台运行不一致=有价值的学习场景脱敏后上传训练目标：从“人车共驾”到“人机共驾”影子模式不是“偷偷控制车辆”，而是只比较、不执行。845.4辅助驾驶实施方案解析两个维度：感知方案与研发范式感知方案研发范式视觉为核心多传感器融合纯视觉是相对说法模块化规则数据闭环驱动影子模式可组合不能把“视觉/融合/数据闭环”并列成三选一：它们是不同维度，可以组合。855.5SECTIONApollo自动驾驶平台实战仿真不是玩游戏：设定目标、记录数据、形成结论。DreamView、数据回放、通道监控路线规划与定速巡航仿真ACC纸面测试与统一报告模板项目5｜辅助驾驶实践5.5Apollo自动驾驶平台实战Apollo平台与自动驾驶开发流程1数据采集传感器、路测数据2标注目标、车道、场景3训练模型与规则4仿真场景回放、路线5场地/路测安全验证6部署迭代OTA、数据闭环模块Planning路径、速度、行为决策输入：目标/地图；输出：轨迹模块Prediction预测他车/行人输入：感知；输出：轨迹预测模块Control转向、加速、制动输入：轨迹；输出：控制量模块CyberMonitorChannel数据通信输入：Channel；输出：状态平台界面和命令更新较快，课堂以官方文档和教师演示为准。875.5Apollo自动驾驶平台实战DreamView数据回放：先看系统怎样跑起来1启动环境终端启动DreamView2选择模式PnC+Record3下载数据包离线数据回放4监控通道CyberMonitor5看速度曲线规划vs实际看什么三个监控点Planning：规划速度、路径、行为决策Prediction：他车/行人预测轨迹Control：实际控制量与车辆响应CyberMonitor：Channel是否全绿速度差异大→先查算法/配置/数据回放不是“看动画”：每个通道、每条曲线都要能对应到模块。885.5Apollo自动驾驶平台实战路线规划仿真：从起点到终点1改Sim_Control切换到仿真控制2开启模块Planning+Prediction3选VirtualMap虚拟地图4设起点/途经/终点至少两个途经点5观察路径连续性、避障、贴车道检查路径质量是否连续、无跳变是否避开障碍与路沿是否贴车道中心是否绕远或出现急弯排查路径不对先看什么地图/坐标系是否正确起点终点是否落在可行驶区域Planning/Prediction是否开启Channel是否正常路线规划是“走哪条路”；下一步定速巡航才看“速度跟得准不准”。895.5Apollo自动驾驶平台实战定速巡航仿真：看速度跟踪误差步骤设定速度→运行→记录设置目标速度（如60km/h）启动仿真，等待速度稳定记录设定值、实际值、误差观察加速/减速过程是否平滑注意没有前车，不算THW/TTC定速巡航只考察速度跟踪车头时距、TTC需要前车误差阈值按任务给定持续偏差→控制/模型/配置同一套指标不能乱套场景：没有前车，就没有跟驰距离与碰撞时间。905.5Apollo自动驾驶平台实战ACC纸面测试：先分清CC与ACC功能是否识别前车是否自动跟车驾驶员角色CC定速巡航不识别不跟车遇前车自行处理ACC自适应巡航识别自动加减速仍需监督1获取数据教师下发表2逐行计算误差/THW/TTC3判读读数找出异常4架构归因感知/决策/控制5写报告结论与建议正常跟车减速不是控制误差：规划与实际同时下降，属于ACC正常行为。915.5Apollo自动驾驶平台实战样例数据与核心指标时刻规划实际前车距离THWTTC系统动作0s808060401.812.0巡航10s727260201.06.0ACC减速20s808660351.510.5加速公式THW与TTCTHW=距离÷本车速度（s）TTC=距离÷接近速度（s）前车更快/同速：无碰撞风险，记“—”阈值3km/h/2s/3s速度误差>3km/h：执行偏差THW<1.5s：跟车过近报警TTC<3s：碰撞预警/制动各时刻为示意快照，不要求严格连续；正式数据以教师下发为准。925.5Apollo自动驾驶平台实战判读两个关键读数：同一张表，两种归因第10秒THW=1.0s，TTC≈6.0s72km/h=20m/sTHW=20÷20=1.0s（过近）TTC=20÷3.33≈6.0s（未到预警）规划=实际，减速是ACC正常跟车第20秒速度误差6km/h规划80，实际86|86-80|=6>3km/h规划正确、执行偏差归因到控制环节排查第10秒归因先查感知与规划测距是否准确？目标时距设定是否合理？不要先怪控制。记录：距离、相对速度、时距设定第20秒归因控制环节控制参数、车辆模型、执行延迟、仿真配置逐项排查。记录：参数、延迟、配置、复测结果结论：同一张表里，第10秒是“跟车过近”，第20秒是“执行偏差”，不能用同一套话解释。935.5Apollo自动驾驶平台实战统一测试报告模板：五部分1测试环境数据来源、平台版本、测试模式2测试步骤启动、配置、回放/运行3测试数据速度记录表、关键指标4异常分析偏离、归因到感知/决策/控制5改进建议下一轮优先改进什么报告不是操作截图：环境、步骤、数据、归因、建议，缺一项都不完整。案例演示5-1/5-2：ACC数据判读+脱敏街景的五步提示词分析，必须附人工复核意见。945.6SECTION三项岗位化实战把“看懂、测出、说清风险”变成可交付成果。场景分析：多模态AI+人工复核测试工程：纸面或Apollo仿真安全评估：学校门口五类异常场景项目5｜辅助驾驶实践综合实训与安全三项实战：场景分析、测试报告、风险评估实战1场景分析岗脱敏街景→结构化提示词→多模态识别→人工复核《多模态AI交通场景分析报告》实战2测试工程师岗ACC纸面测试或Apollo仿真→计算→归因《自动驾驶测试报告》实战3安全评估岗学校门口五类异常→布点、逻辑、安全约束《智慧交通优化与风险评估报告》三份成果都要有人工复核与《AI使用声明》；不能只交AI原始输出或操作截图。96综合实训与安全实战3：学校门口智慧交通优化与风险评估行人突然横穿预测意图、遮挡关键：遮挡与意图前车突然急刹TTC、跟驰关键：TTC与距离施工改道地图/标志变化关键：地图更新标志被遮挡感知失效关键：多源感知暴雨大雾传感器退化关键：融合冗余方案传感器布点+AI逻辑+安全约束重点区域：校门口、斑马线、支路、遮挡处摄像头看清、雷达测距、边缘计算本地处理逻辑示例：行人驻留>20人且红灯已满30s→延长绿灯并提醒来车安全约束：规则可兜底，异常转人工风险分析每类场景写“问题—影响—建议”问题：AI在哪一步可能误判影响：对学生/交通流的影响建议：布点、规则、人工审核平衡：学生安全vs主干道效率方案要能落地：谁维护、数据存哪、异常谁处理、如何验收。975.7SECTION安全、伦理与法律技术越强，越要讲清边界和责任。能力边界：误识别、漏检、幻觉、长尾失效L0—L5分级：L2驾驶员仍须监督人机共驾：责任不因AI介入而消失项目5｜辅助驾驶实践综合实训与安全能力边界：AI不是“绝对可靠的事实判断系统”1视觉误识别把货车车厢误认成天空2目标漏检行人、异形障碍物3错误分类交通标志/车道线4理解错误复杂交互场景5模型幻觉编造不存在的内容6长尾失效罕见场景性能下降感知AI→风险评估→规则约束→安全仲裁→控制执行→驾驶员监督任何单一环节都不应被赋予不受制约的最终决策权。99综合实训与安全驾驶自动化分级：L2不是自动驾驶等级名称系统做什么驾驶员角色L0应急辅助预警/瞬时辅助完全驾驶L1部分驾驶辅助单一维度（横或纵）持续监督L2组合驾驶辅助横向+纵向同时辅助持续监督、随时接管L3有条件自动驾驶特定条件完整驾驶系统请求时接管L4高度自动驾驶特定区域无需介入无需（限定区域）L5完全自动驾驶全场景无需L2=组合驾驶辅助，不是自动驾驶；脱手、看手机、把L2当L3，都是危险认知误区。L3首批附条件准入试点不改变“量产主体为L2”的格局；具体车型与城市以主管部门公布为准。100综合实训与安全人机共驾与责任：技术提高不等于责任转移驾驶员监督义务保持注意力，随时准备接管遵守道路交通法规不得脱手、脱眼、看手机不能把L2当自动驾驶企业产品与宣传责任不得夸大或误导宣传保证系统安全与可追溯提供清晰的使用边界事故后配合调查与鉴定监管法规与鉴定现行法律法规与监管要求交警调查+产品质量鉴定区分操作、系统缺陷等原因不简单归为“谁开车谁全责”技术能力提高，不会自动带来责任转移；AI介入不等于责任消失。数据安全：车外影像与轨迹遵循合法、正当、必要、最小化；人脸车牌脱敏、限制使用范围。101综合实训与安全项目综合实训：校园接驳车辅助方案1真实路况图/脱敏街景，人脸车牌遮挡2多模态AI场景分析+人工复核3设计并迭代一版辅助驾驶提示词4选感知方案、说明研发范式并写理由5300字安全评估：问题+责任边界评价项权重安全风险分析25%场景分析准确性20%提示词设计质量20%技术路线合理性20%报告规范性10%AI使用声明5%提交材料：任务书、分工表、指令与迭代记录、六维评分表、核验表、创作日志与证据、最终作品、复盘、AI使用声明。优秀：能复用实战1/3成果并整合；安全评估不是套话，要写清具体风险与责任链。102项目拓展与测试项目测试：概念、计算与责任判断与选择先判断，再说明理由1.CC能识别前车并自动跟车。（）2.ACC为保持车距减速，不属于控制误差。（）3.L2车辆驾驶员须持续监督。（）4.72km/h、距离20m，车头时距为（）A.0.5sB.1.0sC.1.5sD.2.0s简答题两个核心问题1.画出/描述感知—决策—控制主链，并说明安全规则层的作用。2.多传感器融合为什么比单一传感器更可靠？开放题技术路线与责任“技术路线没有绝对优劣”：结合成本、冗余、数据规模、安全验证说明；L2事故责任应如何划分？答案提示：①错②对③对④B；简答要点：感知→预测→规划→控制，规则层否决危险指令。103项目拓展与测试项目小结：AI负责智能，规则守底线，人负责监督01认知多模态、MLLM、VLA；技术相通但不同体系02原理感知—决策—控制；融合；AI+规则03应用智慧交通；视觉/融合；数据闭环/影子模式04实践ACC测试、Apollo仿真、三项实战05责任L0—L5；L2监督；责任不转移AI负责智能·规则负责底线·人类负责监督下一项目：AI艺术和创意实践——从物理世界回到内容创作。104生成判断打磨负责人工智能基础与应用｜第二版项目6AI艺术和创意实践从真实传播需求到可发布的作品需求指令生成评价合规物联网工程学院（信息安全学院）

平震宇前言项目导入：社团招新的一张海报和一段短片问题一十张海报，哪张对？目标受众、传播任务、六维评价问题二文字错、纹样错怎么办？事实核验、人工叠加、逐处核对问题三数字人/声音怎么合规？授权、标识、内容安全本项目的主题AI让“生成”变快了，判断、打磨和负责仍由人来做作品的价值，不看点了多少次生成键，而看人在需求、选择、修改、核验和发布中投入了多少判断。课堂互动：先凭经验回答“你选海报时凭什么说这张对”，6.3讲六维评价时再对照。106前言全书最后一个项目：把能力汇到“创造价值”项目1认知AI概念、应用、伦理项目2与AI对话提示词、生成式AI项目3指挥AI编程读懂、运行、验证项目4构建智能体知识库、工作流、测试项目5进入物理世界辅助驾驶、感知决策控制项目6创造价值AI艺术、传播、合规前五个项目教你“会用AI”，项目6要求你做出一个负责任、可发布的作品。AI艺术工具更新很快：版本号、价格、额度几个月就变一轮；课堂讲方法，不讲按钮。107前言学习目标：知识、技能、素质三位一体知识目标理解与方法AI在创意生产中的价值定位十步创作闭环与回路绘画/音乐/视频发展脉络四类创意指令与六维评价技能目标创作与评价把真实任务转成清晰指令按受众/渠道/预算选模态用六维量规评价并优化完成一次跨模态创作素质目标合规与工匠精神内容安全与价值导向版权、肖像、声音、事实核验规范使用AI标识精益求精、对发布后果负责生成不等于完成：评价、二创、核验、发布复盘，才是作品的完成。108前言项目结构：认知—方法—评价—合规—实战6.1AI赋能艺术创新分工、岗位地图、十步闭环、技术脉络6.2工具与创意指令视觉/音频/视频工具、模态选择、指令设计6.3评价与合规诊断、六维评价、事实核验、法规、情境训练实战读书节短片文案分镜、生图、图生视频、配乐、剪辑实训团队数字创意项目任务书、角色分工、证据链、发布复盘测试项目测试概念、判断、匹配、合规情境五个方向：AI视觉设计｜AI视频创作｜AI音乐创作｜AI文化创意｜AI科普可视化1096.1SECTION人工智能赋能艺术创新AI让生成变快，判断、打磨和负责仍由人来做。案例：中国神话、数字藏经洞、泥人张十步闭环：人主导、人机协同、AI为主岗位地图：AI做重复，人做判断项目6｜AI艺术和创意实践6.1人工智能赋能艺术创新从《中国神话》说起：AI进入完整创作流程2024.03央视频《中国神话》六集AI全流程微短剧美术、分镜、视频、配音、配乐2023.04敦煌研究院×腾讯数字藏经洞高清照扫+游戏引擎数字世界还原历史场景非遗技艺+生成式AI泥人张彩塑神韵+当代卡通传统味道+现代审美AI可以完成大量生成工作，但题材选择、文化准确性、审美判断仍要人负责。议一议6-1：AI生成传统题材，是创新传承还是“没有手艺”？怎样避免“看起来传统、细节全错”？1116.1人工智能赋能艺术创新十步闭环中人与AI的分工1需求人为什么做、给谁看、在哪发产出：任务书摘要2调研人机受众、渠道、事实、素材产出：资料清单3策划人核心表达点产出：核心创意4指令人机准确、完整、可执行产出：提示词/分镜5生成AI多方案初稿产出：多方案6评价人六维标准、定位问题产出：评分与问题7二创人组合、修改、叠加、精修产出：改进稿8合成人机图像、视频、音乐、文案产出：完整作品9合规人事实、版权、肖像、安全产出：检查表10发布人对后果负责产出：反馈与复盘人主导：需求、策划、评价、二创、合规、发布；AI为主：多方案生成；其余人机协同。议一议6-2：设计师用AI快速生成几十套文创草图，再逐一取舍、打磨——他在哪些环节体现了不可替代的价值？1126.1人工智能赋能艺术创新岗位任务地图：AI做重复，人做判断视觉设计AI做方案生成、变体人做：创意构思、审美、筛选视频创作AI做素材、镜头人做：脚本、叙事、剪辑音乐创作AI做旋律、编曲、演唱人做：情绪、结构、选曲新媒体运营AI做批量文案人做：选题、策略、事实文创设计AI做纹样、视觉方案人做：文化内涵、产品定位科普内容AI做漫画、动画初稿人做：专业审核、科学性课堂任务6-1：选一个与本专业相关的岗位方向，说明“AI能做的”和“人必须做的”分别是什么。1136.1人工智能赋能艺术创新十步闭环：评价不达标就回前一步1需求人主导传播任务2调研人机协同受众/渠道/事实3策划人主导核心表达4指令人机协同准确完整5生成AI为主多方案初稿6评价人主导六维标准7二创人主导组合/修改/叠加8合成人机协同图/视/音/文9合规人主导事实/版权/肖像10发布人主导对后果负责评价不达标→回到：指令：补要素调研：补事实策划：换方向重生成不是策略：先定位问题，再决定回到哪一步。三种颜色：人主导、人机协同、AI为主；后面6.2、6.3的实践都按这条线展开。1146.1人工智能赋能艺术创新闭环里最容易被省掉的两头起点真实传播任务为什么做：要解决什么传播问题给谁看：受众特点与审美在哪发：渠道规格与时长不能只是“我想画一张图”调研：受众、渠道、事实、素材终点发布与复盘事实核验、版权、肖像、内容安全规范使用AI标识作品是否解决当初的传播问