人工智能通识 课件 第九章 AI助手-智慧生活

第九章AI助手——智慧生活《人工智能通识》配套课件《人工智能通识》教研组本章目录9.1智慧生活概述与人工智能实现9.2智“衣”新尚——智能穿戴与AI时尚助手9.3“食”悦智融——智慧农业与食品安全9.4乐享智“住”——智能家居与智慧社区9.5智“行”天下——交通大数据与自动驾驶本章目录9.1智慧生活概述与人工智能实现9.2智“衣”新尚——智能穿戴与AI时尚助手9.3“食”悦智融——智慧农业与食品安全9.4乐享智“住”——智能家居与智慧社区9.5智“行”天下——交通大数据与自动驾驶9.1智慧生活概述与人工智能实现智慧生活概览人、智能设备、物理空间及外部环境，均作为独立的复杂子系统存在，它们之间通过高度协同与智能互联，共同编织出一张智慧生活的网络。以家庭生活为例展现的智慧生活的构想图人与智能家居设备之间的互动，如智能灯泡、智能音响、智能冰箱等。环境因素，如绿色植物和舒适的家庭环境。9.1智慧生活概述与人工智能实现智慧生活概览定义与特点：利用现代信息技术，特别是物联网、大数据、云计算、人工智能等先进技术，使人们的生活更加智能化、便捷化、高效化和个性化的生活方式。智能化：借助人工智能技术，各类智能家居设备可以进行自我学习与决策，从而为用户提供高度定制化的服务。互联化：不同品牌和类型的智能设备之间能够实现无缝连接与协同决策，构建起一个覆盖广泛的智能生态系统，实现多种信息的畅通共享与交互。便捷性：用户仅需简单的语音指令或手势操作即可轻松操控家中设备，极大地简化了不同日常操作流程。安全性：AI技术的应用使得家居安全防护更加高效，可以全天候实时监控家庭环境，有效预防潜在风险，保障用户的人身与财产安全。9.1智慧生活概述与人工智能实现智慧生活衣——智能穿戴：人工智能技术通过持续监测健康指标、提供定制化健康方案和运动指导，以及利用图像识别和推荐算法提供个性化服装搭配建议与虚拟试穿体验。食——智慧饮食：人工智能技术贯穿于智慧农业的作物监测与管理、智能饮食的个性化食谱定制，以及食品安全的高效检测与全程追溯，全面提升食品安全和饮食健康水平。住——智能家居：智能家居通过物联网、云计算、大数据和人工智能技术，智能化管理各种设备，自动调整家居环境，提供个性化服务，提升居住体验，并通过智慧社区实现资源共享和服务协同。行——智能交通：人工智能技术通过实时监控、预测流量、自动驾驶、智能调度以及远程维护等应用，提升了出行效率和安全性，推动交通系统向更高效、安全和绿色的方向发展。本章目录9.1智慧生活概述与人工智能实现9.2智“衣”新尚——智能穿戴与AI时尚助手9.3“食”悦智融——智慧农业与食品安全9.4乐享智“住”——智能家居与智慧社区9.5智“行”天下——交通大数据与自动驾驶9.2智“衣”新尚——智能穿戴与AI时尚助手近年来，计算能力的飞跃、通信技术的革新、人工智能技术的蓬勃发展、边缘计算设备的日益普及都为可穿戴设备（WearableDevices）领域注入了新的活力，催生了许多面向可穿戴设备的新模型。智能眼镜可穿戴式人工智能AppleWatch微软包服装设计核心技术与框架——以智能穿戴为例9.2智“衣”新尚——智能穿戴与AI时尚助手可穿戴设备的分类：植入式设备、接触式可穿戴设备、可穿戴环境监测设备。智能可穿戴技术框架——DeepConvLSTM人体活动识别框架：输入信息嵌入层编码器注意力模块SoftMax分类层佩戴传感器进行活动多个活动块时间序列信号……012345

核心技术与框架——以智能穿戴为例9.2智“衣”新尚——智能穿戴与AI时尚助手智能可穿戴设备的数据收集架构与信息处理模型：可穿戴设备的传感器信号提取特征片段多模态特征浅层特征×输出帧卷积层可穿戴设备的传感器信号活动类别全连接层过程A过程B情绪检测（a）基于深度学习的智能可穿戴设备独立架构核心技术与框架——以智能穿戴为例9.2智“衣”新尚——智能穿戴与AI时尚助手智能可穿戴设备的数据收集架构与信息处理模型：（b）一种用于睡眠阶段分类的智能可穿戴方法核心技术与框架——以智能穿戴为例9.2智“衣”新尚——智能穿戴与AI时尚助手智能可穿戴设备的数据收集架构与信息处理模型：（c）基于物联网/云架构的多类可穿戴设备应用案例介绍——AI时尚助手9.2智“衣”新尚——智能穿戴与AI时尚助手AI时尚助手整合用户偏好、身体尺寸及风格取向，通过先进算法提供个性化时尚推荐，提升用户体验并促进业内创新与合作。2024年，香港科技大学与冯氏集团宣布战略合作，共同筹建“AIforFashion”科技创新中心，旨在推动人工智能在时尚产业中的应用与发展。虚拟试衣技术作为时尚与科技融合的产物，正逐步改变着人们的购物体验和方式。这项技术通过虚拟的技术手段，实现用户在不脱去身上衣物的情况下，完成变装查看效果的目的。应用案例介绍——AI时尚助手9.2智“衣”新尚——智能穿戴与AI时尚助手AI在虚拟试衣领域中的应用应用案例介绍——AI时尚助手9.2智“衣”新尚——智能穿戴与AI时尚助手AI试衣要素解析解码器输入输出特征提取卷积神经网络局部特征图(a)带有输入和输出的关键点检测流程应用案例介绍——AI时尚助手9.2智“衣”新尚——智能穿戴与AI时尚助手AI试衣要素解析输入预测特征提取解码器(b)带有输入和预测的时尚解析过程应用案例介绍——AI时尚助手9.2智“衣”新尚——智能穿戴与AI时尚助手AI虚拟换装合成HR-VITON虚拟换装合成网络结构示意图本章目录9.1智慧生活概述与人工智能实现9.2智“衣”新尚——智能穿戴与AI时尚助手9.3“食”悦智融——智慧农业与食品安全9.4乐享智“住”——智能家居与智慧社区9.5智“行”天下——交通大数据与自动驾驶9.3“食”悦智融——智慧农业与食品安全人工智能通过智慧农业技术提升了生产效率和作物品质，同时在食品安全监管中迅速识别有害物质，保障食品安全。无人驾驶农业设备进一步提高了农业生产的自动化水平，减轻了劳动力需求，同时也减少了对环境的影响。智能农机AI赋能智慧农业智能喷洒智能灌溉系统农业优化管理农业机器人9.3“食”悦智融——智慧农业与食品安全核心技术与框架——以智慧农业为例精准农业通过在最佳时间和地点种植最适宜作物，采用信息技术如卫星遥感、多光谱观测、GPS和GIS等，实现了农业生产的优化与智能化，显著提升了生产效率并降低成本。作物分类在精准农业中利用遗传算法优化的模糊逻辑和人工神经网络技术，实现了作物的精准识别与生长参数的科学管理，同时促进了作物按大小、形状、颜色、香气等特征的精细分类与分级。这一过程融合了图像采集、特征提取与智能分类技术，提升了产品附加值，帮助农民进行精细化管理。精准农业9.3“食”悦智融——智慧农业与食品安全自主作业机器人是精准农业中执行多种任务的关键工具。它们一般都配备了传感器来实时捕捉农田环境信息，并利用以此控制机器人做出灵活的决策。(a)表型分析机器人(c)农业采摘机器人(b)自主农业机器人(d)农业除草机器人(e)农业车辆机器人(f)农业喷洒机器人核心技术与框架——以智慧农业为例精准农业9.3“食”悦智融——智慧农业与食品安全构建有效的植物疾病预防与控制体系对于保障作物健康生长和粮食安全至关重要。传统的依靠专家人工目检来识别植物疾病的方法因成本高且专业性强而显得不足，亟需现代化解决方案以实现及时准确的疾病识别。(a)高光谱和叶绿素荧光成像(b)高光谱成像用于香蕉植株病害扫描(c)高光谱成像：从实验室到现场(d)红外和热成像用于柑橘绿化检测核心技术与框架——以智慧农业为例农作物病害检测9.3“食”悦智融——智慧农业与食品安全生物体的可观察特性称为表型，包括行为、生化属性、颜色、形状和大小等；在植物科学中，通过自动化计算机视觉系统进行的植物表型分析能够无须人工干预地检测和测量作物特征，结合多源数据进行智能计算，以确定作物的生长潜力和抗病性，优于传统方法。作物表型筛选形态特征、生理特征和病原体智能计算计算机视觉/机器学习、地理信息系统、作物模型与算法特征分析大数据管理策略、训练策略、育种平台育种选择选择形态特征、生理特征和病原体核心技术与框架——以智慧农业为例农作物表型分析9.3“食”悦智融——智慧农业与食品安全如何有效地获取、管理和利用农作物表型数据？图像获取图像处理数据分析主动视觉数据验证图像采集优化图像/表型数据仓库实验设计假设蛋白质组学、代谢组学、表型组学…元数据数据整合核心技术与框架——以智慧农业为例农作物表型分析9.3“食”悦智融——智慧农业与食品安全文本音频图像结构数据3D信号数据采集Bert模型Transformer模型预训练大模型（LLMs）或基础模型（FMs）Diffusion模型MAE模型GPT-4模型植物健康杂草与农作物管理水果采摘畜牧业下游应用训练数据筛选适应/微调核心技术与框架——以智慧农业为例基于多模态大模型的农业应用概览9.3“食”悦智融——智慧农业与食品安全神农大模型2.0版本：多模态交互与智能化推理知识图谱与向量数据库并行加速推理算法核心技术与框架——以智慧农业为例基于多模态大模型的农业应用概览9.3“食”悦智融——智慧农业与食品安全应用案例介绍——食品安全监管与溯源食品安全监管中的食品识别方法食品自动识别技术通过精确识别不同类型的菜品、果蔬、包装食品等，为食品安全监测、营养分析以及自动化生产流程提供了技术保障，覆盖了广泛的识别对象，从基础的食材、果蔬，到复杂的菜品及包装食品。来自食品数据ETHZFood-101、VireoFood-172、ISIAFood-200、VegFru和Grocery的一些实例图像9.3“食”悦智融——智慧农业与食品安全应用案例介绍——食品安全监管与溯源通过融合食品的多粒度特征来设计专门的深度学习模型，实现对果蔬等多类别食品的高效识别。输入图像粗提取器细提取器粗分类器细分类器粗粒度标签粗粒度特征细粒度特征融合细粒度标签分类器融合特征融合粗网络细网络食品安全监管中的食品识别方法9.3“食”悦智融——智慧农业与食品安全应用案例介绍——食品安全监管与溯源迁移学习：利用在大规模数据集上预训练的模型作为特征提取器，或通过微调模型参数来适应新的食品图像数据集，从而缓解样本不足的问题。小样本学习：通过创新的网络结构和学习策略，实现了在有限样本的情况下较好的识别效果。增量学习：致力于开发能够适应类别和样本数量持续增长的框架，确保模型在长期运行中的稳定性和准确性。多任务学习：通过同时学习食品类别、食材属性等多种信息，不仅能够提升识别精度，还能增强模型对食品图像复杂性的理解能力。食品安全监管中的食品识别方法9.3“食”悦智融——智慧农业与食品安全应用案例介绍——食品安全监管与溯源人工智能技术在食品供应链各环节中的应用生产加工事前监管机器学习风险预警专家系统知识图谱决策支撑储存运输行为监控数据采集智能追溯事中监管消费事后监管大模型多模态舆情监控图像识别机器视觉行为识别区块链物联网传感器科学召回智能决策信息安全深度学习视频理解食品供应链中的人工智能技术9.3“食”悦智融——智慧农业与食品安全应用案例介绍——食品安全监管与溯源食品供应链中的人工智能技术其他人工智能技术物联网赋能的实时监控技术数据驱动的决策制定AI与区块链融合……本章目录9.1智慧生活概述与人工智能实现9.2智“衣”新尚——智能穿戴与AI时尚助手9.3“食”悦智融——智慧农业与食品安全9.4乐享智“住”——智能家居与智慧社区9.5智“行”天下——交通大数据与自动驾驶9.4乐享智“住”——智能家居与智慧社区

智能家居通过先进的AI技术提升了生活的舒适度与便利性，并正逐步拓展至智慧社区，优化资源配置和强化社区治理。家庭安全守护家庭生活助手设备控制与环境监测9.4乐享智“住”——智能家居与智慧社区

智慧社区以居民为中心，融合信息技术、物联网、大数据和云计算，全面提升社区管理和服务的智能化水平，增强居民的安全感与幸福感。9.4乐享智“住”——智能家居与智慧社区

核心技术与框架——以智能家居为例AIoT（人工智能物联网）融合了AI与物联网的优势，通过智能计算能力和多元人机交互，实现了设备的精准控制与信息深度理解，推动了从“物联”到“智联”的升级。其研究体系涵盖感知层、操控层、应用场景及安全隐私保护，推动了智能家居等领域的智能化进程，保障了AIoT的健康发展。数字孪生技术通过远程控制、智能管理、安全防护和生活品质提升四个方面，为智能家居系统提供了强大的支撑，使家庭管理更加便捷高效，同时增强了家庭安全性和居住舒适度。通过这一技术，用户不仅可以跨越空间限制控制家居设备，还能实现设备间的智能联动，享受个性化规则带来的智能舒适生活，并通过安防监控获得更高的安全感。9.4乐享智“住”——智能家居与智慧社区

核心技术与框架——以智能家居为例智能制造物联网智慧农业智能家居智能交通控制系统智慧医疗智慧社区AI与IoT应用场景融合智能制造物联网智慧负载均衡智慧能耗管理资源智慧调度复杂事件智慧控制云雾边融合AI与IoT操控层融合数据智慧采集存储数据智慧分析处理感知设备智慧协同AI与IoT感知层融合数据与内容安全应用服务安全可信管理传输媒介安全移动终端安全位置隐私保护AI与IoT安全及隐私保护融合9.4乐享智“住”——智能家居与智慧社区

应用案例介绍——智慧社区以智能安防为例智能安防中的人脸识别技术深度学习算法在安防监控行业广泛应用于目标分析，如FacebookAIResearch开发的DeepFace系统，通过3D对齐方法提高人脸识别准确性，并集成多种模型实现高精度识别与属性分析。DeepFace系统不仅在安全监控和身份验证中发挥作用，还适用于个性化娱乐互动、社交网络智能化及人机交互等多种场景。输入图像检测&定位脸部正向化@152×152×3C1:32×11×11×3@142×142M2:32×3×3×32@71×71C3:16×9×9×32@63×63L4:16×9×9×16@55×55L5:16×9×9×16@55×55L6:16×5×5×16@21×21F7:4096dF8:4030d特征表示人脸标签9.4乐享智“住”——智能家居与智慧社区

应用案例介绍——智慧社区以智能安防为例智能安防中的异常检测技术感知智能系统检测异常情况后，认知智能模块通过理解和解释收集的数据，利用机器学习或深度学习技术做出合理决策，如触发警报或协调设备行动。感知智能与认知智能相结合，共同提升了智能安防系统的响应速度与决策准确性。智能安防系统感知信息的深度理解。主要涉及计算机视觉技术自然语言信息的深度理解。主要涉及自然语言技术感知智能：用于场景图像理解。例如火焰检测、火灾预警。认知智能：用于行业知识理解。例如智能决策、方案制定。安防应用9.4乐享智“住”——智能家居与智慧社区

应用案例介绍——智慧社区以智能安防为例一种基于多模态大模型的异常数据引擎在智能安防领域，华中科技大学、百度和密歇根大学的研究团队共同构建了VAD-Instruct50k数据集，采用高效时间注释方法仅标注异常事件单帧以降低成本，基于单帧注释生成伪帧级标签，并结合多模态大型语言模型与SurveillanceVision数据集生成详细事件描述，最终形成带描述和标签的“视频-提问-回答”指令对用于训练视频异常检测系统。9.4乐享智“住”——智能家居与智慧社区

应用案例介绍——智慧社区以智能安防为例视频收集异常正常标注增强时序单帧标注事件片段生成{14.1s,46.7s,…}事件片段生成{{10.0s~20.2s,描述},…}{{10.0s~20.2s},{37.2s~52.4s}}t14.1s46.7s异常分数10.0s20.2s37.2s52.4s视频描绘场景：一名男子站在屋顶上，手持枪支并对准另一位同样在屋顶上的男子。后者中枪后从屋顶坠落到地面。一种基于多模态大模型的异常数据引擎9.4乐享智“住”——智能家居与智慧社区

应用案例介绍——智慧社区以智能安防为例指令构建任务提示+异常情境：人工智能视觉助手，正在观看一个视频片段…视频字幕：{视频字幕}请总结视频中体现异常/正常的内容特征，并解释为什么它是异常/正常的…该视频片段的标签是{异常标签}。大语言模型LLM答案筛查数据集构建<视频>\n此视频中是否有异常事件？是的，视频中显示一名男子在屋顶上射击另一名男子，导致受害者坠落地面，这是异常的，因为它描绘了一个可能导致伤害或死亡的暴力和潜在犯罪行为。一种基于多模态大模型的异常数据引擎9.4乐享智“住”——智能家居与智慧社区

应用案例介绍——智慧社区以智能安防为例智能安防中的困难与挑战技术局限：传统深度学习算法在泛化能力、鲁棒性和数据标注上存在不足，导致数据收集困难、算法开发周期长和系统扩展性受限。隐私与安全：涉及个人隐私信息的处理需在保障公共安全的同时保护隐私，同时需应对黑客攻击和网络犯罪威胁。碎片化问题：不同用户和场景需求各异，缺乏统一标准影响了设备和服务的规模化效应及系统集成。本章目录9.1智慧生活概述与人工智能实现9.2智“衣”新尚——智能穿戴与AI时尚助手9.3“食”悦智融——智慧农业与食品安全9.4乐享智“住”——智能家居与智慧社区9.5智“行”天下——交通大数据与自动驾驶9.5智“行”天下——交通大数据与自动驾驶智能交通通过集成先进科技实现全面感知与智能管理，提高了道路通行效率和安全性，鼓励绿色出行并减轻环境污染。同时，智能交通系统实时监测路况与车辆状态，预防事故并快速响应救援需求，降低事故损失。智能交通还促进了信息共享与服务创新，打破信息孤岛，提供个性化出行服务，满足多元化需求。城市交通流动实时交通监测与预测9.5智“行”天下——交通大数据与自动驾驶基于AI大模型的城市交通管理系统9.5智“行”天下——交通大数据与自动驾驶核心技术与框架——以交通规划为例交通流预测的一般技术框架其他外部影响数据历史交通数据输入数据时空特征提取预处理数据降维缺失数据估计深度学习框架多核层不确定性数据集成交通数据流预测噪声去除标准化9.5智“行”天下——交通大数据与自动驾驶核心技术与框架——以交通规划为例交通规划相关的时空大数据特征分析手机信令数据：低成本、实时性强，用于提取出行特征、追踪路径链及分析人口分布，但在低密度区域定位精度受影响。公交IC卡/AFC数据：记录刷卡行为，反映客流动态，适用于出行链分析、客流预测及调度优化，但信息完整性有限。浮动车数据：通过车载传感器收集信息，适用于实时交通管理和路径诱导，但准确性受驾驶行为和路况影响。POI数据：揭示城市功能区分布和居民活动热点，帮助理解出行需求并预测未来交通模式。网络数据（如网约车、共享单车）：提供出行者画像和需求预测，丰富交通规划的数据基础。9.5智“行”天下——交通大数据与自动驾驶核心技术与框架——以交通规划为例智慧城市交通规划决策支持框架规划前期规划实施规划评价交通需求精准预测出行过程全面感知综合网络系统分析深度学习、复杂网络、多智能体仿真等规划阶段规划内涵分析方法人群画像、人口与用地公交相关、轨道相关城市路网、公交线网衍生数据基础数据街景数据手机信令数据WIFI数据网约车订单数据融合新增数据动态反馈9.5智“行”天下——交通大数据与自动驾驶核心技术与框架——以交通规划为例智慧城市交通规划决策支持框架城市交通规划决策支持框架主要涉及到交通需求精准预测、出行过程全面感知以及综合网络分析三个方面的技术内容。(1)交通需求精准预测技术依赖多源信息，如手机信令、POI数据、公交IC卡、浮动车GPS和网约车订单数据，在规划初期估算人口规模与分布，并在后续阶段实现精细化需求预测，促进城市空间与交通系统协同。融合时空大数据还可为出行者绘制“画像”，区分不同属性和行为特征的个体，为交通规划提供科学依据。9.5智“行”天下——交通大数据与自动驾驶核心技术与框架——以交通规划为例(2)多源时空大数据的融合分析，如浮动车GPS与道路卡口数据，能够全面监测道路状况并快速识别拥堵原因，而公交和地铁的IC卡/AFC数据则有助于了解出行偏好和指导线网规划。街景、手机传感器和WIFI探针数据的结合应用，实现了城市慢行交通状态的精细化感知，为设施改善和街区设计提供数据支持。智慧城市交通规划决策支持框架城市交通规划决策支持框架主要涉及到交通需求精准预测、出行过程全面感知以及综合网络分析三个方面的技术内容。9.5智“行”天下——交通大数据与自动驾驶核心技术与框架——以交通规划为例(3)新型智慧城市交通规划需在精准预测交通需求和全面感知居民出行信息的基础上，融合多源时空数据建立综合交通网络，并运用复杂网络理论进行多方面分析。例如，通过将公交站点与轨道站点关联形成耦合网络，可评价多模式公交网络节点的重要性，并分析不同时段站点的重要度排名。智慧城市交通规划决策支持框架城市交通规划决策支持框架主要涉及到交通需求精准预测、出行过程全面感知以及综合网络分析三个方面的技术内容。9.5智“行”天下——交通大数据与自动驾驶应用案例介绍——自动驾驶系统基于AI的自动驾驶仿真系统9.5智“行”天下——交通大数据与自动驾驶应用案例介绍——自动驾驶系统自动驾驶等级划分L5L4L3L2L1L0L0:完全手动驾驶需要人类驾驶者全权操作L1:辅助驾驶针对方向盘和加减速其中一项操作提供驾驶支援，其他由驾驶者操作L2:部分自动驾驶针对方向盘和加减速中多项操作提供驾驶支援，其他由驾驶者操作L3:有条件自动驾驶由无人驾驶系统完成