人工智能与智慧健康服务 课件 主题2 认识人工智能关键技术

认识人工智能基本技术学习目标知识目标

深入理解数据、算法、算力在AI中的角色与应用逻辑。掌握监督与无监督学习的概念、区别及典型应用场景。初步认识生成式AI的核心要素与常见落地应用。能力目标

能够敏锐识别生活中常见的AI应用，并拆解其背后的技术支撑逻辑。具备使用简单工具进行数据预处理、模型训练或内容生成的基础操作能力。素质目标

激发对AI技术的浓厚兴趣，建立持续学习的习惯与坚定的科技自信。建立数据安全意识，理性看待AI发展，理解其对社会伦理的深远影响。

学习情境

小李是一名大一新生，他对人工智能充满好奇。一天，他在手机上看到一款“AI写作助手”能自动生成文章，又在电商平台看到“猜你喜欢”推荐商品。他开始思考：这些智能功能是如何实现的？数据从哪里来？机器又是如何“学习”的？带着这些问题，他决定走进人工智能的世界，了解其背后的核心技术。（一）数据的概念和应用数据、算法和算力的概念和应用数据的概念

人工智能系统的生命线，驱动人工智能进步的不可或缺的基础资源。

结构化数据：如数据库表格，格式规整易处理。非结构化数据：文本、图像、音视频等，是当前数据的主要形式，信息密度更高。数据的收集与处理全域收集：来源覆盖社交媒体、物联网设备、金融医疗记录等全场景。关键预处理：原始数据多含噪声与缺失，数据清洗、标注与预处理是提升数据可用性的必要环节。数据的重要性质量决定上限：高质量数据集能够训练出更精准、更健壮的模型。数量挖掘细节：大规模的数据有助于模型捕捉更细微的模式和特征。多样性保障泛化：有助于AI系统在不同场景下都能保持良好的表现。数据的概念和应用医疗领域

通过AI分析X光、CT等海量医学影像，精准识别早期肿瘤、隐匿性骨折等微小病变，为医生提供可靠的诊断辅助依据。金融领域整合用户交易流水、信用评分等多维数据，构建智能风控模型，实时预测贷款违约概率，高效拦截异常欺诈交易。电商领域深度挖掘用户的浏览足迹、历史订单与收藏偏好，通过算法计算兴趣相似度，为用户精准推送潜在需求商品。交通领域实时采集路口车辆通行数据，利用AI动态调整交通信号灯配时策略，均衡路网车流量，有效缓解城市高峰期拥堵。数据、算法和算力的概念和应用数据的概念和应用算法的概念定义：是一套明确的、有限的、可执行的步骤或规则，用于解决特定问题或完成特定任务。主流技术：机器学习、深度学习和神经网络是当前应用最广泛的三大核心算法框架。算法的创新与发展深度学习突破：在图像识别、语音识别、自然语言处理等领域取得了显著成就。新范式涌现：强化学习、迁移学习等新型算法不断演进为AI发展注入新的活力。算法的选择与优化精准选型：需根据具体的业务场景（如分类、生成）选择最合适的算法类型。性能调优：通过调整算法参数、改进算法结构等手段，提升算法的性能与效率。数据、算法和算力的概念和应用算法的概念和应用自然语言处理领域

算法：Transformer应用：构建大型语言模型（如ChatGPT），实现文本生成、机器翻译、情感分析等功能。计算机视觉领域算法：卷积神经网络(CNN)应用：图像识别、目标检测、图像分割等任务，广泛应用于安防监控、自动驾驶、医疗影像分析等领域。强化学习领域算法：Q-Learning,DQN等应用：AI在与环境交互中不断学习和优化策略，应用与游戏AI、机器人控制、智能决策等领域。推荐系统领域算法：协同过滤、内容推荐等算法应用：基于用户历史行为和偏好，为用户推荐个性化的商品、新闻资讯、音乐等内容。数据、算法和算力的概念和应用算法的概念和应用算力的概念是人工智能发展的“动力”，通常是指计算机系统在执行计算任务、处理数据和运行算法时的能力，他衡量的是计算机在单位时间内能完成多少计算机操作（如加减程序、逻辑判断、数据存取等）。

算力的提升途径主要依赖于硬件技术的发展，包括CPU（中央处理器）、GPU（图形处理器）、TPU（张量处理单元）等专用计算芯片的研发和应用。算力的优化与分配通过采取先进的算法优化技术、合理的任务调度策略和高效的资源管理技术，可以在不增加硬件成本的前提下提升算力的利用率和整体性能。数据、算法和算力的概念和应用算力的概念和应用云计算领域提供弹性、可扩展的计算资源，用户可以根据需求动态调整算力规模，满足不同规模的人工智能模型训练和推理需求，降低企业的IT成本。边缘计算领域在智能设备上集成算力芯片，实现数据的本地处理和实时决策，减少数据传输延迟，提高系统的响应速度和可靠性。数据、算法和算力的概念和应用算力的概念和应用科学计算领域利用高性能计算集群的强大算力，进行复杂的科学计算和模拟实验，如气候模拟、基因测序、药物研发等，加速科学研究的进程。自动驾驶领域车载计算平台需要具备强大的算力，以实施处理来自摄像头、激光雷达、毫米波雷达等传感器的数据，进行环境感知、路径规划、决策控制等任务，确保自动驾驶的安全性和可靠性。概念也称为监督机器学习，是使用标记数据集来训练算法以准确地对数据进行分类或预测结果。任务分类(Classification)预测离散类别。如：垃圾邮件识别、疾病诊断。回归(Regression)预测连续数值。如：房价走势预测、销量趋势分析。经典算法线性回归、逻辑回归、决策树、支持向量机(SVM)、随机森林。监督学习和无监督学习的概念和应用监督学习的概念和应用图像识别与分类应用于医学影像、自动驾驶、安防监控等。自然语言处理文本分类、机器翻译、命名实体识别等任务，自动识别和处理语言信息。金融领域风险评估、欺诈检测、股票价格预测等，基于历史金融数据和标签进行训练，辅助决策。医疗健康疾病诊断、药物研发等，帮助医生和研究人员从大量医疗数据中提取有价值的信息。工业制造质量检测、生产流程优化等，对生产数据进行分析和预测，提高生产效率和产品质量。推荐系统根据用户的历史行为和偏好推荐商品、电影、音乐等，提升用户满意度和平台收益等。监督学习和无监督学习的概念和应用监督学习的概念和应用概念：是指在没有标签的情况下，从数据中发现隐藏额结构和模式。广泛应用于聚类、降维和关联规则等任务。聚类核心目标：将类似数据自动分组。💡场景：客户价值分层、新闻主题归类。降维核心目标：压缩数据特征，保留关键信息。💡场景：人脸识别特征提取、图像数据压缩关联规则核心目标：发现数据项间的关联性。💡场景：购物篮分析（啤酒与尿布的经典案例）监督学习和无监督学习的概念和应用无监督学习的概念和应用客户分群与精准营销通过聚类分析用户行为特征，将用户划分为不同群体，帮助企业制定精准营销策略，提高营销效果。异常检测与风险防控在金融领域识别信用卡盗刷、洗钱等异常交易；在工业领域，检测设备故障或异常数据，提前预警潜在风险。数据可视化与降维利用PCA等算法将高维数据压缩到低维空间，便于可视化和分析，帮助研究人员快速理解数据分布和结构。推荐系统基于关联规则发现掘商之间的购买关系，实现个性化推荐。基因数据分析与生物信息学在基因组学中，通过基因表达数据，发现具有相似表达模式的基因，推测其功能或参与的生物过程。监督学习和无监督学习的概念和应用无监督学习的概念和应用图像处理与计算机视觉通过聚类算法将图像中的像素分组，实现图像的语义分割；或使用进行图像去噪、压缩等。概念生成式人工智能（GenerativeArtificialIntelligence，简称GAI或生成式AI），是一类通过大规模数据集的学习，利用深度神经网络和概率模型，生成与原始数据相似但又不完全相同的新数据的机器学习模型。其实现过程通常给定一些初始条件（如噪声向量）作为输入，随后通过复杂的神经网络结构逐步生成目标数据。生成式人工智能的概念和应用生成式人工智能的概念数据基石·TheFoundation海量且高质量的数据是模型学习的基础，为AI模型提供了丰富的训练素材和知识来源。算法核心·TheCoreDriverTransformer、GAN等先进深度学习模型是关键，决定了AI生成内容的质量与逻辑能力。算力支撑·TheBackboneGPU、TPU等高性能硬件提供高速并行计算能力，为大规模模型的训练与实时推理提供保障。场景价值·ValueEmbodiment涵盖自然语言处理、计算机视觉、音乐生成等领域，是AI技术落地并产生实际商业与社会价值的关键。生成式人工智能的概念和应用生成式人工智能的核心要素文本生成应用：文章、故事、诗歌、对话生成等。

工具：大语言模型。图像生成应用：根据文字描述创造图像、艺术创作、设计辅助等。

工具：生成对抗网络等技术。音乐创作应用：根据风格、情绪或旋律要求，自动创作原创音乐片段与完整曲目。程序代码生成应用：生成代码片段，辅助开发。

工具：代码模型。设计与创新应用：生成创新性的设计方案、产品原型草图，打破传统设计思维局限。科学研究

应用：探索新的理论和实训方法，帮助科学家发现新的知识。生成式人工智能的概念和应用生成式人工智能的应用小结三大核心要素数据（原料）：经收集预处理后为模型提供学习基础算法（大脑）：决定学习逻辑与决策方式。算力（动力）：支撑模型高效运行。两大学习方式监督学习：利用标注数据训练模型，适用于分类、回归任务无监督学习：无需标注数据，侧重发现数据隐藏结构，应用于聚类、关联规则挖掘等场景一个前沿热点生成式人工智能：

能生成与原始数据相似的新数据，核心要素包括数据、算法、算力和场景，广泛应用于文本、图像生成等多个领域，展现出强大的应用价值。谢

谢

认识物联网和云计算目录COURSECONTENTS智慧养老场景下的

物联网与云计算协同应用01学习目标掌握核心知识，培养关键能力，提升数字素养02学习情境智慧养老场景下的技术协同应用与实践03物联网技术深入解析概念、发展历程、架构体系与核心应用04云计算技术详解核心概念、技术发展、服务分类及落地应用05协同关系深度解析感知层与大脑层的融合机制与价值06总结与问答回顾课程要点，解答学员疑惑，强化知识吸收课程学习目标：构建物联云时代的核心竞争力01知识目标•掌握物联网与云计算核心架构与特征•理解关键技术与主要应用领域夯实理论基础02能力目标•区分物联网感知/网络/应用层技术特点•识别公有/私有/混合云服务差异•分析物云协同场景的应用模式•熟悉IaaS/PaaS/SaaS服务模式提升实践能力03素质目标•培养前沿技术的探索精神与创新意识•树立数据安全与科技伦理观•提升数字化生存与协作素养塑造综合素养智慧养老：物联网与云计算的协同关怀从数据感知到智能服务的全链路技术解析独居老人的智能守护小陈通过App实时掌握爷爷的健康与活动数据。系统在摔倒或心率异常时，即刻向家人与社区医院发送警报，构建全天候安全防线。01数据采集智能手环、门磁等IoT设备实时采集心率、步数及活动状态。02

数据传输依托4G/5G高速网络，将实时感知数据安全可靠地传输至云端。03云端处理云平台对海量数据建模分析，精准识别摔倒、异常静止等风险事件。04智能服务异常情况即时推送通知，基于历史数据提供健康风险预警与干预。一、物联网的概念和应用感知万物·互联智能·数据驱动——开启万物互联新时代物联网概述与核心特征什么是物联网(IoT)以感知技术和网络通信为核心，实现人、机、物泛在连接的新型基础设施。它是数字经济发展和传统产业升级的重要支撑。01整体感知通过传感器、RFID等技术，随时随地获取物体的信息。02可靠传输通过各种网络，将感知信息实时、准确、安全地传送到处理中心。03智能处理利用云计算、大数据等技术，对海量数据进行分析和处理，做出智能决策。物联网发展史：从概念萌芽到产业爆发1995年比尔·盖茨在《未来之路》中首次提及物联网概念，虽因技术限制未受重视，但开启了思想启蒙。1999年美国Auto-ID中心正式提出物联网概念，同期中科院启动传感网研究，技术探索正式起步。2005年国际电信联盟(ITU)发布报告，正式界定物联网概念，确立其作为未来信息产业发展的重要方向。2021年八部门印发《物联网新型基础设施建设三年行动计划》，政策红利释放，推动物联网规模化应用。从“概念”到“基建”，物联网正重塑数字经济底座物联网体系结构：三层架构解析感知层神经末梢·数据采集识别物体、采集信息，完成物理世界到数字世界的转换。传感器/RFID/ZigBee智能手环·摄像头·温湿度计网络层神经中枢·数据传输安全可靠地传输数据，实现异构网络的互联互通与共享。5G/Wi-Fi/NB-IoT/MQTT路由器·基站·交换机应用层大脑·智能服务海量数据的存储与分析，为用户提供丰富的智能服务。云计算/大数据/AI/AppIoT云平台·手机控制界面物联网关键技术与应用领域01关键技术融合：感知·传输·计算·赋能感知技术传感器、RFID、定位技术等基础感知手段网络通信蓝牙/ZigBee短距、NB-IoT/5G长距传输技术数据处理云计算、大数据分析与边缘计算能力支撑融合技术AI人工智能、数字孪生、区块链深度融合02核心应用领域：全场景智能化渗透智能家居照明/安防/家电智能控制可穿戴设备手环/手表/健康实时监测智慧城市交通/停车/环境智能监测工业物联网设备维护/生产过程监控智慧物流与零售仓储自动化/无人配送/货架智慧医疗远程诊断/设备监控/电子病历智慧农业精准灌溉/病虫害监测/产量预测二、云计算的概念和应用云计算概述与核心特点核心定义通过因特网提供可无限扩展的资源池（计算、存储等）。用户按需使用、按量付费，如同使用水电般便捷高效。虚拟化技术物理资源抽象为虚拟资源动态可扩展按需自动增减资源配置按需部署根据业务需求灵活选择灵活性高快速部署与调整业务可靠性高多副本容灾备份保障性价比高大幅降低IT运维成本可扩展性强支持海量业务快速增长云计算发展史：从概念萌芽到数字基石的演进1956年虚拟化概念提出，为云计算奠定核心理论基础。2004年Web2.0时代爆发，催生了对大规模算力的迫切需求。2006年GoogleCEO首次正式提出“云计算”，行业里程碑。2008年微软发布WindowsAzure，全球云平台竞争加剧。2009年阿里、中国移动等国内科技巨头正式入局布局。现阶段技术成熟，成为各行各业数字化转型的关键底座。云技术不仅改变了计算方式，更重构了整个数字经济的底层逻辑云计算核心分类：服务层级与部署模式服务类型(SPI模型)IaaS基础设施即服务底层计算资源（虚拟机/存储/网络），用户全权掌控软件部署。PaaS平台即服务一站式开发部署平台，屏蔽底层运维，专注于业务应用开发。SaaS

软件即服务开箱即用的应用软件，通过互联网直接访问，零部署成本。部署模式分类公有云PublicCloud资源共享，按需付费，成本低廉，适合非核心业务或初创业务。私有云PrivateCloud专属构建，物理隔离，数据安全性极高，适合政企核心数据。混合云

Hybrid

Cloud公私结合，灵活调度，兼顾成本效益与数据合规性。云计算主要应用领域：数字化转型的核心引擎政务云推动政府数字化转型，提升政务服务效率与透明度。金融云支撑银行证券保险核心业务，驱动金融创新与风控。医疗云打通数据孤岛，实现电子病历共享与远程精准会诊。教育云构建在线教育平台与智慧校园，助力教育资源公平化。企业云提供ERP、CRM及协同办公一站式数字化解决方案。存储云保障海量数据的安全备份与高效共享，随取随用。赋能千行百业·数据驱动未来·构建高效云端生态三、物联网和云计算的关系感知层采集数据

·云端大脑智能决策·实时协同闭环物联网与云计算的协同关系：感知与大脑核心逻辑：感知与大脑物联网

·感知层采集物理世界多维实时数据，解决“数据来源”问题云计算·处理层存储、分析与智能决策，解决“数据利用”问题云计算为物联网提供强力支撑•海量存储：解决终端存储受限痛点•强大算力：并行处理海量并发数据•集中管理：远程调度分散的智能设备物联网为云计算拓展应用场景•数据燃料：提供源源不断的训练数据，驱动AI迭代•行业渗透：推动云服务深入工业、农业、医疗等领域核心总结：物联网与云计算的深度融合万物互联·感知层•架构：感知层/网络层/应用层•特征：全面感知、可靠传输、智能处理•定位：物理世界的基础设施云端计算·大脑层•类型：IaaS/PaaS/SaaS•部署：公有云/私有云/混合云•定位：按需分配的计算资源池深度协同·价值层•物联网：作为“感知者”提供海量数据•云计算：作为“思考者”处理数据价值•目标：共同驱动行业智能化升级核心洞察：物联网提供数据输入，云计算提供算力支撑，二者结合是数字化转型的核心引擎。关键问题解答：物联网与云计算核心知识Q1:物联网三层架构核心任务与技术？感知层采集（传感器/RFID），网络层传输（5G/Wi-Fi），应用层处理服务（云计算/大数据）。Q2:云计算的主要分类方式？按服务类型：IaaS(基础设施)、PaaS(平台)、SaaS(软件)。按服务对象：公有云、私有云、混合云。Q3:物联网与云计算为何深度协同？物联提供海量数据，云提供存储算力。二者互补，共同构成智能化应用的坚实底座。技术融合驱动数字化转型·核心知识回顾谢

谢

认识机器学习和深度学习一、机器学习的基本概念

机器学习是人工智能的核心子领域，采用数据驱动方式，使计算机从数据中学习规律并用于预测或判断。图片来自于网络二、机器学习的主要类型监督学习无监督学习强化学习图片来自于网络三、深度学习的基本概念

深度学习是机器学习的分支，通过多个隐藏层自动学习数据的层级化特征，与机器学习的主要区别在于无需人工设计特征提取器。图片来自于网络四、深度学习的典型应用图片来自于网络计算机视觉自然语言处理跨膜态学习小结机器学习是人工智能的核心子领域，采用数据驱动模式，通过数据、模型和算法三要素构建系统，分为监督学习、无监督学习和强化学习。深度学习作为机器学习的重要分支，通过多隐藏层自动学习特征，关键要素包括神经网络结构、激活函数、损失函数和优化算法，在计算机视觉、自然语言处理和跨模态学习中发挥核心作用。谢

谢

认识大数据和知识图谱目录大数据基础知识和应用知识图谱的概念和应用大数据和知识图谱的关系图片来自于网络学习情境：李女士的智慧诊疗病例概况：李女士，62岁，有6年高血压病史，近期出现头晕症状，血压升高，并检查出合并轻度高血脂和血糖异常。诊疗诉求：希望借助智慧医疗大数据分析平台和医学知识图谱系统，明确病因，调整用药方案，获得个性化诊疗建议。图片来自于网络一、大数据基础知识和应用（一）大数据的基本概念1.定义：大数据是指其规模、多样性和复杂性需要新的架构、技术、算法和分析方法来管理的信息资产。2.核心特征（5V）：海量性（Volume）：数据规模巨大（TB/PB级）。高速性（Velocity）：生成处理速度快，需实时处理。（一）大数据的基本概念2.核心特征（5V）：多样性（Variety）：数据类型丰富，含结构化、半结构化和非结构化数据。真实性（Veracity）：确保数据质量和准确性，真实可靠是避免误导决策的基础。价值性（Value）：有效信息占比低但价值高。3.医疗大数据的特征

医疗大数据除具备5V特征外，还具有以下独有特征：不完整性：难以全面反映健康信息，存在偏差和残缺。长期保存性：门急诊病案存15年+，住院病案存30年+，影像无限期。隐私性：受法律严格保护，确保患者隐私安全。时序性：与时间密切相关，如发病过程、随访记录。冗余性：数据量大，含重复、无关记录，管理难度大。（二）大数据技术工具概述大数据技术的不同层面及其功能:数据采集与预处理：通过ETL（ExtractTransformLoad）工具从异构数据源抽取、清洗、转换和整合数据。数据存储和管理：利用分布式文件系统、数据库等实现海量数据的存储和管理。数据处理与分析：利用分布式计算框架和数据挖掘算法对海量数据进行处理与分析。数据可视化：将分析结果以图表等形式直观呈现。数据安全和隐私保护：构建保护体系，确保数据安全和隐私。（三）大数据思维只看关联，不问因果经典案例：超市“啤酒与尿布”的摆放一切以数据说话，不要相信经验例如：合适的时机购买飞机票全数据集的数据分析（四）大数据的典型应用大数据已广泛应用于商业、社交媒体、智慧城市、教育、通讯、工业等多个领域。大数据在医疗领域的应用：技术层面：支持非结构化数据分析，实时监测数据分析等。业务层面：辅助疾病诊断、制定个性化治疗方案、提供临床决策支持、健康监测与管理、优化医疗资源分配等。二、知识图谱的概念和应用（一）知识图谱的基本概念1.定义：知识图谱是一种将领域知识结构化表达的图形化工具，通过节点（实体）和边（关系）的组合构建语义网络。2.核心构成元素：实体：构成知识网络的基本单元，如疾病、药物、症状等。属性：实体的特征描述。关系：实体之间的语义纽带。（二）知识图谱的可视化表达

通过图形化方式将复杂知识转化为直观的网络结构，如图2-1所示

实体：通常以圆圈（节点）形式展示。关系：以连线（边）形式连接实体节点。图2-1医疗知识图谱示意图优势：直观易懂，快速识别关键路径和关联。（三）知识图谱的典型应用知识图谱在医疗领域的核心应用：精准问答：提供精准答案，提升信息获取效率诊疗辅助：推理提供诊断建议与方案推荐数据标准化：实现医疗数据统一编码与语义对齐药物推荐：基于证据链提供精准用药建议科研创新：辅助科研选题与新药研发设计图片来自于网络三、大数据和知识图谱的关系

二者是相互依存、相互促进的关系知识关联：大数据是图谱构建的基石，图谱是数据知识发现与数据价值升华。技术协同：在数据、处理、应用三层深度协同，形成闭环技术体系。应用赋能：量化分析与智能推理互补，共同驱动AI应用落地。图片来自于网络专题总结大数据：掌握其5V特征、医疗大数据特点、技术功能及医疗应用。知识图谱：理解实体、属性、关系构成，掌握可视化表达与医疗应用。二者关系：大数据是基础，知识图谱是升华，协同驱动智慧医疗发展。图片来自于网络谢谢认识多模态和大模型学习目标知识目标

理解多模态的概念、基本原理及其在人工智能中的作用，

掌握大模型的概念、核心技术和分类，

了解多模态与大模型之间的关系及其协同发展的趋势。能力目标

能够识别生活中多模态技术的应用实例并分析其技术逻辑，

具备使用简单工具体验大模型文本生成或图像生成的基本能力。素质目标

激发学生对前沿人工智能技术的兴趣，培养科技探索精神。

提升跨学科思维能力，理解技术与社会融合的价值。

学习情境

从ChatGPT到Sora，大模型和多模态技术正掀起人工智能新浪潮。它们让机器不仅能理解文字，还能看懂图像、听懂声音，像人类一样感知世界。本专题将带你走进多模态与大模型的世界，了解它们的概念、典型应用及相互关系，探索人工智能的前沿发展。概念

是人工智能领域的一个重要概念，指计算机系统能够同时感知、理解和处理来自不同感官或数据源的信息，如文本、图像、音频、视频等。思想

模仿人类天生的多模态”认知方式。人类通过视觉（看）、听觉（听）、语言（说）等多感官融合来理解世界。多模态技术的目标，是通过整合多种信息源来增强对复杂环境的理解能力和决策质量。多源信息融合文本图像音频视频多模态的概念和应用多模态的概念

数据融合多模态的核心原理是融合来自不同模态的数据（如图像、文本、音频等），通过结合这些多样化的信息源，弥补单一模态在任务中的不足，获得更全面的感知能力。数据融合有不同层次，包括数据级、特征级和决策级，其中数据级融合处理原始数据输入，特征级融合在数据抽取特征后进行结合，而决策级则整合各模态的输出结果。多模态的概念和应用多模态基本原理

模态对齐模态对齐的目的是使不同模态的数据在时空和语义上能够相互关联。对齐技术主要通过在不同模态间找到相同的语义概念或时空位置，以保证融合的数据具有一致性。例如，图像中的物体和文本描述中的关键字需要相对应，以实现图像和文本的联合理解。对齐方法包括基于注意力机制的对齐、语义嵌入对齐等，以确保不同模态的输入在模型中能合理对应。多模态的概念和应用多模态基本原理特征提取与表示学习在多模态技术中，不同模态的数据特征往往有不同的结构（如图像的空间结构与文本的序列结构）。特征提取与表示学习的目的是将这些异构数据转换为模型能够处理的向量或特征空间表示。深度学习尤其是卷积神经网络（CNN）、长短期记忆网络（LSTM）和Transformer等架构在提取特征方面表现优异，使得图像、文本、音频等模态数据能够以统一的方式表示，为后续的融合和对齐提供基础。多模态的概念和应用多模态基本原理

跨模态转换跨模态转换指的是在不同模态之间进行内容生成或转化，例如将文本描述生成相应的图像，或通过图像生成文字描述。此类转换需要模型在不同模态之间具备良好的理解和生成能力，实现模态间的相互映射。这一过程主要依赖生成式模型和注意力机制，使得模型能够捕捉不同模态间的复杂关系，实现如图文生成、视频生成等任务。多模态的概念和应用多模态基本原理多模态融合与推理在完成数据融合、对齐和特征提取后，模型会将不同模态的信息进行融合，以完成复杂的推理任务。多模态推理结合了来自多个模态的特征，为模型提供更高的理解能力，能够实现如视觉问答、情感分析等高级应用。推理过程中的多模态融合通常使用注意力机制或加权融合策略，从而在预测过程中综合不同模态信息的权重，输出更准确、全面的结果。多模态的概念和应用多模态基本原理智能客服与虚拟助手结合文本、语音和图像模态，理解用户的问题和需求，提供更自然、准确的交互体验。医疗诊断辅助系统融合医学影像（如CT、MRI图像）、病历文本、实验室检查结果等多模态数据，帮助医生更全面地分析病情，提高诊断准确性。多模态的概念和应用多模态的应用融合摄像头图像、激光雷达点云、雷达数据等多种传感器模态，实时感知周围环境，实现车辆的自主导航和决策。支持文本生成图像、图像生成视频、语音生成音乐等多模态生成任务，为创意产业提供新的工具和灵感。自动驾驶内容创作与生成教育领域结合视频教学、文本教材、语音讲解等多种模态，为学生提供个性化的学习体验。安防监控融合视频监控图像、音频信号、传感器数据等，实现对异常行为的实时检测和预警。多模态的概念和应用多模态的应用使机器人能够理解人类的语言、手势、表情等多模态信息，实现更自然的人机交互。机器人交互概念大模型也称基础模型（foundationmodel）在人工智能领域，尤其是在深度学习中是指具有大规模参数和复杂计算结构的机器学习模型。两大核心特征规模大：由深度神经网络构成，拥有数十亿甚至数千亿参数。数据多：基于海量数据训练，具有更强大的泛化能力。大模型的概念和应用大模型的概念思想大模型基于深度学习，利用大量的数据和计算资源来训练具有大量参数的神经网络模型。架构大模型是基于Transformer架构的，这种架构是一种专门用于自然语言处理的“编码器-解码器”架构。核心能力大模型的核心能力在于将输入的每句话中的每个单词与已经编码在模型中的单词进行相关性的计算，并把相关性又编码叠加在每个单词中。大模型的概念和应用大模型的核心技术

数据类型分类大语言模型（NLP）专注于处理和理解文本数据。视觉大模型（CV）主要应用于图像识别和分析。多模态大模型能够同时理解和处理多种类型的数据，如文本、图像和音频。应用领域分类通用大模型（L0）被设计成可以在多个领域和任务上工作。行业大模型（L1）针对特定行业或领域的需求进行优化。垂直大模型（L2）为解决特定任务或应对特定场景而设计。大模型的概念和应用大模型的分类

模态类型分类单模态模型仅能处理单一模态的任务，如纯语言、纯视觉或纯音频任务。多模态/跨模态大模型能够执行一种或多种快模态/多模态任务（如文本、图像、视频、音频等），具备强大的跨模态理解和生成能力。应用领域分类

模态类型分类自然语言处理文本生成：创作文章、小说、新闻稿等。翻译系统：能够实现高质量的跨语言翻译。问答系统：能够回答用户提出的问题。情感分析：用于判断文本中的情感倾向。语言生成：如聊天机器人。计算机视觉图像分类：识别图像中的物体和场景。目标检测：能够定位并识别图像中的特定物体。图像生成：如风格迁移、图像超分辨率增强。人脸识别：用于安全验证和身份识别。医学影像分析：辅助医生诊断疾病。大模型的概念和应用大模型的应用语音处理通过学习大量的语音数据，大模型可以实现高质量的跨语言翻译和语音识别，以及生成自然语音等。推荐系统通过分析用户的历史行为和兴趣偏好，大模型可以为用户提供个性化的推荐服务，提高用户满意度和转化率。自动驾驶通过学习大量的驾驶数据，大模型可以实现对车辆周围环境的感知和识别，以及进行决策和控制，提高自动驾驶的安全性和效率。大模型的概念和应用大模型的应用医疗健康通过学习大量的医学影像数据，大模型可以辅助医生进行疾病诊断和治疗方案制定，提高医疗水平和效率。金融风控通过分析大量的金融数据，大模型可以评估用户的信用等级和风险水平，以及检测欺诈行为，提高金融系统的安全性和稳定性。工业制造通过学习大量的工业制造数据，大模型可以辅助工程师进行产品质量控制和故障诊断，提高生产效率和产品质量。大模型的概念和应用大模型的应用核心观点：多模态和大模型相互依存、相互促进，共同推动着人工智能技术向更智能、更人性化的方向发展。多模态是大模型能力的扩展方向多模态技术的出现，旨在让大模型能够理解和处理多种模态的数据，从而更全面地模拟人类对世界的认知方式。多模态依赖大模型的技术基础多模态模型的实现离不开大模型在自然语言处理、计算机视觉等领域积累的技术和架构（如Transformer架构）。两者相互促进，共同发展更强大的大模型赋能多模态理解，而多模态带来的复杂任务挑战，又反过来推动大模型的架构与算法创新。多模态和大模型的关系小结多模态是什么：感知/理解文本、图像、音频等多种信息。

为什么：更接近人类认知，提升复杂世界理解力。

怎么做：数据融合、模态对齐、特征提取、跨模态转换与推理。大模型是什么：大规模参数、海量数据训练的AI“智能大脑”。

为什么：具备强大的语义表达、场景泛化与能力涌现。

怎么做：基于Transformer架构。协同发展关系多模态是大模型的能力扩展方向，依赖其技术基础。两者相互促进，共同推动人工智能的发展进程。谢

谢

认识智能体和强化学习学习目标知识目标

理解智能体的概念、关键模块和主要类型。

掌握强化学习的基本原理、核心要素及其工作过程。

了解智能体与强化学习之间的内在联系及其协同作用。能力目标

能够识别生活中智能体技术的应用实例并分析其工作原理。

具备模拟简单强化学习过程（如奖励反馈机制）的基本思维能力。素质目标

培养对人工智能前沿技术的探索兴趣。

树立人机协同、智能向善的科技价值观。

学习情境

从AlphaGo击败围棋冠军到自动驾驶汽车上路，智能体正展现出惊人的决策能力。它们如何在与环境的交互中不断学习、优化策略？本专题将带你认识智能体与强化学习的基本原理，探索智能体在游戏、机器人、自动驾驶等领域的创新应用，开启智能决策的探索之旅。概念

在人工智能领域，智能体（Agent）是指能够感知环境并采取行动，以实现特定目标的代理体。特征

它可以是软件、硬件或一个系统，具备自主性、适应性、交互性和智能性等特征。智能体的概念和应用

感知模块：负责获取和处理多模态数据，如视觉、听觉、触觉等。定义模块：明确了智能体的能力、权限和任务目标。

记忆模块：管理智能体的知识和经验，分为短期工作记忆与长期记忆。

规划模块：负责将复杂的目标分解为可执行的子任务。智能体的概念和应用智能体的关键模块

行动模块：将决策转化为实际操作，是对外部环境产生影响的关键环节。基于规则的Agent（规划设定）

依赖于明确的指令或规则来做决策和驱动任务。学习型Agent具（反思）

这些Agent具有自我学习纠偏的能力，可以通过数据训练不断优化和迭代自身。自主Agent（工具调用）具有高度的独立性，它们能够在缺乏人类干预的情况下，自主做出决策，尽可能做到感知系统和决策系统的高度一致后驱动任务进度。群体Agent（多智能体协作）

这类Agent通过协作与协调实现目标，通常模拟自然界中的群体行为。智能体的概念和应用智能体类型场景：提供24/7不间断客户服务，理解并自动处理常见查询。案例：小米的智能语音客服“小爱同学”。场景：分析用户行为与偏好，向用户推荐最符合其需求的产品或服务。案例：淘宝和京东商城的定向广告。智能体的概念和应用智能体的应用智能客服智能推荐系统智能家居无人驾驶汽车和各种服务智能体的概念和应用智能体的应用场景：人们能够通过语音命令或手机应用控制家中的各种电器，提升了生活的便利性。案例：通过语音或手机遥控电视、窗帘、空调、扫地机器人等。场景：智能体依赖先进的智能体技术能在复杂环境中自主导航和决策。案例：特斯拉、谷歌的Waymo、百度Apollo、通用汽车的Cruise、AutoX、小马智行等。机器人智