人工智能通识教程 课件 第07章-具身智能

人工智能通识教程第7章具身智能主要内容1. 具身智能的提出2. 具身智能技术框架3. 具身智能发展所面临的挑战4. 具身智能在各领域的应用前景5.具身智能在海洋领域的实战案例主要内容1. 具身智能的提出2. 具身智能技术框架3. 具身智能发展所面临的挑战4. 具身智能在各领域的应用前景5.具身智能在海洋领域的实战案例具身智能的提出及发展具身智能的起源可以追溯到图灵1950年的论文，其与离身智能的分化标志着对智能本质的重新思考。现代人工智能起源于20世纪50年代的达特茅斯会议，后续对人工智能的研究逐渐发展为三个流派，分别为：符号主义（符号处理范式）连接主义（多层感知机、反向传播算法、循环神经网络）行为主义具身智能的提出及发展图：离身智能、具身智能与三大流派的关系清华大学刘华平教授在《具身智能导论》中表示：符号主义、连接主义与行为主义中都能发现离身智能与具身智能的身影，只不过所占比重不同而已。具身智能的提出及发展具身智能强调智能体与环境的互动，通过感知和行动来学习和优化行为图：离身智能与具身智能的连续演变具身智能的提出及发展随着ChatGPT等大模型的突破，具身智能成为全球科技竞争的新高地具身智能可以赋予AI身体，并具备与物理世界的交互学习能力。Google：首个Transformer机器人具身智能的提出及发展Google：首个Transformer机器人Googler机器人RT-2符号理解&推理(Reasoning)视觉推理，像是“将草莓放进正确的碗中”多语言理解，即使不用英语也能完成指令，例如用西班牙语命令它“从一堆物品中挑出最与众不同的那个”Google机器人：R2具身智能的提出及发展Google：首个Transformer机器人Googler机器人RT-2Boston:AtlasTelsa:OptimusTelsa:Optimus具身智能的提出及发展Google：首个Transformer机器人Googler机器人RT-2UniTree:R1有鹿机器人具身智能的提出及发展Google：首个Transformer机器人Googler机器人RT-2具身智能的概念Google：首个Transformer机器人Googler机器人RT-2什么是具身智能？具身智能是依靠物理实体通过与环境交互来实现智能增长的智能系统，通过在物理世界和数字世界的学习和进化，以实现对世界的深刻理解、高效互动以及任务的精准完成。具身智能的概念Google：首个Transformer机器人Googler机器人RT-2具身智能的四要素本体，作为实际的执行者，是在物理或者虚拟世界进行感知和任务执行的机构；智能体，是具身于本体之上的核心，负责感知、理解、决策、控制等的核心工作；数据，数据是智能体泛化的关键，但涉及机器人的数据稀缺且昂贵；学习和进化架构，智能体通过和物理世界（虚拟的或真实的）的交互，来适应新环境、学习新知识并强化出新的解决问题方法。具身智能的概念Google：首个Transformer机器人Googler机器人RT-2具身智能与机器人、智能体的区别（具身智能的内核是离身智能与物理智能的有机结合）图：具身智能、智能体、机器人的关系具身智能的发展历程Google：首个Transformer机器人Googler机器人RT-2早期探索阶段（1950s-1970s）技术起步阶段（1970s-1990s）技术突破阶段（2022年至今）技术积累阶段（1990s-2022）早期探索阶段主要围绕机械臂和移动机器人展开，这一时期的研究为具身智能奠定了基础，探索了智能体与环境互动的基本模式，但技术手段相对有限。技术起步阶段引入了更多传感器技术，初步实现了对环境的感知和简单决策，代表性成果包括早期的自主移动机器人，但整体功能仍较为单一。

技术突破阶段以大模型应用为标志，具身智能在感知、决策和行动模块的集成上取得重大进展，应用场景不断拓展，展现出强大的通用性和泛化性。技术积累阶段见证了深度学习和强化学习的突破，这些技术为具身智能提供了更强大的感知和决策能力，推动了从理论到实践的逐步发展。具身智能的发展历程Google：首个Transformer机器人Googler机器人RT-2早期探索阶段（1950s-1970s）技术起步阶段（1970s-1990s）技术突破阶段（2022年至今）技术积累阶段（1990s-2022）1960s:工业机器人鼻祖-Unimate机械臂1990：麻省理工学院Kismet，具有听觉、视觉和本体感受等能力；2017：AlphaGo战胜世界冠军团队OpenAI&FigureAI：Figure02主要内容1. 具身智能的提出2. 具身智能技术框架3. 具身智能发展所面临的挑战4. 具身智能在各领域的应用前景5.具身智能在海洋领域的实战案例具身智能的技术框架Google：首个Transformer机器人Googler机器人RT-2具身智能的技术框架：感知模块Googler机器人RT-2感知模块的作用是赋予机器感官功能，实现多模态感知的广泛适用性。感知模块是具身智能系统与环境交互的前端，通过摄像头、激光雷达等多种传感器获取环境信息，并处理多模态数据以实现对象识别、位置定位和场景解析等功能。这一模块为后续的决策和行动提供了基础数据支持。感知模块的作用早期感知模块依赖传统AI算法集成，现代则借助大模型实现多模态感知。例如，视觉基础模型（CLIP、R3M）和视觉语言模型（LLM）能够高效处理图像和文本数据，提升感知精度。在移动机器人导航任务中，感知模块能够实时感知环境变化，确保机器人安全高效地完成任务。技术实现与应用案例3D-VLA新范式-BridgeVLA由中科院&字节Seed提出：视觉生成能力预演环境动态变化及其后果…具身智能的技术框架：决策模块Googler机器人RT-2决策模块负责接收来自感知模块的环境信息，并进行高层次的任务规划与推理分析。决策模块是具身智能系统的大脑，接收感知模块的环境信息后，进行任务规划和推理分析，生成决策指令。它决定了具身智能系统如何在复杂环境中做出最优选择。决策模块的作用决策模块从依赖人工知识编程逐渐转变为大语言模型驱动。这种转变使决策模块能够更好地适应复杂多变的环境和任务需求，显著提升了决策的灵活性和适应性。例如，视觉导航技能PixelNav和可泛化铰链物体操纵框架展示了决策模块在复杂任务中的强大能力。通过大模型的推理和规划，具身智能系统能够在动态环境中高效完成任务。技术实现与应用案例北京大学视觉导航技术PixelNav：导航任务规划策略推理…具身智能的技术框架：行动模块Googler机器人RT-2行动模块接收来自决策模块的指令并实施具体动作的关键角色。行动模块接收决策模块的指令，执行具体动作，包括导航、物体操作和交互等任务。它直接与环境互动，是具身智能系统实现任务目标的关键环节。行动模块的作用行动模块面临诸多挑战，如环境因素对感知和决策的影响。通过强化学习和大模型辅助，可以提升行动模块的性能，使其在复杂环境中更加稳定高效。例如，在物流运输中，行动模块能够高效完成搬运任务，提高作业效率。技术实现与应用案例GoogleRT2：模仿学习；结合视觉语言模型与机器人运动数据，直接生成机器人可识别的操作指令；大幅提升从语言理解到实际执行的效率和准确性…具身智能的技术框架：反馈模块Googler机器人RT-2反馈模块通过多层次的交互不断接收来自环境的反馈信息，并据此进行调整和优化。反馈模块通过与环境的交互获取反馈信息，并据此调整和优化感知、决策和行动模块。它在提升系统环境适应性和智能化水平中发挥着关键作用。反馈模块的作用大模型能够加速反馈经验的学习，构建闭环优化流程。通过不断学习和优化，具身智能系统能够在复杂环境中持续提升性能，更好地适应用户需求。例如，家庭服务机器人根据用户反馈调整策略，优化服务体验。反馈模块使具身智能系统能够不断学习和改进，实现智能化服务。技术实现与应用案例YAYRobot，斯坦福和UC伯克利开源，人类直接口头喊话从而实时纠正机器人行为；第一步低级行为克隆与高级策略第二步整合低级策略与高级策略：且适应人类反馈第三步人类反馈的持续改进…主要内容1. 具身智能的提出2. 具身智能技术框架3. 具身智能发展所面临的挑战4. 具身智能在各领域的应用前景5.具身智能在海洋领域的实战案例具身智能发展所面临的挑战Google：首个Transformer机器人Googler机器人RT-2技术挑战具身智能在算法层面面临两大核心问题：一是依赖人类智能的介入，二是感知与行动之间的认知映射尚未完善。当前研究虽有进展，但仍需突破，以实现真正的通用智能。算法层面的挑战真实数据收集困难，合成数据存在局限性。数据质量直接影响具身智能的能力突破，因此需要解决数据获取和处理的难题，以支持系统的持续优化。数据层面的挑战软件生态与硬件集成面临诸多挑战，如缺乏统一开发环境、算法成熟度不足以及软硬件解耦问题。这些问题制约了具身智能的快速发展和广泛应用。软硬件层面的挑战具身智能发展所面临的挑战Google：首个Transformer机器人Googler机器人RT-2应用挑战具身智能的行动能力受产品形态和内部硬件系统结构的限制。构建通用且强大的具身本体和软硬件系统的紧密耦合是实现广泛应用的关键。产品层面的挑战市场需求明确性与用户接受度对具身智能的商业应用至关重要。场景差异化、用户信任构建以及安全与隐私考量等因素影响其市场推广和应用效果。商业场景层面的挑战产业链协同与各环节效率对具身智能产业的持续发展至关重要。硬件迭代与成本挑战、高效可靠软件系统的开发以及软硬件集成等问题需要解决，以推动产业健康发展。产业链层面的挑战具身智能发展所面临的挑战Google：首个Transformer机器人Googler机器人RT-2应用挑战商业场景层面的挑战产业链层面的挑战：产业链协同与各环节效率对具身智能产业持续发展的影响具身智能发展所面临的挑战Google：首个Transformer机器人Googler机器人RT-2标准与合规挑战现有评测框架难以全面评估具身智能的能力，建立基准测试标准体系迫在眉睫，以确保技术评估的科学性和准确性。技术评估标准的不足具身智能涉及物理危害风险、网络安全漏洞以及法律和伦理等复杂问题。制定严格的安全规范和监管标准是确保其安全应用的关键。安全规范的复杂性具智能的发展对劳动力结构和技能需求产生重大影响。监管政策需要在支持技术创新的同时，关注劳动力市场的转型和社会公平。社会影响与监管政策主要内容1. 具身智能的提出2. 具身智能技术框架3. 具身智能发展所面临的挑战4. 具身智能在各领域的应用前景5.具身智能在海洋领域的实战案例具身智能在各领域的应用前景Google：首个Transformer机器人Googler机器人RT-2工业制造领域应用前景具身智能在工业制造领域具有广阔的应用前景，能够打破人机协作瓶颈，实现智能化柔性适配，显著提高生产效率、灵活性和安全性。上图为搭载华为盘古具身智能大模型的「乐聚」升级版人形机器人“夸父”，通过盘古具身智能大模型使得“夸父”在智能化、泛化能力上得到了显著提升。具身智能在各领域的应用前景Google：首个Transformer机器人Googler机器人RT-2自动驾驶领域应用前景具身智能在自动驾驶领域具有重要意义，能够增强系统对开放交通环境的适应性，实现更加安全可靠的驾驶体验。特斯拉的自动辅助驾驶系统Autopilo百度自动驾驶Apollo具身智能在各领域的应用前景Google：首个Transformer机器人Googler机器人RT-2物流运输领域应用前景具身智能在物流运输领域具有巨大潜力，能够降低流通成本，构建高效、快捷且智能化的物流体系。AgilityRobotics开发的人形机器人Digit工厂投产：年产10,000台，已在亚马逊等大公司上班做物流工作2019年CapraRobotics退出的Hircus，首次能够同时适用室内室外两种环境的无缝物流操作。具身智能在各领域的应用前景Google：首个Transformer机器人Googler机器人RT-2家庭服务领域应用前景具身智能在家庭服务领域具有广阔的应用前景，能够通过高级认知和行动能力实现个性化定制服务。1X公司与OpenAI的合作开发的EVE类人具身智能机器人：可理解工作环境，在互动中学习、调整和收集数据，可胜任自助的家庭和办公辅助任务。谷歌与斯坦福大学联合推出的MobileALOHA2家务服务机器人：模拟人类双手完成备菜、翻炒、出锅等烹饪任务，以及洗衣、逗猫、浇花等活动。具身智能在各领域的应用前景Google：首个Transformer机器人Googler机器人RT-2医疗康养领域应用前景具身智能在医疗康养领域具有重要意义，能够应对老龄化挑战，提升医疗服务水平，为老年人提供更好的生活质量。日本AIST公司推出的Paro治疗机器人外形类似海豹，已被应用于老年护理和儿童医院，为患者提供情感支持和陪伴，帮助缓解焦虑和孤独感。美国捷迈邦美公司推出的ROSA®Shoulder系统专为肩关节置换手术设计，能够协助外科医生灵活选择解剖或反向技术进行全肩关节置换术，并确保植入物的精确定位，以优化手术效果。主要内容1. 具身智