《机器人多模态学习 从模拟到实现》教学大纲

《机器人多模态学习：从模拟到实现》课程教学大纲基本信息表1课程基本信息课程编号20521075课程中文名称机器人多模态学习：从模拟到实现课程英文名称RobotMultimodalLearning:FromSimulationtoImplementation课程类别专业核心（√）课程性质必修（√）任选（）适用专业机器人工程、人工智能总学时总学时48（理论学时48+实验学时0）学分3.0先修课程高等数学、机器人学基础、Python编程、机器学习基础本课程对毕业要求的贡献1.4掌握用于解决机器人领域复杂工程问题所需的专业知识1.2具备采用数学、自然科学对机器人工程问题进行有效分析与建模的能力2.3能准确表述分解后的机器人系统复杂工程问题，并能抽象出恰当的表征模型二、教学目的与任务本课程立足具身智能前沿背景，以机器人多模态学习为主线，衔接《机构学与机器人学》的机器人学基础，系统讲授多模态感知、仿真平台、学习算法、虚实迁移与工程实践全链条知识。使学生掌握机器人运动学/动力学/控制基础、多模态感知与融合、主流仿真环境使用、强化学习/模仿学习/虚实迁移等核心方法，具备从仿真建模到实机部署的工程实践能力，为从事具身智能、人形机器人、智能机器人研发奠定理论与技术基础课程教学目标及能力要求具体如下：目标1：了解具身智能发展背景及机器人多模态学习的发展现状，掌握机器人学基础理论（含运动学、动力学、运动控制等），熟悉机器人系统基本组成及各部分功用，注重工程思维与系统思维的培养，具备基本的机器人系统方案设计能力。目标2：掌握机器人多模态感知系统、主流仿真平台及典型多模态学习框架的核心知识，了解仿真环境与实践平台的使用方法，能够运用相关工具开展基础的仿真模拟工作，具备多模态学习框架的应用与初步调试能力。目标3：掌握机器人典型多模态学习方法（含强化学习、模仿学习、虚实迁移学习等），了解端到端大模型、世界模型等新型学习范式，能够结合协作机械臂、四足机器人等人形及特种机器人案例，理解多模态学习方法的实际应用逻辑，具备初步的多模态学习方案设计与实践能力。目标4：具备机械臂、四足机器人、人形机器人等典型案例的仿真复现、算法调试与实验分析能力，完成从仿真到实机的基础实践，提升工程实践能力与问题解决能力。本课程德育教学目标：课程中融入思政教育，结合机器人领域前沿技术发展与行业需求，培养学生的爱国主义精神、大国工匠精神与创新担当。表2课程目标对毕业要求的支撑关系课程目标对应毕业要求指标点12341.4掌握用于解决机器人领域复杂工程问题所需的专业知识1.2具备采用数学、自然科学对机器人工程问题进行有效分析与建模的能力2.3能准确表述分解后的机器人系统复杂工程问题，并能抽象出恰当的表征模型三、教学内容及学时分配（一）绪论与机器人学基础（8学时）1.绪论（2学时）智能机器人发展、多模态学习内涵、仿真→实机技术路径典型案例：Dactyl、RT-1、MobileALOHA、格物平台2.机器人运动学基础（2学时）位姿描述、坐标变换、正/逆向运动学、D-H参数、雅可比矩阵3.机器人动力学基础（2学时）拉格朗日法、牛顿-欧拉法、四足机器人动力学建模4.机器人运动控制基础（2学时）PID、阻抗控制、MPC、全身控制、学习控制单元目标：夯实机器人运动学、动力学、运动控制核心理论，建立具身智能—多模态学习—仿真到实机的完整知识框架，形成机器人系统级认知与工程思维，为后续多模态算法学习与实践奠定基础。（二）机器人多模态感知、仿真环境与典型的多模态学习框架（8学时）5.机器人感知系统（3学时）视觉/触觉/力觉/惯性传感器、多传感器融合（数据级/特征级/决策级）6.机器人的仿真环境（3学时）Gazebo、MuJoCo、Isaac、Webots、CoppeliaSim对比与使用7.面向具身智能的多模态学习框架（2学时）感知-决策-执行闭环、智能决策、系统集成单元目标：掌握机器人多模态感知原理、主流仿真平台使用方法与具身智能系统框架，具备搭建感知—仿真—决策—执行系统的能力，为多模态学习算法提供工程环境支撑。（三）机器人典型的多模态学习方法（16学时）8.强化学习（4学时）基础框架、Q-learning、策略梯度、A2C/A3C、SAC、PPO、DDPG9.模仿学习与行为克隆（4学时）行为克隆、逆强化学习、GAIL、DAgger、少样本模仿10.虚实迁移学习（4学时）Sim-to-Real、域随机化、域自适应、循环迁移、元学习11.世界模型与具身数据集（4学时）世界模型、VLA模型（PaLM-E/OpenVLA/RT-2）、具身数据集单元目标：系统掌握强化学习、模仿学习、虚实迁移学习三大核心方法，理解世界模型、VLA大模型等前沿范式，具备算法理解、选型、推导与简单应用能力，形成完整的多模态学习理论体系。（四）综合应用与实践案例（16学时）12.机械臂的抓取学习案例（2学时）13.VLA与协作抓取学习案例（2学时）14.四足机器人的深度强化学习控制（2学时）15.软体机械手的多模态抓持学习（2学时）16.人形机器人模仿学习案例（2学时）17.人形机器人开发案例（2学时）18.足球机器人群体智能（2学时）19.Openloong机器人开源社区（2学时）单元目标：以真实机器人平台为载体，贯通理论、算法、仿真与真机部署，掌握从仿真到实现的完整工程流程，提升多模态学习系统设计、调试、验证与工程实现能力。四、学时分配表本课程学时分配如下表：表3学时分配表内容讲授实验上机课外学时延续学时小计1.绪论222.机器人运动学基础223.机器人动力学基础224.机器人运动控制基础225.机器人感知系统336.机器人的仿真环境337.面向具身智能的多模态学习框架228.强化学习449.模仿学习与行为克隆4410.虚实迁移学习4411.世界模型与具身数据集4412.机械臂的抓取学习案例2213.VLA与协作抓取学习案例2214.四足机器人的深度强化学习控制2215.软体机械手的多模态抓持学习2216.人形机器人模仿学习案例2217.人形机器人开发案例2218.足球机器人群体智能2219.Openloong机器人开源社区22总计4848五、主要教学方法（一）课堂讲授（48学时）1.利用线下课堂教学与线上互动相结合的教学模式，鼓励和督促学生进行课外学习；2.结合学生专业特点，在讲授知识的同时，着重讲授提出问题、解决问题的方法，引进课上工程问题讨论分析的手段，提高学生的参与力度；六、考核与成绩评定该课程考核成绩为平时成绩、考试成绩和总评成绩，均为百分制。考核阶段：过程考核、期末考试。（二）考核方法：1、平时考核：课堂表现、完成作业情况、随堂测验、阶段考核、实验和技能掌握情况（包括实验的完成情况、实验报告等）情况等，平时成绩包含实验成绩；2、期末考试：考核学生的专业知识及知识应用能力，笔试，原则上采用闭卷考试形式。（三）考核成绩评定课程成绩按百分制记。总评成绩按百分制给出，总评成绩=平时成绩×50%+考试成绩×50%。各考核环节及所占分值以及与教学目标对应关系见表4：表4课程教学目标评价矩阵成绩组成考核/评价环节占比%考核/评价细则过程考核50%课堂表现、互动20主要考核学生课堂出勤和课堂参与学习的情况，由云课程系统导出，再按比例计入总成绩；（测点：课堂互动、随堂测验等）课外作业20主要考核学生对在课外学习对知识点的预习、复习、理解和掌握程度，由云课程系统导出，再按比例计入总成绩。（测点：课外作业等）实验（包括仿真）5根据每个课程实验的实验情况和实验报告质量每次单独评分，再将全部实验的成绩求平均值，具体（见实验评分标准）。（测点：实验表现和实验报告情况）过程考核5课程教学中期进行的阶段考核，评价见试卷参考评分标准，再按比例计入总成绩。（测点：分析计算题或综合题）期末考试50%期末考试50根据课程教学目标和学时安排，主要考核课程内容专业知识及知识应用能力，以卷面成绩的50%计入课程总成绩。考试的题型为：客观题（选择填空等）和主观题（简答计算设计分析等）。（测点：简答题、分析计算题或综合题）各考核环节评分标准见表5：表5各考核环节评价标准序号考核环节考核/评价标准90-10080-8970-7960-690-59课堂互动和随堂测验等占比20%无旷课迟到早退，积极回答问题，且回答正确，积极参与课堂教学互动教学，随堂测验正确；个别旷课迟到早退，积极回答问题，且回答一般，参与课堂互动教学，随堂测验较正确；个别旷课迟到早退，回答问题，一般，参与课堂互动教学，随堂测验正确性一般；个别旷课，迟到早退达1/4，回答问题不积极，回答正确较少，不积极参与课堂互动教学，随堂测验正确性较差；旷课达1/4,迟到早退达1/3,回答问题不积极，较少回答正确，不积极参与课堂互动；随堂测验错误。阶段考核占比20%（见考核试卷评分标准）期末考试占比60%（见期末试卷评分标准）阶段考核占比20%（见考核试卷评分标准）期末考试占比60%（见期末试卷评分标准）作业占比20%按时完成各章课后作业，作业质量较高，机构设计保质保量完成较好的完成各章作业；机构设计质量较好；各章作业均按时完成，作业存在局部问题，最后结果错误能按时完成作业，机构设计作业质量一般大多课后作业没按时完成，机构设计作业质量差课程实验占比100%（见实验评分标准）表6德育目标评分标准德育目标考核方式考核/评价标准90-10080-8970-7960-690-59课程中加入思政教育，培养爱国主义精神，大国工匠精神，追踪行业发展。【作业】我国机器人研究现状调研报告调研内容有广度有深度，紧跟时代