大模型安全 教案全套 周翰逊

本科课程教案学院（部）课程名称课程编号主讲教师

课程基本信息课程名称大模型安全课程类别通识必修课EQ\o\ac(□)学科通选课EQ\o\ac(□)专业主干课EQ\o\ac(□,√)学科基础实验/实践课EQ\o\ac(□)创新实验/实践交叉学科课EQ\o\ac(□)通识选修课EQ\o\ac(□,√)学科核心课/学科基础课EQ\o\ac(□)专业方向课EQ\o\ac(□,√)专业实验/实践课EQ\o\ac(□)交叉学科课□课程总学时42课程总学分3学时分配课堂讲授42学时；实验实践课0学时授课教材教材名称作者《大模型安全》出版社出（再）版时间授课教师课程简介《大模型安全》课程聚焦于大模型在发展与应用过程中的安全问题，深度融合理论知识与实践案例。课程从大模型的基本概念、发展历程和技术原理切入，详细剖析提示词攻击、数据攻击、模型攻击等多种安全威胁，同时深入探讨幻觉、平台安全、安全评估等关键领域。通过多媒体教学、板书演示和雨课堂互动等多样化教学手段，引导学生参与案例讨论、问答竞赛等活动，助力学生系统掌握大模型安全知识体系，提升其解决实际安全问题的能力，培养学生的创新思维、安全意识和社会责任感，为学生在人工智能安全领域的学习和职业发展筑牢根基。课程目标知识与技能目标：学生能够全面且深入地理解大模型的定义、核心特点、分类方式及应用场景，精准掌握大模型的基本原理与架构。熟练掌握大模型各类安全风险（如提示词攻击、数据隐私泄露、模型对抗攻击等）的原理、攻击方式和防御方法等。同时，学生要深入理解大模型水印技术在版权保护中的应用，熟练掌握传统数字水印和大模型水印的原理、嵌入与提取方法，具备根据不同场景选择合适水印方案的能力。过程与方法目标：通过丰富多样的案例分析、小组讨论和互动问答等教学活动，学生能够显著提升分析和解决大模型安全实际问题的能力，学会运用所学知识对复杂的大模型安全问题进行系统性剖析，并提出切实可行的解决方案。在学习过程中，培养学生的创新思维，鼓励学生积极探索新的安全防御技术和方法，以应对不断变化的大模型安全挑战。同时，增强学生的团队协作和沟通能力，使学生能够在团队中有效交流和合作，共同解决大模型安全相关问题。情感态度与价值观目标：在课程学习过程中，注重培养学生对大模型技术的浓厚兴趣，引导学生密切关注技术发展趋势。通过介绍我国在人工智能领域的研究成果和贡献，激发学生的民族自豪感和爱国情怀，鼓励学生为国家科技发展贡献力量。强化学生的安全意识和社会责任感，使学生深刻认识到在大模型开发和应用过程中保护数据安全、尊重知识产权、遵循伦理道德和法律法规的重要性，树立正确的价值观和职业道德观，确保技术应用的安全性和合法性。

课程教案课次第（1）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第1章大模型安全概述教学目的与要求1.学生应全面理解大模型的定义、核心特点，熟练掌握其分类方式及各类大模型的应用场景。2.深入了解大模型的前世今生，包括人工智能早期发展历程、深度学习技术崛起的关键节点以及大模型兴起的背景和意义。3.掌握大模型的基本原理与架构，熟悉各模块的功能及协同工作机制。4.培养学生对大模型技术的兴趣，提高其分析和解决问题的能力，引导学生关注技术发展趋势，培养创新思维。教学重点与难点1.教学重点：大模型的定义、特性和分类；人工智能发展历程中的关键阶段及技术突破；大语言模型和扩散模型的工作原理；大模型架构中各模块的功能。2.教学难点：大模型涌现现象的原理；大语言模型训练过程中的技术细节，如分布式训练、微调等；多模态融合、模型规模扩展等技术趋势中的技术挑战。课程思政元素1.在讲解大模型发展历程时，介绍我国在人工智能领域的研究成果和贡献，激发学生的民族自豪感和爱国情怀，鼓励学生为国家科技发展贡献力量。2.通过讨论大模型应用中的伦理和安全问题，引导学生树立正确的价值观和职业道德，培养学生的社会责任感，使其在未来的工作中注重技术的合理应用和数据安全保护。社会现实场景真实问题1.在医疗领域，大模型可辅助医生进行疾病诊断，但可能出现误诊情况。分析大模型在医疗诊断应用中面临的挑战，如数据准确性、模型可解释性等问题，探讨如何提高其可靠性和安全性。2.在智能客服领域，大模型的应用提高了服务效率，但也存在回答不准确、无法理解复杂问题等情况。思考如何优化大模型在智能客服中的应用，提升用户体验。讨论、作业和思考题1.讨论大模型在教育领域的应用前景和可能带来的问题，如对学生学习方式的影响、教育公平性等。2.分析大模型与传统机器学习模型的本质区别，举例说明大模型在哪些方面具有优势。3.思考多模态融合技术在大模型发展中的重要性，并举例说明其在实际生活中的应用场景。4.查阅资料，了解当前大模型在某一特定行业（如金融、交通等）的最新应用案例，分析其应用效果和面临的挑战。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第一节大模型的前世今生一、人工智能早期发展历程二、深度学习技术的崛起三、ChatGPT与大模型的兴起第二节大模型的定义与分类一、大模型的定义二、大模型的特性三、大模型与小模型的区别四、大模型的分类第三节大模型的基本原理与架构一、大模型的基本原理二、大模型的框架三、输入模块四、模型模块五、数据模块六、工具链模块七、输出模块第四节本章小结第五节习题课堂互动设计案例讨论：展示大模型在智能写作、图像生成等领域的应用案例，组织学生分组讨论其技术原理和应用效果，每组推选代表发言，教师进行点评和总结。问答竞赛：利用雨课堂发布与课程内容相关的问题，如大模型的定义、分类特点等，让学生在规定时间内答题，根据答题速度和准确率给予奖励，激发学生的学习积极性。板书设计 1.大模型的前世今生：人工智能早期发展阶段；深度学习技术崛起关键节点；ChatGPT与大模型兴起。2.大模型的定义与分类：定义核心要素；特性列举；与小模型区别要点；分类维度及示例。3.大模型的基本原理与架构：大语言模型和扩散模型原理要点；架构模块及功能。4.大模型的应用：主要应用领域及模式；应用挑战与应对策略。5.大模型安全基础：安全概念与重要性；常见安全问题与风险类型。备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（2）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第2章大模型的安全体系教学目的与要求学生需深入理解大模型安全的内涵，包括其面临的安全挑战、安全风险以及具备的基本属性；熟练掌握大模型不同模块（输入模块、模型模块、数据模块、工具链模块、输出模块）的安全风险及相应的防御方法；系统掌握大模型安全治理的各个方面，如监管合规、道德伦理、治理架构优化等内容。能够运用所学的大模型安全知识，分析实际场景中的安全问题，并提出合理的解决方案；具备识别和防范常见大模型安全风险的能力，如数据泄露、对抗攻击等；了解大模型安全法治建设的重要性及主要措施。培养学生对大模型安全领域的重视，引导学生关注人工智能安全发展；培养学生严谨的安全思维和解决实际安全问题的能力，为后续学习和从事相关领域工作打下坚实基础。教学重点与难点教学重点：大模型面临的各类安全挑战，如数据安全风险、模型内生安全风险等；大模型安全的基本属性，包括机密性、完整性、可用性等；不同模块的安全风险及防御方法；大模型安全治理的主要内容，如监管合规、伦理规范等；大模型安全法治建设的关键举措。教学难点：理解大模型复杂的安全风险体系及其相互关系；掌握针对不同安全风险的有效防御策略和技术；在实际场景中综合运用所学知识解决大模型安全问题；领会大模型安全治理和法治建设中涉及的多方利益平衡和复杂机制。课程思政元素在讲解大模型安全伦理规范时，引导学生树立正确的价值观，强调在大模型开发和应用过程中要遵循道德准则，保护用户隐私，避免算法偏见，培养学生的社会责任感和道德意识；在介绍大模型安全法治建设时，增强学生的法律意识，让学生明白遵守法律法规在保障大模型安全发展中的重要性。社会现实场景真实问题社交媒体平台大模型安全问题问题：某社交媒体平台使用大模型进行内容推荐和审核，但出现了用户隐私泄露、有害内容传播以及算法偏见导致的用户不平等对待等问题。解决方案：运用数据隐私保护技术，如差分隐私技术和隐私计算框架，保护用户数据；强化内容审核与过滤技术，采用智能审核和跨平台协作等方式，拦截有害内容；通过数据多样性和公平性评估等手段，消除算法偏见；依据大模型安全法治建设要求，明确平台各方责任，加强监管和合规审查。讨论、作业和思考题1.简述大模型中毒攻击的原理及危害，并举例说明在实际应用场景中的影响。2.大模型安全的基本属性中，可解释性在医疗诊断大模型中为何重要？3.针对大模型法律法规滞后性问题，你认为除了文中提到的措施，还可以采取哪些方法？4.如何在大模型设计和应用中更好地保障公平性和多样性？5.大模型平台在数据隐私保护方面，除了已有的创新实践措施，还能从哪些方面进行改进？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计大模型的安全体系一、大模型的安全风险二、大模型的防御课堂互动设计课堂导入实例展示：通过展示大模型安全相关的实际案例，如某公司因大模型数据泄露导致用户信息被滥用、某大模型生成虚假新闻引发社会舆论混乱等，引发学生对大模型安全问题的关注。详细分析这些案例中涉及的安全风险和产生的后果，让学生直观感受大模型安全的重要性。问题引导：提出与大模型安全相关的问题，如“你在使用大模型过程中遇到过哪些安全问题？”、“大模型的安全问题可能会对社会造成哪些影响？”等，引导学生思考并积极参与讨论，激发学生的学习兴趣和探索欲望。板书设计1.安全风险输入模块风险模型模块风险数据模块风险工具链模块风险输出模块风险2.安全防御输入模块防御方法模型模块防御方法数据模块防御方法工具链模块防御方法输出模块防御方法备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（3）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第3章提示词攻击与防御教学目的与要求学生能理解提示词的定义、构成及设计要点，熟练区分指令、主要内容、示例和辅助内容。清晰掌握具有安全风险的提示词类型，如NSFW、对抗性提示词的概念及危害。准确识别提示词攻击的形式（直接注入攻击和间接注入攻击）和执行方式（语言语义学攻击、基于优化的对抗攻击、混合攻击）。教学重点与难点重点：提示词的构成要素和设计原则；提示词攻击的形式和执行方式分类及特点。难点：深入理解提示词攻击的原理，尤其是间接注入攻击和混合攻击的实现机制。课程思政元素引导学生树立正确的价值观，认识到提示词攻击可能带来的危害，培养学生在技术应用中的道德和法律意识，强调维护大模型安全的重要性，鼓励学生为构建安全的数字环境贡献力量。社会现实场景真实问题展示社交媒体平台上因恶意提示词导致大模型生成虚假信息，引发公众恐慌的案例；分析金融领域中提示词攻击可能导致的客户信息泄露和财产损失问题。讨论、作业和思考题收集一个提示词攻击的实际案例，并分析其攻击形式和可能造成的后果。如果自己是大模型开发者，会采取哪些初步措施应对提示词攻击。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第一节提示词一、提示词定义二、提示词的安全风险第二节提示词攻击及其分类一、攻击形式二、攻击的执行方式课堂互动设计通过提问引导学生回顾之前学过的知识，引出提示词的概念；展示不同类型提示词攻击的案例，组织学生进行小组讨论，分享自己的看法和理解；设置抢答环节，对积极参与且回答正确的学生给予奖励。板书设计提示词定义NSFW、对抗性提示词提示词攻击及其分类攻击形式：提示词直接注入攻击，提示词间接注入攻击执行方式：语言语义学攻击，基于优化的对抗攻击，混合攻击备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（4）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第3章提示词攻击与防御教学目的与要求学生能够深入分析提示词攻击的威胁模型，包括攻击场景、攻击者目的和知识能力。熟练掌握提示泄露攻击及具体方法Pleak。学会根据不同攻击形式的特点，分析实际案例中的攻击手段和潜在危害。教学重点与难点重点：提示词攻击的威胁模型分析；提示词直接注入攻击的各种类型及攻击方法。难点：理解Pleak提示泄露攻击方法的技术原理和实施过程。课程思政元素培养学生的安全意识和责任感，引导学生在面对技术挑战时，坚守道德底线，不参与任何形式的恶意攻击行为；鼓励学生积极探索技术防御手段，为保障信息安全贡献智慧。社会现实场景真实问题分析电商平台利用大模型推荐商品时，提示词攻击可能引发的虚假宣传和消费者权益受损现象。讨论、作业和思考题根据所学的攻击方法，设计一个模拟提示词攻击场景，并提出相应的防范措施。思考提示词攻击对人工智能行业发展的阻碍，以及如何从源头预防此类攻击。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第三节威胁模型一、提示词攻击的场景二、攻击者的目的三、攻击者的知识与能力第四节提示词直接注入攻击一、提示泄露攻击二、目标劫持攻击三、越狱攻击四、提示词后门攻击课堂互动设计展示实际场景中的攻击案例，分组分析，找出攻击类型和可能的攻击者目的邀请小组代表分享分析结果，其他小组进行补充和质疑开展课堂辩论，主题为“技术发展是否必然导致提示词攻击增多”板书设计威胁模型提示词攻击的场景攻击者的目的攻击者的知识与能力提示词直接注入攻击提示泄露攻击：用户提示泄露攻击，系统提示泄露攻击目标劫持攻击：同类型目标劫持攻击，跨类型目标劫持攻击越狱攻击：模拟对话攻击，角色扮演攻击，越狱攻击提示词后门攻击：单词级、语法级和语义级提示词后门攻击备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（5）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第3章提示词攻击与防御教学目的与要求学生能够深入分析提示词攻击的威胁模型，包括攻击场景、攻击者目的和知识能力。熟练掌握目标劫持攻击及具体方法POUGH、越狱攻击及具体方法PAIR、提示词后门攻击及其分类。学会根据不同攻击形式的特点，分析实际案例中的攻击手段和潜在危害。教学重点与难点重点：提示词直接注入攻击的各种类型及攻击方法。难点：理解POUGH目标劫持攻击方法的技术原理和实施过程。理解PAIR越狱攻击方法的技术原理和实施过程。课程思政元素培养学生的安全意识和责任感，引导学生在面对技术挑战时，坚守道德底线，不参与任何形式的恶意攻击行为；鼓励学生积极探索技术防御手段，为保障信息安全贡献智慧。社会现实场景真实问题分析电商平台利用大模型推荐商品时，提示词攻击可能引发的虚假宣传和消费者权益受损现象。讨论、作业和思考题根据所学的攻击方法，设计一个模拟提示词攻击场景，并提出相应的防范措施。思考提示词攻击对人工智能行业发展的阻碍，以及如何从源头预防此类攻击。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第四节提示词直接注入攻击二、目标劫持攻击三、越狱攻击四、提示词后门攻击课堂互动设计展示实际场景中的攻击案例，分组分析，找出攻击类型和可能的攻击者目的邀请小组代表分享分析结果，其他小组进行补充和质疑开展课堂辩论，主题为“技术发展是否必然导致提示词攻击增多”板书设计提示词直接注入攻击目标劫持攻击：同类型目标劫持攻击，跨类型目标劫持攻击越狱攻击：模拟对话攻击，角色扮演攻击，越狱攻击提示词后门攻击：单词级、语法级和语义级提示词后门攻击备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（6）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第3章提示词攻击与防御教学目的与要求学生全面了解其他提示词攻击方式（代码注入、ASCII艺术字、伪装与重构）的原理和特点。深入掌握提示注入防御策略，包括训练阶段防御（对抗数据增强、模型微调防御）和推理阶段防御（输入预处理防御、输出响应分析、上下文学习防御）的方法和应用场景。能够综合运用所学防御知识，针对给定的攻击场景提出有效的防御方案。教学重点与难点重点：其他提示词攻击方式的实现机制；提示注入防御策略的具体方法和应用。难点：理解不同防御策略的优势和局限性，以及如何在实际场景中选择和组合使用这些策略。课程思政元素培养学生的创新精神和解决问题的能力，鼓励学生在面对安全挑战时，积极探索新的防御技术；强调团队合作在保障大模型安全中的重要性，引导学生树立全局意识。社会现实场景真实问题探讨在图像生成领域，ASCII艺术字越狱攻击可能带来的不良影响。讨论、作业和思考题完成一份关于提示词攻击与防御的总结报告，包括攻击类型、防御策略及实际应用建议。随着大模型技术的发展，思考提示词攻击与防御未来可能的发展趋势。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第五节其它提示词攻击一、代码注入二、ASCII艺术字三、伪装与重构第六节提示注入防御一、训练阶段防御二、推理阶段防御课堂互动设计组织学生进行防御策略的模拟应用练习，如给定攻击场景，让学生选择并阐述防御方案邀请学生分享自己对防御策略的理解和应用经验板书设计其他提示词攻击代码注入ASCII艺术字伪装与重构提示注入防御训练阶段防御：对抗数据增强，大模型微调防御推理阶段防御：输入预处理防御，输出响应分析，上下文学习防御备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（7）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第4章数据攻击与防御教学目的与要求学生要全面理解大模型在应用过程中可能面临的隐私泄露风险，掌握隐私泄露的主要攻击方式，如成员推断攻击、属性推断攻击和梯度泄露攻击等，以及这些攻击如何通过模型的输出或梯度信息恢复训练数据中的敏感信息。学生将学习如何运用差分隐私、梯度裁剪、同态加密等技术防护方法来对抗隐私泄露，并深入分析如何平衡隐私保护与模型性能之间的矛盾。此外，课程还将引导学生理解与隐私泄露相关的法律法规，培养其法律合规意识和伦理责任。通过课堂讨论、案例分析和实践项目，学生将能够识别大模型隐私泄露的潜在威胁，设计并实施有效的防护策略，从而为日后的技术实践和决策提供支持。教学重点与难点帮助学生深入理解大模型隐私泄露的风险和攻击方式，特别是如何通过模型的输出或梯度信息推测或恢复训练数据中的敏感信息。重点包括成员推断攻击、属性推断攻击和梯度泄露攻击的原理及应用，同时讲解如何通过差分隐私、梯度裁剪、同态加密等技术进行有效防护，保障模型的隐私安全。此外，教学还强调隐私保护技术与法律合规之间的平衡，培养学生的法律意识和伦理责任。教学难点则在于如何有效地平衡隐私保护与模型性能，特别是在黑盒模型的防护策略、生成模型的隐私防护以及如何在复杂应用场景中实施隐私保护措施方面的技术难度。这些内容要求学生不仅掌握技术细节，还要能够在实际应用中灵活应对各种隐私泄露的挑战。课程思政元素道德与法律教育：学生不仅需要学习如何识别和防范大模型中的隐私泄露风险，还要深刻理解隐私保护与数据安全对社会的重要性。随着大模型技术的广泛应用，数据泄露和隐私侵犯已成为现实问题，直接影响个人的隐私权和社会的公平正义。因此，学生在学习隐私泄露防护技术的同时，应该增强道德自觉，树立起对他人隐私权利的尊重和保护意识。通过法律法规的学习，学生能认识到技术应用必须与社会伦理规范相符合，做到技术创新与道德底线的兼顾。责任感培养：在大模型的隐私保护过程中，开发者和研究者肩负着不可推卸的社会责任。他们不仅需要对技术的创新负责，更要为技术可能带来的隐私泄露、信息滥用等问题承担责任。通过案例分析和伦理讨论，学生能够认识到技术的双刃剑特性，特别是在处理涉及个人敏感信息时，更要格外谨慎。因此，学生应树立起以用户隐私和社会福祉为重的责任感，推动技术的安全、可靠和可持续发展。价值观引导：在面对隐私泄露的技术挑战时，学生应当形成正确的价值判断，始终将保护个人隐私、尊重数据权利、保障公平正义作为工作准则。大模型的隐私保护不仅是技术问题，更是一个伦理和法律问题。学生应认识到，在进行技术创新时，必须充分考虑到社会责任和道德约束，避免技术滥用。通过课程内容的学习，学生能够在未来的职业生涯中，以积极的社会价值观和责任担当，推动技术发展服务于更广泛的社会利益，形成有利于社会进步的正向影响。社会现实场景真实问题随着大模型在金融、医疗和社交网络等领域的广泛应用，个人敏感数据的泄露风险日益严重。例如，社交平台通过分析用户的行为数据推送广告，可能无意中暴露用户的隐私信息；医疗模型可能泄露患者的健康数据。这些隐私泄露不仅会导致身份盗窃，还可能引发社会歧视或心理压力。那么，如何平衡技术创新与隐私保护，确保数据安全不被侵犯呢？讨论、作业和思考题什么是推理攻击？列举推理攻击的几种类型，并简要描述它们的工作原理。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第一节隐私泄露的威胁模型一、隐私泄露的背景二、攻击者模型三、攻击手段四、威胁后果第二节推理攻击一、成员推断攻击二、属性推断攻击三、数据重构攻击课堂互动设计问答互动：教师可以通过提问的方式引导学生思考，鼓励学生积极回答问题。问题可以涉及课程的关键知识点，也可以是一些能够激发学生兴趣的问题。为了增加互动性，教师可以采用点名回答、抢答或小组讨论后派代表回答等形式。小组讨论：将学生分成若干小组，针对某个问题进行讨论。小组讨论可以促进学生之间的交流与合作，培养他们的团队协作能力。教师可以在讨论过程中巡视各小组，给予必要的指导和帮助。讨论结束后，可以邀请小组代表分享讨论结果，并进行全班交流。案例分析：引入黑客攻击的概念与案例，介绍近年来发生的隐私泄露事件，普及相关法律法规。板书设计隐私泄露的威胁模型攻击者模型：外部攻击者；内部攻击者；对抗性攻击者。攻击手段：成员推断攻击；属性推断攻击；数据重构攻击；梯度泄露攻击；威胁后果：个人隐私侵犯；经济损失；法律责任；社会信任危机；伦理争议；国际影响与政治风险推理攻击方式成员推断攻击：判断数据是否在训练集中。属性推断攻击：从模型的输出中推断出与样本相关的敏感属性信息数据重构攻击：直接还原出训练数据的原始内容或结构特征备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（8）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第4章数据攻击与防御教学目的与要求学生要全面理解大模型在应用过程中可能面临的隐私泄露风险，掌握隐私泄露的主要攻击方式，如成员推断攻击、属性推断攻击和梯度泄露攻击等，以及这些攻击如何通过模型的输出或梯度信息恢复训练数据中的敏感信息。学生将学习如何运用差分隐私、梯度裁剪、同态加密等技术防护方法来对抗隐私泄露，并深入分析如何平衡隐私保护与模型性能之间的矛盾。此外，课程还将引导学生理解与隐私泄露相关的法律法规，培养其法律合规意识和伦理责任。通过课堂讨论、案例分析和实践项目，学生将能够识别大模型隐私泄露的潜在威胁，设计并实施有效的防护策略，从而为日后的技术实践和决策提供支持。教学重点与难点帮助学生深入理解大模型隐私泄露的风险和攻击方式，特别是如何通过模型的输出或梯度信息推测或恢复训练数据中的敏感信息。重点包括成员推断攻击、属性推断攻击和梯度泄露攻击的原理及应用，同时讲解如何通过差分隐私、梯度裁剪、同态加密等技术进行有效防护，保障模型的隐私安全。此外，教学还强调隐私保护技术与法律合规之间的平衡，培养学生的法律意识和伦理责任。教学难点则在于如何有效地平衡隐私保护与模型性能，特别是在黑盒模型的防护策略、生成模型的隐私防护以及如何在复杂应用场景中实施隐私保护措施方面的技术难度。这些内容要求学生不仅掌握技术细节，还要能够在实际应用中灵活应对各种隐私泄露的挑战。课程思政元素道德与法律教育：学生不仅需要学习如何识别和防范大模型中的隐私泄露风险，还要深刻理解隐私保护与数据安全对社会的重要性。随着大模型技术的广泛应用，数据泄露和隐私侵犯已成为现实问题，直接影响个人的隐私权和社会的公平正义。因此，学生在学习隐私泄露防护技术的同时，应该增强道德自觉，树立起对他人隐私权利的尊重和保护意识。通过法律法规的学习，学生能认识到技术应用必须与社会伦理规范相符合，做到技术创新与道德底线的兼顾。责任感培养：在大模型的隐私保护过程中，开发者和研究者肩负着不可推卸的社会责任。他们不仅需要对技术的创新负责，更要为技术可能带来的隐私泄露、信息滥用等问题承担责任。通过案例分析和伦理讨论，学生能够认识到技术的双刃剑特性，特别是在处理涉及个人敏感信息时，更要格外谨慎。因此，学生应树立起以用户隐私和社会福祉为重的责任感，推动技术的安全、可靠和可持续发展。价值观引导：在面对隐私泄露的技术挑战时，学生应当形成正确的价值判断，始终将保护个人隐私、尊重数据权利、保障公平正义作为工作准则。大模型的隐私保护不仅是技术问题，更是一个伦理和法律问题。学生应认识到，在进行技术创新时，必须充分考虑到社会责任和道德约束，避免技术滥用。通过课程内容的学习，学生能够在未来的职业生涯中，以积极的社会价值观和责任担当，推动技术发展服务于更广泛的社会利益，形成有利于社会进步的正向影响。教学内容设计第三节梯度泄露攻击一、梯度泄露攻击的原理二、梯度泄露的风险三、梯度泄露攻击的方式第四节PII泄露攻击一、PII泄露的原理二、PII泄露的风险三、PII泄露攻击的方式课堂互动设计问答互动：教师可以通过提问的方式引导学生思考，鼓励学生积极回答问题。问题可以涉及课程的关键知识点，也可以是一些能够激发学生兴趣的问题。为了增加互动性，教师可以采用点名回答、抢答或小组讨论后派代表回答等形式。小组讨论：将学生分成若干小组，针对某个问题进行讨论。小组讨论可以促进学生之间的交流与合作，培养他们的团队协作能力。教师可以在讨论过程中巡视各小组，给予必要的指导和帮助。讨论结束后，可以邀请小组代表分享讨论结果，并进行全班交流。案例分析：介绍近年来发生的黑客攻击实施步骤板书设计梯度泄露攻击的防御：差分隐私；梯度裁剪；训练过程加密；联邦学习与模型分离架构；对抗性训练与梯度伪装机制；训练过程随机化与非确定性扰动PII攻击的方式：推理方式；反向工程；梯度泄露备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（9）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第4章数据攻击与防御教学目的与要求本节课旨在帮助学生全面理解大模型投毒攻击的基本概念、威胁模型及防御机制，掌握投毒攻击在不同阶段（预训练、微调、对齐）的实施逻辑与技术特点。要求学生能够准确定义投毒攻击的本质及其与后门攻击的差异，理解威胁模型中攻击场景（如数据集构造污染、预训练阶段拒绝服务攻击）与攻击者目的（如信息操控、破坏模型对齐）的关联性，并能够分类阐述投毒攻击的方法体系，包括数据集构造（如jailbreak-tuning的原理）、预训练阶段攻击（如信念操纵攻击的隐蔽性）、微调阶段的数学原理（如梯度扰动策略）以及对齐阶段的PoisonedAlig中毒样本策略。同时需熟悉防御方法的核心框架，包括预防性防御（数据增强、来源过滤）与检测性防御（困惑度检测、大模型自检），最终形成对投毒攻击攻防链条的系统性认知，为后续分析大模型安全风险提供理论支撑。教学重点与难点教学重点聚焦于投毒攻击的威胁模型与方法分类，尤其是攻击者通过污染数据集（如自制投毒数据集的构造流程）或操纵预训练过程（如上下文提取攻击的数据窃取逻辑）实现目标的技术路径，以及不同攻击阶段（如对齐阶段PoisonedAlig策略对模型价值观的定向破坏）的危害差异。难点在于解析微调阶段攻击的数学原理（如梯度反向传播中的参数扰动机制）及其对模型行为的影响，以及防御策略中“投毒抑制模型设计”如何平衡模型性能与抗干扰能力的矛盾。此外，jailbreak-tuning等新兴攻击方法需结合案例说明其绕过安全限制的逻辑，避免学生对抽象概念产生理解断层。课程思政元素课程通过剖析投毒攻击对人工智能伦理与社会信任的冲击（如信息操控引发舆论危机、信念操纵扭曲文化价值观），引导学生树立“技术向善”的科研伦理观。结合国家安全文件对数据来源合法性的要求，强调投毒攻击背后隐藏的数据滥用风险，倡导在技术研发中坚守法律底线与社会责任。通过分析投毒攻击对国产大模型生态的潜在威胁（如供应链污染导致模型失控），激发学生维护数字主权的使命感，鼓励探索兼顾开放创新与安全可控的技术路径。社会现实场景真实问题社交媒体平台依赖大模型进行内容审核时，若预训练阶段遭投毒攻击（如植入特定关键词关联错误信念），可能导致模型自动传播虚假信息；自动驾驶系统中，投毒数据集构造的对抗样本可能误导感知模块引发交通事故。医疗领域，攻击者通过微调阶段参数投毒篡改诊断模型输出，威胁患者生命安全。此外，黑灰产利用对齐阶段的PoisonedAlign策略生成违反伦理的对话内容，规避平台监管，凸显防御体系构建的紧迫性。国际竞争中，投毒攻击已成为打压对手AI产业发展的隐蔽手段，需提升自主防御能力以应对技术霸权。讨论、作业和思考题1.若攻击者仅能通过公开API访问模型，其投毒攻击能力会受到哪些限制？如何影响攻击路径设计？2.对比预训练阶段的“拒绝服务攻击”与微调阶段的参数投毒，哪种攻击对模型可用性的破坏更持久？说明理由。3.数据标签验证防御法为何难以应对干净标签投毒攻击？试从标注可信度角度分析。4.大模型自检（LLM-basedDetection）作为检测性防御，可能因模型自身被投毒而失效。如何设计冗余机制降低该风险？5.从技术伦理视角，研究者公开投毒攻击方法是否可能被恶意利用？如何平衡学术透明性与社会安全责任？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计5.3.1投毒攻击的定义一、投毒攻击的背景和特点二、大模型投毒攻击的定义5.3.2投毒攻击的威胁模型一、投毒攻击的场景二、攻击者目的三、攻击者的能力与知识边界5.3.3投毒攻击的方法一、投毒数据集构造二、预训练阶段的投毒攻击三、微调阶段的投毒攻击四、对齐阶段的投毒攻击5.3.4投毒攻击的防御方法一、预防性防御二、检测性防御课堂互动设计课堂导入实例展示：通过展示投毒攻击的威胁和背景知识，激发学生对大模型投毒攻击学习的兴趣。解释这些攻击背后的简单原理，让学生初步了解投毒攻击的相关知识。问题引导：提出与投毒攻击相关的问题，如“投毒攻击为什么叫做投毒攻击？”“投毒攻击和后门攻击之间有什么关系？”等，引导学生思考并积极参与讨论。板书设计大模型投毒攻击的定义大模型投毒攻击的定义和背景投毒攻击的威胁模型投毒攻击的场景攻击者目的攻击者的能力与知识边界投毒攻击的方法投毒数据集构造jailbreak-tuning攻击方法自制投毒数据集的方法预训练阶段的投毒攻击拒绝服务攻击上下文提取攻击信念操纵攻击微调阶段的投毒攻击的数学原理对齐阶段的后门攻击PoisonedAlig投毒攻击的防御方法预防性防御数据增强数据标签验证设计投毒抑制模型检测性防御基于困惑度的检测大模型自检备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（10）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第5章模型攻击与防御教学目的与要求本节课旨在帮助学生理解大模型对抗攻击的核心概念、分类方法及防御策略，掌握对抗攻击的威胁模型与前沿技术动态。要求学生能够准确描述对抗攻击的定义、场景与流程，区分不同攻击分类标准（如黑白盒、目标类型、扰动粒度），并熟悉扩散模型与大语言模型的黑白盒攻击特点；同时需理解防御策略的阶段性逻辑，能够分析输入防御、模型增强与输出控制的实际应用场景，形成对攻击与防御体系的系统性认知，为后续学习大模型安全技术奠定基础。教学重点与难点教学重点围绕对抗攻击的核心理论与分类体系展开，包括威胁模型中的攻击者能力边界、攻击目标与场景的关联性，以及黑白盒攻击方法在扩散模型和大语言模型中的差异。难点在于如何引导学生理解不同扰动策略对模型的影响机制（如细粒度扰动对模型生成内容的隐蔽性破坏），以及防御策略从“被动拦截”到“主动增强”的逻辑演进。此外，前沿攻击技术（如多模态大模型的对抗攻击方法）涉及跨模态攻击向量构建，需结合案例降低理解门槛。课程思政元素课程通过剖析对抗攻击对国家安全与社会稳定的潜在威胁（如虚假信息生成、关键系统误导），引导学生认识技术发展的双刃剑效应，树立“科技向善”的伦理观。结合我国现有文件，强调技术研发需以法律为底线、以社会责任为导向，鼓励学生在大模型安全领域探索既能推动创新又能守护公共利益的技术路径，培养“技术报国”的使命感。社会现实场景真实问题当前大模型已深入金融风控、医疗诊断等领域，但对抗攻击可导致模型输出错误结论，例如攻击者通过细微文本扰动使客服模型泄露用户隐私，或篡改图像数据误导自动驾驶系统。社交媒体中，黑灰产利用对抗样本绕过内容审核机制传播虚假广告，凸显防御策略的迫切性。此外，国际竞争中针对大模型的安全攻防已成为数字主权博弈的重要战场，亟需具备全局视野的专业人才参与防御体系构建。讨论、作业和思考题1.若攻击者仅能通过API调用模型，其能力边界如何影响对抗攻击的设计？2.在医疗影像分析场景中，细粒度对抗扰动可能造成哪些不同于传统网络攻击的危害？3.对比输入防御策略与模型增强策略，何种场景下前者更具成本效益？4.从技术伦理角度，研究者公开对抗攻击方法是否可能加剧安全风险？如何平衡学术透明性与社会责任？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计5.1.1对抗攻击的定义一、对抗攻击背景知识二、大模型对抗攻击的定义5.1.2对抗攻击的威胁模型一、对抗攻击的场景和流程二、攻击者目的三、攻击者能力与知识边界5.1.3对抗攻击的分类一、黑盒/白盒对抗攻击二、有目标/无目标对抗攻击三、粗粒度/细粒度对抗扰动5.1.4对抗攻击的方法一、扩散模型的白盒对抗攻击二、多模态大模型的白盒对抗攻击三、扩散模型的黑盒对抗攻击四、多模态大模型的黑盒对抗攻击5.1.5对抗攻击的防御策略一、输入防御策略二、模型增强策略三、输出控制策略课堂互动设计案例讨论：在讲解对抗攻击的背景时，组织学生进行小组讨论。例如，展示一个对抗攻击事件的详细案例，让学生分组讨论事件中涉及的攻击策略、威胁模型以及相应的防范措施。每个小组推选代表进行发言，分享讨论结果。教师对各小组的讨论结果进行点评和总结，引导学生深入理解相关知识。问答竞赛：利用雨课堂开展问答竞赛活动。教师在雨课堂上发布一些与课程内容紧密相关的问题，如对抗攻击的定义、对抗攻击的类型等，让学生在规定时间内进行答题。根据学生的答题速度和准确率进行排名，给予表现优秀的学生一定的奖励（如小礼品或平时成绩加分）。通过这种方式，激发学生的学习积极性，提高学生对知识的掌握程度。板书设计对抗攻击的定义大模型对抗攻击的定义大模型对抗攻击的三个核心要素对抗攻击的威胁模型对抗攻击的场景和流程攻击者目的攻击者能力与知识边界对抗攻击的分类基于知识边界的攻击范式分类攻击目标导向的二元分类攻击策略的扰动粒度对抗攻击的方法扩散模型的工作原理SD模型的漏洞隐患对抗攻击方法的数学原理对抗攻击的防御输入防御策略模型增强策略输出控制策略备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（11）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第5章模型攻击与防御教学目的与要求本节课旨在帮助学生系统理解大模型后门攻击的核心原理、实施路径及防御机制，掌握后门攻击的威胁模型、分类标准与前沿攻击方法。要求学生能够清晰阐述后门攻击的定义及其与对抗攻击的本质区别，理解威胁模型中不同攻击场景（如数据集污染、第三方训练平台操纵、后门模型发布）的运作逻辑，并能够对比分析黑白盒攻击、定向与非定向攻击的分类依据。需熟悉训练与微调阶段（如干净标签攻击、复合后门攻击）与无需微调攻击（如激活工程破坏安全对齐）的技术特点。同时需掌握防御方法的核心思想，包括输入数据检测的触发器识别策略、模型修正中的神经元剪枝与混合重构技术，最终形成对后门攻击攻防体系的整体认知，为后续大模型安全防护实践奠定理论基础。教学重点与难点教学重点聚焦于后门攻击的威胁模型构建与分类逻辑，尤其是攻击者通过数据集污染或模型发布植入后门的现实路径，以及训练阶段干净标签攻击（表面合法数据隐藏恶意触发器）与复合后门攻击（多触发条件叠加）的技术差异。难点在于引导学生理解无需微调攻击的机制，例如如何通过激活工程绕过安全对齐机制实现隐蔽控制，以及文本编码器后门攻击中语义扰动与模型行为的关联性。此外，引导学生理解防御策略中神经元剪枝与混合重构的实施方法，结合案例解释其技术边界与局限性，避免抽象概念导致的理解偏差。课程思政元素课程通过剖析后门攻击对数字主权与公共安全的威胁（如模型窃密、舆论操控），强调技术研发应坚守国家安全底线与科技伦理。结合国家文件中关于模型训练数据合规性的要求，引导学生认识数据污染攻击的法律风险与社会危害，培养“技术为善”的责任意识。通过分析扩散模型版权侵犯后门攻击对文化创新的冲击，倡导尊重知识产权与技术创新并重的价值观，激励学生在安全领域探索既能防范风险又能促进产业健康发展的解决方案。社会现实场景真实问题当前开源模型生态中，攻击者通过第三方平台植入后门可能导致企业部署的模型泄露商业机密，例如医疗领域模型被篡改后输出错误诊断建议。社交媒体平台若接入含后门的文本生成模型，可能被定向攻击诱导生成煽动性内容，威胁社会稳定。此外，黑客利用无需微调的激活工程攻击破坏AI助手的安全对齐机制，使其执行欺诈指令，此类攻击因隐蔽性强而难以追溯。国际竞争中，后门模型可能成为供应链攻击工具，凸显构建自主可控模型防御体系的重要性。讨论、作业和思考题1.若攻击者仅能通过污染公开数据集植入后门，其攻击效果会受到哪些因素限制？2.干净标签后门攻击为何比传统后门攻击更具隐蔽性？试从标注可信度角度分析。3.在模型微调阶段，复合后门攻击设计多触发条件可能带来哪些优势与风险？4.神经元剪枝防御法可能误删正常功能神经元，如何平衡后门清除与模型性能保留？5.从技术伦理视角，模型开发者是否应对第三方微调后的后门攻击承担连带责任？说明理由。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计5.2.1后门攻击的定义一、后门攻击的隐蔽性二、大模型后门攻击的定义5.2.2后门攻击的威胁模型一、后门攻击的场景和流程二、攻击者的目的三、攻击者的能力与知识边界5.2.3后门攻击的分类一、黑盒/白盒后门攻击二、定向/非定向后门攻击5.2.4训练与微调阶段的后门攻击一、大模型的干净标签后门攻击二、大模型的复合后门攻击三、扩散模型的版权侵犯后门攻击5.2.5无需微调的后门攻击一、破坏大模型安全对齐的后门攻击二、针对大模型文本编码器的后门攻击5.2.6后门攻击的防御方法一、输入数据检测二、后门模型修正课堂互动设计实例展示：通过展示后门攻击的威胁和背景知识，激发学生对大模型后门攻击学习的兴趣。解释这些攻击背后的简单原理，让学生初步了解后门攻击的相关知识。问题引导：提出与后门攻击相关的问题，如“后门攻击为什么叫做后门攻击？”“后门攻击和对抗攻击之间有什么关系？”等，引导学生思考并积极参与讨论。板书设计后门攻击的定义大模型后门攻击的定义大模型后门攻击的双特性后门攻击的威胁模型后门攻击的三种典型场景攻击者目的理想后门攻击的五大关键特性攻击者的能力与知识边界后门攻击的分类白盒/黑盒后门攻击定向/非定向后门攻击训练与微调阶段的后门攻击攻击策略结构图攻击方法的数学原理无需微调的后门攻击攻击策略结构图攻击方法的数学原理后门攻击的防御方法输入数据检测方法神经元剪枝与混合重构方法备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（12）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第5章模型攻击与防御教学目的与要求本节课旨在帮助学生理解大模型领域的新型攻击模式——能量-延迟攻击与提取攻击的核心原理、技术路径及潜在危害。要求学生能够准确定义能量-延迟攻击（通过输入扰动增加模型推理能耗或延迟）和提取攻击（通过黑盒交互窃取模型参数或架构）的本质区别，掌握能量-延迟攻击的实际效果与影响因素（如模型规模、输入模态复杂度），深入分析VerboseSamples攻击中扰动设计与数学目标（延迟EOS损失、token不确定性损失）的关联逻辑。教学重点与难点教学重点聚焦于能量-延迟攻击的作用机制与提取攻击的实施流程。具体包括：能量-延迟攻击如何通过输入扰动（如VerboseSamples中的隐蔽图像/视频干扰）延长模型推理时间或提高能耗，以及其数学目标（如最大化token多样性损失）对生成序列长度的影响；难点在于引导学生理解能量-延迟攻击的隐蔽性（如扰动难以被传统异常检测捕捉）及其对边缘计算设备（如移动端AI芯片）的效能威胁。课程思政元素课程通过剖析能量-延迟攻击对绿色计算目标的破坏（如高能耗加剧碳足迹）对知识产权的侵害，引导学生树立“可持续发展”与“科技伦理”双重价值观。社会现实场景真实问题云计算服务中，攻击者通过能量-延迟攻击向部署的视觉模型注入VerboseSamples，导致服务器因高负载触发限频保护，进而中断实时安防监控；智能终端若遭遇此类攻击，可能因电池过耗引发设备故障。此外，国际竞争中，能量-延迟攻击可被用作针对对手AI基础设施的软性破坏手段，凸显新型攻击防御的战略意义。讨论、作业和思考题1.能量-延迟攻击与传统的拒绝服务攻击（DoS）在作用对象与影响范围上有何本质区别？2.VerboseSamples攻击中，为何同时优化“延迟EOS损失”与“token多样性损失”能更有效增加推理耗时？3.能量-延迟攻击的防御为何难以依赖传统异常检测？结合输入扰动隐蔽性说明原因。教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计5.4.1能量-延迟攻击一、能量-延迟攻击的定义二、能量-延迟攻击的实际效果与相关因素三、能量-延迟攻击的典型代表VerboseSamples课堂互动设计问答互动：教师可以通过提问的方式引导学生思考，鼓励学生积极回答问题。问题可以涉及课程的关键知识点，也可以是一些能够激发学生兴趣的问题。为了增加互动性，教师可以采用点名回答、抢答或小组讨论后派代表回答等形式。问题例如“若智能家居的语音助手因能量-延迟攻击长期高耗能，可能引发哪些连锁问题？”邀请学生自由联想（如设备寿命缩短、用户体验下降）小组讨论：将学生分成若干小组，针对某个问题进行讨论。小组讨论可以促进学生之间的交流与合作，培养他们的团队协作能力。教师可以在讨论过程中巡视各小组，给予必要的指导和帮助。讨论结束后，可以邀请小组代表分享讨论结果，并进行全班交流。板书设计能量-延迟攻击能量-延迟攻击的定义能量-延迟攻击的实际效果与相关因素能量-延迟攻击的典型代表VerboseSamples备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（13）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第5章模型攻击与防御教学目的与要求本节课旨在理解提取攻击的代表性方法ModelLeeching的四个阶段（提示设计、数据生成、模型训练、攻击部署），以及提取后衍生的隐私泄露、版权窃取等次生风险。最终需形成对攻击技术特点及防御必要性的系统性认知，为后续学习大模型安全防护策略奠定基础。教学重点与难点教学重点聚焦于提取攻击中ModelLeeching如何通过黑盒交互（仅依赖模型输出）重构目标模型架构或参数，并进一步引发反演攻击或版权窃取。难点在于引导学生理解提取攻击中“提示设计”如何通过对抗性样本生成优化模型参数逼近的数学原理，需结合案例拆解技术细节以避免概念抽象化。课程思政元素课程结合国家信息安全文件中关于模型知识产权保护与能效管理的要求，强调技术研发需兼顾创新效率与社会责任，避免技术滥用导致能源浪费或商业机密泄露。通过探讨国产大模型在国际竞争中的安全风险，激发学生维护技术自主权的使命感，倡导在开放生态中构建安全可控的AI技术体系。社会现实场景真实问题模型版权领域，黑产利用ModelLeeching窃取企业训练的大语言模型，通过微调后低价售卖，侵蚀原创者商业利益；医疗诊断模型若被提取攻击反演参数，可能导致患者隐私数据泄露。讨论、作业和思考题1.若提取攻击仅能获取目标模型的输入输出对，ModelLeeching如何通过有限数据逼近模型参数？试从提示设计角度分析。2.从技术伦理视角，如何界定模型提取攻击在学术研究与商业竞争中的“合理使用”边界？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计提取攻击一、提取攻击的定义二、提取攻击ModelLeeching课堂互动设计问答互动：教师可以通过提问的方式引导学生思考，鼓励学生积极回答问题。问题可以涉及课程的关键知识点，也可以是一些能够激发学生兴趣的问题。为了增加互动性，教师可以采用点名回答、抢答或小组讨论后派代表回答等形式。问题例如“针对模型提取攻击，可能采取哪些措施加以防范？”邀请学生自由联想小组讨论：将学生分成若干小组，针对某个问题进行讨论。小组讨论可以促进学生之间的交流与合作，培养他们的团队协作能力。教师可以在讨论过程中巡视各小组，给予必要的指导和帮助。讨论结束后，可以邀请小组代表分享讨论结果，并进行全班交流。板书设计提取攻击提取攻击的定义提取攻击ModelLeeching备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（14）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第6章大模型平台的安全教学目的与要求学生需深入理解大模型平台安全的重要性，明确软件平台和硬件平台安全的关键组成部分；熟练掌握软件平台中编程语言运行环境、CI/CD开发管道、深度学习框架、依赖库等方面的安全隐患、问题及防护措施；熟悉硬件平台中GPU计算平台、内存与存储、网络设备等面临的攻击方式和防御方法。能够运用所学知识，分析大模型平台实际场景中的安全问题，并提出有效的解决策略；具备识别和防范常见安全风险的能力，如Python运行时环境漏洞、GPU攻击等。培养学生对大模型平台安全的重视，提升学生的安全意识和解决实际安全问题的能力，为后续学习和从事相关领域工作奠定坚实基础。教学重点与难点教学重点：大模型软件平台各组件（编程语言运行环境、CI/CD开发管道、深度学习框架、依赖库）的安全问题及防护措施；硬件平台各部分（GPU计算平台、内存与存储、网络设备）面临的攻击方式和防御手段。教学难点：理解大模型软件和硬件平台安全问题的复杂性及相互关联性；掌握针对不同安全问题的有效防护技术和策略，并能在实际场景中灵活运用。课程思政元素 在讲解大模型平台安全问题时，引导学生树立正确的职业道德观，强调在开发和应用大模型平台过程中要遵守行业规范，保护用户数据安全和隐私，避免因安全漏洞给用户和社会带来危害，培养学生的社会责任感和安全意识；在介绍安全防护措施和治理手段时，培养学生严谨的科学态度和创新精神，鼓励学生积极探索更有效的安全技术，为保障大模型平台安全贡献力量。社会现实场景真实问题某金融机构大模型平台安全问题问题：某金融机构使用大模型进行客户信用评估和投资风险预测，但平台出现了数据泄露、模型被攻击导致评估结果错误等问题，给客户和机构带来了经济损失。解决方案：在软件平台方面，加强编程语言运行环境的安全加固，严格管理CI/CD开发管道，确保深度学习框架和依赖库的安全性；在硬件平台方面，强化GPU计算平台防护，保障内存与存储安全，加强网络设备安全防御。运用数据加密、访问控制、漏洞检测等技术，保护平台数据安全和模型稳定运行，同时依据相关法律法规，明确各方责任，加强监管和合规审查。讨论、作业和思考题1.结合实际案例，分析大模型平台中深度学习框架安全问题对模型训练和推理的影响。2.在大模型开发过程中，如何平衡依赖库的功能需求和安全风险？3.简述GPU计算平台防御方式中，不同技术（如TEEs、Honeycomb、CRYPTGPU）的优势和适用场景。4.针对内存和存储安全面临的攻击，除了文中提到的防御方式，还可以采取哪些措施？5.大模型平台网络设备安全防御中，如何综合运用多种防御手段应对复杂的网络攻击？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第一节大模型平台的安全一、大模型的软件平台安全二、大模型的硬件平台安全三、小结课堂互动设计课堂导入实例展示：通过展示大模型平台安全相关的实际案例，如某互联网公司因Python运行时环境漏洞导致数据泄露、某云计算平台GPU遭受攻击影响服务稳定性等，引发学生对大模型平台安全问题的关注。详细分析这些案例中涉及的安全风险和产生的后果，让学生直观感受大模型平台安全的重要性。问题引导：提出与大模型平台安全相关的问题，如“你认为大模型平台中哪个部分最容易出现安全问题？为什么？”、“如何在开发过程中提前发现并预防这些安全问题？”等，引导学生思考并积极参与讨论，激发学生的学习兴趣和探索欲望。板书设计1.大模型的软件平台安全平台自身漏洞深度学习框架模型安全依赖库安全安全防护措施2.大模型的硬件平台安全GPU计算平台安全内存与存储安全网络设备安全3.小结软件平台安全要点硬件平台安全要点备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（15）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第7章大模型的幻觉教学目的与要求通过本章学习，学生需系统掌握大模型“幻觉”现象的完整知识框架。具体包括：1.

定义与分类：准确理解幻觉的核心概念（如“模型生成看似合理但与事实、逻辑或上下文相悖的内容”），辨析其与普通模型错误的区别，掌握基于生成内容属性（事实性、忠实性）的分类体系；2.

产生根源：深入剖析数据、训练、推理三部分导致幻觉的机制，如数据中的模仿性虚假信息、训练中的对齐偏差、推理中的解码策略缺陷等，建立“数据污染-训练失准-推理失控”的因果链认知；3.

检测与抑制：掌握事实性幻觉的检索验证、不确定性评估等方法，以及忠实性幻觉的多模态检测技术，理解数据清洗、模型优化、解码增强等全链路抑制策略。最终要求学生能结合医疗、法律等场景案例，设计幻觉治理方案，并形成对技术伦理（如虚假信息传播风险）的批判性思考能力。教学重点与难点1.概念体系构建：围绕“定义-分类-根源-检测-抑制”逻辑链，重点解析幻觉的“三元特征”（反事实性、高置信度、隐蔽性）与“按内容属性分类法”；2.技术机理剖析：在根源层面，强调数据污染、训练目标冲突、推理缺陷的相互作用；在抑制层面，突出检索增强生成（RAG）对知识边界的突破、事实性解码对过度自信的约束等技术原理；3.方法论迁移：重点训练学生运用多级检测策略（如“证据检索+不确定性量化+大模型自检”组合）解决开放域问题的能力。难点：1.复杂因果关系辨析：如何区分数据噪声（如低质量语料）与训练策略（如过拟合）对幻觉的贡献度；2.技术方案权衡：理解检测方法中敏感性与特异性矛盾（如基于分类器的检测可能误杀合理创新）、抑制策略中效果与效率的平衡（如RAG增加时延）；3.动态场景适配：针对多轮对话中逐步偏离事实的“累积性幻觉”，需综合时序检测与动态抑制手段，这对学生系统思维提出较高要求。课程思政元素法律与道德教育：在讲解大模型幻觉的数据因素根源时，强调谣言、版权侵犯等行为违反法律法规和道德准则。通过引入实际案例，如输出违反法律的内容，让学生明白在网络空间任何利用大模型幻觉从事违法行为的活动都将受到法律制裁，培养学生的法律意识和道德责任感，使其在利用大模型中自觉遵守法律和道德规范。爱国主义教育：在介绍国内安全标准和组织时，突出我国在信息安全领域的努力和成就，激发学生的民族自豪感和爱国情怀。例如讲述我国自主研发的安全技术标准，以及相关组织在维护国家网络安全、保障信息主权方面的重要作用，鼓励学生为国家网络安全事业贡献力量。责任感与使命感培养：通过探讨大模型幻觉面临的新挑战以及构建可信任大模型的重要性，培养学生对可信AI的责任感和使命感。让学生意识到他们作为未来的专业人士，有责任维护AI时代大模型输出内容的可信可靠，保障信息的安全与稳定，鼓励学生积极投身大模型研究，为应对不断变化的AI领域贡献智慧和力量。社会现实场景真实问题在日常生活中，很多人都利用大模型生成问题的答案。例如在医疗领域，病人通过输入自己的症状，询问医疗大模型自己的病情以及治疗方法。但由于大模型幻觉的存在，大模型可能造成误诊以及给出错误的治疗方案，但这些方案往往读起来流畅顺利，给人一种很专业的感觉。如果病人相信了大模型的回答，轻则耽误治疗时间，重则危害生命健康。讨论、作业和思考题1.大模型幻觉分为事实性幻觉和忠实性幻觉的依据是什么？2.大模型幻觉的定义3.什么是关系错误幻觉教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第一节大模型幻觉的定义与分类1.幻觉的定义2.幻觉的分类课堂互动设计案例讨论：在讲解数据层面的幻觉分类时，组织学生进行小组讨论。例如，展示一个大模型幻觉的案例，让学生讨论这是哪种类型的幻觉。课后作业：让学生询问大模型一些问题，找出其回答的幻觉部分，在下次课上提出、分享，看谁能将大模型“难住”。板书设计大模型幻觉的定义与分类1.幻觉的定义2.幻觉的分类备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（16）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第7章大模型的幻觉教学目的与要求通过本章学习，学生需系统掌握大模型“幻觉”现象的完整知识框架。具体包括：1.

定义与分类：准确理解幻觉的核心概念（如“模型生成看似合理但与事实、逻辑或上下文相悖的内容”），辨析其与普通模型错误的区别，掌握基于生成内容属性（事实性、忠实性）的分类体系；2.

产生根源：深入剖析数据、训练、推理三部分导致幻觉的机制，如数据中的模仿性虚假信息、训练中的对齐偏差、推理中的解码策略缺陷等，建立“数据污染-训练失准-推理失控”的因果链认知；3.

检测与抑制：掌握事实性幻觉的检索验证、不确定性评估等方法，以及忠实性幻觉的多模态检测技术，理解数据清洗、模型优化、解码增强等全链路抑制策略。最终要求学生能结合医疗、法律等场景案例，设计幻觉治理方案，并形成对技术伦理（如虚假信息传播风险）的批判性思考能力。教学重点与难点1.概念体系构建：围绕“定义-分类-根源-检测-抑制”逻辑链，重点解析幻觉的“三元特征”（反事实性、高置信度、隐蔽性）与“按内容属性分类法”；2.技术机理剖析：在根源层面，强调数据污染、训练目标冲突、推理缺陷的相互作用；在抑制层面，突出检索增强生成（RAG）对知识边界的突破、事实性解码对过度自信的约束等技术原理；3.方法论迁移：重点训练学生运用多级检测策略（如“证据检索+不确定性量化+大模型自检”组合）解决开放域问题的能力。难点：1.复杂因果关系辨析：如何区分数据噪声（如低质量语料）与训练策略（如过拟合）对幻觉的贡献度；2.技术方案权衡：理解检测方法中敏感性与特异性矛盾（如基于分类器的检测可能误杀合理创新）、抑制策略中效果与效率的平衡（如RAG增加时延）；3.动态场景适配：针对多轮对话中逐步偏离事实的“累积性幻觉”，需综合时序检测与动态抑制手段，这对学生系统思维提出较高要求。课程思政元素法律与道德教育：在讲解大模型幻觉的数据因素根源时，强调谣言、版权侵犯等行为违反法律法规和道德准则。通过引入实际案例，如输出违反法律的内容，让学生明白在网络空间任何利用大模型幻觉从事违法行为的活动都将受到法律制裁，培养学生的法律意识和道德责任感，使其在利用大模型中自觉遵守法律和道德规范。爱国主义教育：在介绍国内安全标准和组织时，突出我国在信息安全领域的努力和成就，激发学生的民族自豪感和爱国情怀。例如讲述我国自主研发的安全技术标准，以及相关组织在维护国家网络安全、保障信息主权方面的重要作用，鼓励学生为国家网络安全事业贡献力量。责任感与使命感培养：通过探讨大模型幻觉面临的新挑战以及构建可信任大模型的重要性，培养学生对可信AI的责任感和使命感。让学生意识到他们作为未来的专业人士，有责任维护AI时代大模型输出内容的可信可靠，保障信息的安全与稳定，鼓励学生积极投身大模型研究，为应对不断变化的AI领域贡献智慧和力量。社会现实场景真实问题偏见往往是在模型训练过程中，从互联网上充斥着大量偏见观点的海量文本中潜移默化地吸收而来。互联网作为信息的大熔炉，包含了形形色色的观点与信息，而这些带有偏见的信息如同隐藏其中的“毒素”，被大模型在学习过程中吸收并内化。例如部分企业在选拔人才时，仅基于性别因素就对求职者做出不公平的评判，限制了某些性别的职业发展机会；一些新闻报道也会不自觉地带有偏见性视角，影响公众对事件的客观认知；而网络上频繁出现的仇恨性言论更是赤裸裸地展现了社会偏见。这些言论往往基于种族、宗教、性别等因素，对特定群体进行诋毁和攻击。讨论、作业和思考题1.什么是知识边界？知识边界有哪几个方面的限制2.曝光偏差是什么意思？3.什么是谄媚行为？4.Softmax函数的瓶颈是什么？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第二节大模型幻觉的产生根源1.数据因素导致的幻觉2.训练过程引发的幻觉3.推理过程产生的幻觉课堂互动设计案例讨论：在讲解数据偏见时，组织学生进行小组讨论。例如，讨论社会中有哪些常见的偏见，如果这些偏见参杂在训练数据中，会如何影响大模型的输出结果。板书设计大模型幻觉的产生根源 数据因素导致的幻觉1．模仿性虚假信息和社会偏见2．知识边界 3．低质量的训练数据 训练过程引发的幻觉 1．预训练阶段的幻觉 2．微调阶段的幻觉 3．对齐过程中的幻觉 推理过程产生的幻觉1．解码策略的不完善2．过度自信3．Softmax函数的瓶颈 4．推理的失败 备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（17）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第7章大模型的幻觉教学目的与要求通过本章学习，学生需系统掌握大模型“幻觉”现象的完整知识框架。具体包括：1.

定义与分类：准确理解幻觉的核心概念（如“模型生成看似合理但与事实、逻辑或上下文相悖的内容”），辨析其与普通模型错误的区别，掌握基于生成内容属性（事实性、忠实性）的分类体系；2.

产生根源：深入剖析数据、训练、推理三部分导致幻觉的机制，如数据中的模仿性虚假信息、训练中的对齐偏差、推理中的解码策略缺陷等，建立“数据污染-训练失准-推理失控”的因果链认知；3.

检测与抑制：掌握事实性幻觉的检索验证、不确定性评估等方法，以及忠实性幻觉的多模态检测技术，理解数据清洗、模型优化、解码增强等全链路抑制策略。最终要求学生能结合医疗、法律等场景案例，设计幻觉治理方案，并形成对技术伦理（如虚假信息传播风险）的批判性思考能力。教学重点与难点1.概念体系构建：围绕“定义-分类-根源-检测-抑制”逻辑链，重点解析幻觉的“三元特征”（反事实性、高置信度、隐蔽性）与“按内容属性分类法”；2.技术机理剖析：在根源层面，强调数据污染、训练目标冲突、推理缺陷的相互作用；在抑制层面，突出检索增强生成（RAG）对知识边界的突破、事实性解码对过度自信的约束等技术原理；3.方法论迁移：重点训练学生运用多级检测策略（如“证据检索+不确定性量化+大模型自检”组合）解决开放域问题的能力。难点：1.复杂因果关系辨析：如何区分数据噪声（如低质量语料）与训练策略（如过拟合）对幻觉的贡献度；2.技术方案权衡：理解检测方法中敏感性与特异性矛盾（如基于分类器的检测可能误杀合理创新）、抑制策略中效果与效率的平衡（如RAG增加时延）；3.动态场景适配：针对多轮对话中逐步偏离事实的“累积性幻觉”，需综合时序检测与动态抑制手段，这对学生系统思维提出较高要求。课程思政元素法律与道德教育：在讲解大模型幻觉的数据因素根源时，强调谣言、版权侵犯等行为违反法律法规和道德准则。通过引入实际案例，如输出违反法律的内容，让学生明白在网络空间任何利用大模型幻觉从事违法行为的活动都将受到法律制裁，培养学生的法律意识和道德责任感，使其在利用大模型中自觉遵守法律和道德规范。爱国主义教育：在介绍国内安全标准和组织时，突出我国在信息安全领域的努力和成就，激发学生的民族自豪感和爱国情怀。例如讲述我国自主研发的安全技术标准，以及相关组织在维护国家网络安全、保障信息主权方面的重要作用，鼓励学生为国家网络安全事业贡献力量。责任感与使命感培养：通过探讨大模型幻觉面临的新挑战以及构建可信任大模型的重要性，培养学生对可信AI的责任感和使命感。让学生意识到他们作为未来的专业人士，有责任维护AI时代大模型输出内容的可信可靠，保障信息的安全与稳定，鼓励学生积极投身大模型研究，为应对不断变化的AI领域贡献智慧和力量。社会现实场景真实问题在医疗健康领域，模型可能因幻觉生成错误诊疗建议（如虚构药物剂量或疗法），若未被及时检测，可能导致患者误诊甚至危及生命。讨论、作业和思考题1.证据检索的原理2.模型自我评估的原理3.基于熵的不确定性检测中总不确定性可以分为什么？教学方法及手段多媒体为主，板书、雨课堂为辅。教学内容设计第三节大模型幻觉的检测1.事实性幻觉的检测策略忠实性幻觉的检测策略课堂互动设计案例讨论：在讲解基于不确定性检测幻觉时，组织学生进行小组讨论。例如，讨论为什么可以用熵来衡量不确定性，除了熵还有哪些方法？板书设计大模型幻觉的检测事实性幻觉的检测策略1.证据检索2．不确定性评估忠实性幻觉的检测策略1．基于事实基础的检测2．基于分类器的检测3．基于问答的检测 4．基于不确定性的检测5．基于大模型的检测备注：课程组任课教师在实际授课时，可根据实际情况进行教学过程的详细设计。课程教案课次第（18）次（学时数：2）授课方式理论☑习题□实验£实践□其他□授课题目（教学章、节或主题）第7章大模型的幻觉教学目的与要求通过本章学习，学生需系统掌握大模型“幻觉”现象的完整知识框架。具体包括：1.

定义与分类：准确理解幻觉的核心概念（如“模型生成看似合理但与事实、逻辑或上下文相悖的内容”），辨析其与普通模型错误的区别，掌握基于生成内容属性（事实性、忠实性）的分类体系；2.

产生根源：深入剖析数据、训练、推理三部分导致幻觉的机制，如数据中的模仿性虚假信息、训练中的对齐偏差、推理中的解码策略缺陷等，建立“数据污染-训练失准-推理失控”的因果链认知；3.

检测与抑制：掌握事实性幻觉的检索验证、不确定性评估等方法，以及忠实性幻觉的多模态检测技术，理解数据清洗、模型优化、解码增强等全链路抑制策略。最终要求学生能结合医疗、法律等场景案例，设计幻觉治理方案，并形成对技术伦理（如虚假信息传播风险）的批判性思考能力。教学重点与难点1.概念体系构建：围绕“定义-分类-根源-检测-抑制”逻辑链，重点解析幻觉的“三元特征”（反事实性、高置信度、隐蔽性）与“按内容属性分类法”；2.技术机理剖析：在根源层面，强调数据污染、训练目标冲突、推理缺