生成式大模型项目实战课件 项目3设计数据安全防护架构-差分隐私与模型安全攻防实践

项目3

设计数据安全防护架构

——差分隐私与模型安全攻防实践目录生成式人工智能数据安全概念生成式人工智能数据安全威胁与风险生成式人工智能数据隐私和保护模型安全大模型的访问控制和认证拓展创新——实践中的AI对抗攻击与防御任务导入01任务导入01“奶奶漏洞”事件凸显了人工智能系统在伦理和安全性方面存在的潜在弱点。这一事件中，通过特定的提示词操纵AI生成不当内容，例如生成操作系统的激活码，暴露了加强AI模型安全性和伦理准则的迫切需求。尽管像OpenAI这样的组织已经采取了措施来修复已知的漏洞，但这一事件提醒我们，随着人工智能技术的快速发展，持续的安全审计、漏洞修复、身份验证的加强、实时监控、日志记录以及用户教育是确保AI系统安全稳定运行的关键。通过本章的阅读，读者能够对生成式人工智能的数据安全有更加清晰的认识，本章将通过一系列的任务实施来加深读者对人工智能的安全问题进行深入思考。任务1：分别从定义与风险、安全指导文件和语料方面的安全要求等方面对模型安全进行更加深入的理解，从而推动对人工智能数据安全法律的相关完善。任务2：从大模型的认证与评估和大模型的访问控制和实践两方面来加深读者对大模型安全问题的深入理解。任务3：通过对抗样本的攻击对AI系统设计的重要性，使得读者理解对抗性防御技术发展的必要性。生成式人工智能数据安全概念02生成式人工智能数据安全概念021.保护用户隐私确保大型人工智能模型的数据安全是维护用户隐私的关键，涉及数据脱敏、加密、严格的访问控制、透明的数据使用政策、法律遵从性、数据最小化原则、用户教育和安全审计等措施。2.维护模型完整性保护人工智能模型的参数和结构信息，以确保其准确性和稳定性，需要采取一系列措施，包括实施严格的访问控制、进行定期数据备份、应用完整性校验、设计有效的错误处理机制、制定灾难恢复计划，并确保所有保护措施符合法律和合规性要求。3.防止知识产权损失保护大型人工智能模型的数据安全是确保企业和研究机构的知识产权不受非法获取或复制的关键4.确保业务连续性对于依赖大型AI模型的组织来说，确保数据安全是保障服务连续性、维护业务运行和客户满意度的基础。生成式人工智能数据安全威胁与风险03生成式人工智能数据安全威胁与风险03大模型数据安全风险现状（1）数据泄露风险（2）模型攻击风险（3）模型滥用风险2.大模型数据安全风险影响因素（1）数据质量问题（2）模型架构问题（3）算法选择问题3.大模型数据安全风险应对措施（1）数据加密技术（2）模型安全防护（3）模型伦理审查生成式人工智能数据隐私和保护04生成式人工智能数据隐私和保护041.隐私保护技术为应对大数据环境下的隐私泄露问题，研究者们开发了多样的隐私保护技术。同态加密技术使数据即便在加密状态下也能进行操作，保证了数据在处理过程中的隐私安全。2.隐私保护模型在大数据时代背景下，隐私保护模型的研究正不断深入。k-匿名性和ε-差分隐私作为两种核心的隐私保护模型，各自针对不同的隐私保护需求提供解决方案。3.法律与政策法律和政策在数据隐私保护方面发挥着至关重要的作用。有研究提出，在民法典中明确个人信息权的独立地位，有助于加强对个人信息的法律保护。4.隐私保护策略在大数据的生命周期中，隐私保护策略需针对不同阶段定制。数据存储和处理阶段，重点在于采取加密、访问控制等措施来确保数据安全。生成式人工智能数据隐私和保护045.未来研究方向尽管目前对大模型下的数据隐私和保护已有诸多研究，但仍面临着不少挑战，未来的研究方向包括设计适应大数据特性的新型隐私保护模型、在保障隐私的同时增强数据可用性，以及制定有效的法律政策以强化数据隐私保护。6.差分隐私技术（1）差分隐私保护模型的优势（2）噪声添加机制（3）数据匿名化（4）本地差分隐私（5）优化数据可用性（6）面向特定应用的差分隐私保护方法（7）支持数据实用性和容错的方案7.k-匿名性和ε-差分隐私模型对比（1）k-匿名性（2）ε-差分隐私模型安全05模型安全051.定义与风险（1）数据溢出（2）IP泄露（3）数据训练（4）数据储存（5）依从性（6）合成数据（7）意外泄漏（8）人工智能滥用和恶意攻击模型安全052.语料来源安全要求（1）语料来源管理方面（2）不同来源语料搭配方面（3）语料来源可追溯方面（4）我国网络安全相关法律要求阻断的信息方面3.语料内容安全要求（1）训练语料内容过滤方面（2）知识产权方面（3）个人信息方面4.语料标注安全要求（1）标注人员方面（2）标注规则方面（3）标注内容准确性方面模型安全05大模型的访问控制和认证06大模型的访问控制和认证06大模型的访问控制实践（1）基于角色的访问控制（Role-BasedAccessControl，简称

RBAC）在大型模型系统中，实施基于角色的细粒度访问控制策略，通过为不同角色设定具体的权限，可以确保只有授权用户才能访问敏感数据或执行关键操作，从而提高系统的安全性和数据的保护。（2）基于属性的访问控制（Attribute-BasedAccessControl，简称ABAC）通过动态分析用户属性和资源属性来生成访问控制策略，可以增强系统的灵活性和可扩展性，确保访问控制策略能够适应不断变化的环境和需求，同时提供更为精确和个性化的访问权限管理。（3）机器学习与访问控制利用机器学习技术自动化生成访问控制策略，不仅可以降低因人工干预而产生的成本和错误率，还能提高策略生成的效率和准确性，使访问控制更加智能和适应性强。大模型的访问控制和认证062.大模型的认证与评估（1）安全评估体系建立系统化的安全评估体系对大模型进行全生命周期的安全评估，涵盖模型训练、部署、推理等关键阶段，可以确保从设计到退役的每个环节都符合安全标准，及时发现和修复潜在的安全漏洞，保障模型的稳定性和可靠性。（2）安全认证获得权威机构颁发的安全评定证书，能够显著提升大模型的信誉度和用户信任度，证明模型符合行业安全标准，增强用户对模型安全性的信心。（3）合规性评估依据《生成式人工智能服务管理暂行办法》等相关法律法规对大模型进行内容合规性评估，确保其生成的回复内容不违反法律规定，保障内容的合法性、安全性和社会责任，是维护用户权益和社会秩序的重要措施。拓展创新——实践中的AI对抗攻击与防御076.1越狱prompt设计07（1）互相竞争的目标这是指模型的能力（比如「应始终遵从命令」）与安全目标相冲突的情况。利用互相竞争的目标的越狱攻击例子包括：前缀注入：要求模型开始时必须使用肯定性的确认语句。拒绝抑制：为模型提供详细的指令，让其不要以拒绝的格式进行响应。风格注入：要求模型不使用长词汇，这样一来模型就无法进行专业性写作从而给出免责声明或解释拒绝的理由。其余：角色扮演成DAN（现在可以做任何事）、AIM（总是很聪明且不择手段）等等。（2）失配的泛化这是指安全训练无法泛化到其具有能力的领域。当输入位于模型的安全训练数据分布之外（OOD），但又位于其宽泛的预训练语料库范围内时，就会出现这种情况，包括：特殊编码：使用Base64编码来构建对抗性输入。字符变换：ROT13密码、火星文或脑残体（用视觉上相似的数字和符号替换字母）、摩尔斯电报码。词变换：PigLatin（用同义词替换敏感词，比如用「窃」替换「偷」）、负载拆分（即所谓的tokensmuggling，将敏感词拆分成子字符串）。6.2语言编译下的打靶测试07人类语言的复杂性要求大型语言模型在理解和生成方面不断进步，而充分理解语言的行为规范和价值观立场是大型语言模型发展中一个持续的挑战。本单元的核心任务是熟悉复旦大学团队开发的JADE打靶测试平台，掌握语言树的概念，以及运用这些工具和理论在测试平台上进行实践，以评估、学习和提升大型语言模型的语言能力，确保它们在遵循正确的行为规范和价值观立场的同时，实现更精准和自然的语言处理。通过访问JADE平台，可以深入了解语言编译过程中模型的反馈机制。在这个平台上，点击“变异”按钮，您将能够观察到语法树的变化，这是一个展示语言结构如何根据