大模型应用的合规与安全

2026/06/20大模型应用的合规与安全汇报人：合规风控部目录大模型技术发展与合规挑战全球监管框架与政策趋势核心合规风险领域识别数据安全与隐私保护机制内容安全与伦理治理体系企业合规实践路径与建议010203040506大模型技术发展与合规挑战01大模型技术演进与产业应用参数规模突破从亿级到万亿级参数，模型能力实现质的飞跃多模态融合文本、图像、音频、视频跨模态理解与生成能力成熟推理能力提升复杂逻辑推理、代码生成、专业问答能力显著增强智能客服7×24小时自动化服务，响应效率提升60%以上内容创作文案生成、设计辅助、视频制作等创意场景广泛落地知识管理企业知识库智能检索与问答，知识利用率大幅提升研发辅助代码生成、测试自动化、技术文档撰写等场景深度应用合规挑战本质技术能力边界与监管规则边界的不匹配技术演进与产业应用需同步关注合规风险大模型应用的典型合规风险训练数据合规数据来源合法性、授权范围、版权归属等问题数据泄露风险模型可能记忆并泄露训练数据中的敏感信息跨境数据流动模型训练与推理涉及数据跨境传输合规要求虚假信息生成模型可能生成误导性、虚假性内容有害内容输出暴力、歧视、违法等有害内容的生成风险知识产权侵权生成内容可能侵犯他人著作权、商标权等算法歧视模型决策可能存在性别、种族、年龄等偏见透明度不足黑箱模型难以解释决策逻辑与依据责任归属模糊模型错误决策的责任主体难以界定全球监管框架与政策趋势02欧盟AI法案：风险分级监管不可接受风险社会评分、实时远程生物识别全面禁止高风险应用教育招生、招聘筛选、信用评估严格合规有限风险聊天机器人、内容生成透明度义务最小风险游戏、垃圾邮件过滤无强制要求建立风险管理体系持续识别与降低风险数据治理机制确保训练数据质量与合法性技术文档编制记录系统设计、开发、测试全过程自动化日志记录保存运行记录至少6个月人工监督机制确保人类可有效控制AI系统违规处罚最高可达3500万欧元或全球年营业额7%美国AI监管：行业自律与立法并行AI权利法案蓝图提出安全有效系统、算法歧视保护、数据隐私、知情权、人工替代、问责制六大原则行政命令要求高风险AI系统进行安全测试与评估NISTAI风险管理框架提供自愿性AI风险管理指南加州要求AI系统透明度，生成内容需标注AI生成标识纽约市就业决策AI工具需进行偏见审计并公开结果科罗拉多州保险业AI决策需进行算法审计企业承诺OpenAI、Google、Microsoft等企业承诺进行红队测试行业联盟制定AI伦理准则与最佳实践指南第三方审计第三方审计机构兴起，提供AI系统合规评估服务中国AI监管体系：专项立法先行《生成式人工智能服务管理暂行办法》2023年8月实施，明确生成式AI服务提供者责任《深度合成管理规定》要求深度合成内容添加标识，保障公众知情权《算法推荐管理规定》建立算法备案、安全评估、透明度等制度三部基础法律《网络安全法》《数据安全法》《个人信息保护法》构建数据安全与隐私保护基础框架算法备案具有舆论属性或社会动员能力的算法需向网信部门备案安全评估生成式AI服务上线前需进行安全评估内容审核建立人工与机器结合的内容审核机制用户权益保护提供投诉举报渠道，保障用户知情权与选择权训练数据合规确保训练数据来源合法、内容健康核心合规风险领域识别03训练数据合规风险版权侵权未经授权使用受版权保护的作品进行训练数据爬取违规违反网站robots协议或服务条款爬取数据个人信息处理不当未经同意收集、使用个人信息数据偏见训练数据集存在性别、种族、地域等偏见数据污染恶意数据注入导致模型输出异常数据时效性过时数据导致模型输出错误或过时信息建立数据来源审查机制确保数据获取合法合规实施数据清洗与质量评估剔除低质量、有偏见数据建立数据血缘追溯体系记录数据来源与处理过程对敏感数据进行脱敏处理降低隐私泄露风险模型推理阶段风险提示注入攻击恶意用户通过特殊提示绕过安全限制越狱攻击诱导模型输出有害内容或执行危险操作隐私推断攻击通过精心设计的输入推断训练数据信息幻觉问题模型生成看似合理但实际错误的信息有害内容生成暴力、歧视、违法等有害内容输出知识产权侵权生成内容与他人作品实质性相似输入过滤建立敏感词库与语义识别机制，拦截恶意输入输出审核实时监测模型输出，拦截有害内容安全对齐通过RLHF等技术提升模型安全性与可控性人工审核对高风险场景实施人工复核机制算法歧视与公平性风险招聘场景对特定性别、年龄、种族群体系统性不利信贷场景对特定群体设置不公平的信用评分标准司法场景对特定群体产生更高的再犯风险预测值医疗场景对特定群体的诊断准确率显著偏低核心症结训练数据偏见标签偏见模型架构局限历史数据本身反映社会既有偏见人工标注过程中引入主观偏见模型优化目标未充分考虑公平性公平性评估指标体系定期检测模型偏见去偏见算法在训练或推理阶段降低偏见多元化团队参与模型开发与评估歧视投诉响应机制及时纠正不公平决策数据安全与隐私保护机制04数据全生命周期安全管理数据采集阶段明确数据采集目的、范围与方式，确保合法合规获取数据主体明示同意，保障知情权与选择权建立数据分类分级制度，识别敏感数据与核心数据数据存储阶段采用加密存储技术，防止数据泄露与篡改实施访问控制，限制数据访问权限建立数据备份与灾难恢复机制数据处理阶段采用隐私计算技术，实现数据可用不可见实施数据脱敏，降低敏感信息泄露风险建立数据处理日志，记录所有操作行为数据销毁阶段建立数据保留策略，明确数据保存期限采用安全删除技术，确保数据彻底销毁记录销毁过程，留存审计证据个人信息保护合规要点合法性基础同意获取个人信息主体明示同意，确保自愿、明确合同履行为订立或履行合同所必需法定义务履行法定职责或法定义务所必需公共利益为公共利益实施新闻报道、舆论监督等个人信息主体权利保障知情权告知个人信息处理目的、方式、范围等访问权提供个人信息查阅与复制渠道更正权提供个人信息更正与补充机制删除权在特定情形下删除个人信息撤回同意权允许主体随时撤回同意敏感个人信息特殊保护敏感信息需单独同意需单独同意的敏感信息类型生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹等敏感信息需单独同意更严格的保护措施采取加密、去标识化等更严格的保护措施大模型训练与推理需严格遵守个人信息保护法规跨境数据流动合规数据出境安全评估关键信息基础设施运营者、处理大量个人信息的数据处理者需进行安全评估个人信息保护认证通过国家网信部门认证机构进行认证标准合同与境外接收方签订标准合同并备案充分性认定传输至欧盟委员会认定的具有充分保护水平的国家标准合同条款采用欧盟委员会批准的标准合同条款约束性企业规则跨国企业内部数据传输规则优先选择本地化部署避免数据跨境传输建立数据出境风险评估机制识别跨境数据流动场景完善跨境数据传输合同条款明确双方权利义务建立跨境数据传输日志留存合规证据数据安全技术措施数据加密技术传输加密采用TLS/SSL协议保护数据传输安全存储加密采用AES等强加密算法保护存储数据同态加密支持加密状态下进行计算，保护数据隐私隐私计算技术联邦学习数据不出本地，仅传输模型参数安全多方计算多方协同计算，各自数据保密差分隐私在数据中添加噪声，防止个体信息泄露访问控制技术身份认证多因素认证、生物特征认证等权限管理基于角色的访问控制（RBAC）最小权限原则仅授予完成工作所需的最小权限安全审计技术日志记录记录所有数据访问与操作行为异常检测实时监测异常访问行为审计追溯支持事后审计与责任追溯内容安全与伦理治理体系05内容安全审核机制事前审核对训练数据进行清洗与过滤，剔除有害内容事中审核实时监测模型输出，拦截有害内容事后审核对生成内容进行抽样检查与用户反馈处理技术核心关键词过滤建立敏感词库，拦截包含敏感词的内容语义理解利用NLP技术识别有害内容的语义特征多模态审核对文本、图像、音频、视频等多模态内容进行审核人工复核对机器审核存疑内容进行人工判断禁止类型明确禁止内容类型：暴力、歧视、违法、虚假等分级标准建立分级审核标准，区分不同风险等级内容定期更新定期更新审核标准，适应新的风险形态AI伦理治理框架伦理原则体系以人为本AI应服务于人类福祉，尊重人的尊严与权利公平公正避免歧视与偏见，保障不同群体公平对待透明可解释AI决策过程应可理解、可解释安全可控AI系统应安全可靠，人类应保持控制权隐私保护尊重并保护个人隐私与数据安全责任担当明确AI系统各相关方责任治理机制设计伦理委员会设立跨部门伦理审查机构伦理影响评估在AI系统上线前进行伦理风险评估伦理培训对AI开发与运营人员进行伦理培训利益相关方参与吸纳用户、专家、公众参与伦理治理伦理文化建设融入价值观将伦理原则融入企业价值观与行为准则举报响应机制建立伦理问题举报与响应机制伦理实践报告定期发布AI伦理实践报告，接受社会监督算法透明度与可解释性透明度要求算法基本信息算法原理、功能、应用场景决策逻辑影响决策结果的主要因素与权重数据来源训练数据的基本情况与来源局限性说明算法的适用范围与局限性可解释性技术全局解释解释模型整体行为与决策逻辑局部解释解释单个预测结果的依据特征重要性识别影响决策的关键特征可视化工具通过图表等方式直观展示决策过程监管合规要求欧盟AI法案要求高风险AI系统提供充分透明度中国算法推荐管理规定要求提供算法基本原理说明美国AI权利法案要求公众了解AI系统如何影响他们生成内容标识与溯源显性标识可见AI生成标识中国《深度合成管理规定》隐性标识元数据嵌入技术欧盟AI法案水印技术数字水印嵌入美国部分州法规标识要求在生成内容中添加可见的AI生成标识在内容元数据中嵌入不可见的标识信息在图像、视频等内容中嵌入数字水印标识内容生成该内容的AI系统名称或标识生成时间与版本信息内容提供者信息溯源机制建立生成内容数据库，记录所有生成内容及其元数据提供内容验证服务，允许用户查询内容是否由AI生成建立内容追溯链条，支持从最终内容追溯到原始生成记录法规要求中国《深度合成管理规定》要求添加显著标识欧盟AI法案要求AI生成内容应可被检测美国部分州要求AI生成内容进行标注企业合规实践路径与建议06合规治理体系构建决策层董事会或高管层负责AI合规战略与重大决策管理层合规部门牵头，技术、业务、法务等部门协同执行层各业务单元负责具体合规措施落地AI伦理准则明确企业AI应用的伦理底线与原则数据管理制度规范数据采集、存储、使用、销毁全流程算法管理制度建立算法开发、测试、上线、运营全生命周期管理应急响应制度建立AI安全事件应急响应机制合规审查在AI系统设计、开发、测试、上线各阶段嵌入合规审查风险评估定期进行AI合规风险评估，识别新风险审计监督建立内部审计机制，监督合规制度执行合规风险评估与应对5大风险评估维度法律合规风险违反法律法规的可能性与后果数据安全风险数据泄露、滥用、跨境传输等风险内容安全风险有害内容生成、虚假信息传播等风险伦理风险算法歧视、隐私侵犯、责任归属等风险声誉风险AI应用不当对企业声誉的影响风险评估方法场景分析识别AI应用场景及潜在风险点影响评估评估风险发生的可能性与影响程度差距分析对比现有措施与合规要求的差距压力测试模拟极端情况下的风险暴露风险应对策略风险规避停止或调整高风险AI应用风险降低采取技术与管理措施降低风险风险转移通过保险等方式转移风险风险接受对低风险事项接受并持续监控合规技术能力建设技术能力是合规落地的重要保障安全技术能力数据安全技术：加密、脱敏、访问控制等内容安全技术：内容审核、有害内容识别等模型安全技术：对抗攻击防御、模型鲁棒性提升等隐私保护技术：联邦学习、差分隐私、安全多方计算等合规管理技术数据血缘追溯：记录数据来源与流转路径算法审计工具：检测算法偏见与公平性问题合规监控平台：实时监测AI系统合规状态日志审计系统：记录所有操作行为，支持审计追溯技术能力建设路径建立AI安全技术团队提升自主技术能力引入第三方安全工具快速提升能力与高校研究机构合作跟踪前沿技术发展参与行业标准制定提升行业影响力供应商管理合规供应商管理合规企业使用第三方大模型服务时，需加强供应商合规管理合规资质供应商是否具备必要的合规资质与认证技术能力供应商的技术安全措施是否充分数据保护供应商的数据保护政策与实践是否合规服务水平协议合同条款是否明确双方权利义务数据所有权明确训练数据与生成内容的归属数据使用限制限制供应商对数据的使用范围安全义务明确供应商的安全保护责任审计权利保留对供应商进行审计的权利违约责任明确违约情形与责任承担持续监督机制定期评估、合规报告、审计与退出机制合规培训与文化建设01管理层战略·监管·治理02技术人员数据·算法·安全03业务人员合规·风险·应急04全员伦理·基础意识培训体系设计管理层培训AI合规战略、监管趋势、治理责任技术人员培训数据安全、算法伦理、安全技术业务人员培训合规要求、风险识别、应急处理全员培训AI伦理意识、合规基础知识培训内容模块法律法规国内外AI相关法律法规解读合规要求企业内部合规制度与流程案例学习典型违规案例分析与警示实操演练合规风险识别与应对演练文化建设措施绩效激励将合规纳入绩效考核，建立激励约束机制举报渠道建立合规问题举报渠道，鼓励员工主动报告标杆树立定期发布合规实践案例，树立合规标杆氛围营造营造"