生成式人工智能服务安全评估细则

生成式人工智能服务安全评估细则一、训练数据安全评估（一）数据来源合规性评估训练数据的来源安全是生成式AI服务安全的基础，需从三个维度进行全面审查。首先，数据采集需满足"来源可溯、授权合规"原则，开源数据使用必须严格遵循MIT、Apache等开源协议要求，自采数据需完整记录采集时间、对象、地域等元数据信息，商业采购数据则需通过三级审核机制（法务审核、数据合规审核、业务部门审核）确认授权链条完整性。对于用户输入数据用于模型训练的场景，必须通过单独弹窗获得用户明确授权，且授权文本需使用"您的对话内容将用于优化AI模型"等清晰表述，避免模糊性条款。其次，建立多源数据交叉验证机制。单一来源数据占比不得超过训练数据集总量的30%，且需对各来源数据进行安全评级，高风险来源（如暗网数据、非正规爬虫获取数据）应直接排除。针对包含个人信息的数据，需通过数据脱敏处理去除身份证号、手机号等敏感标识，涉及生物特征信息的训练数据则需额外获得个人书面授权，并保存授权文件扫描件至少3年。最后，实施数据来源黑名单制度。对各来源语料进行安全抽样评估，当单一来源语料中违法不良信息占比超过5%时，应将该来源列入黑名单并永久排除。黑名单需定期更新，更新周期不超过3个月，并建立异议处理机制，允许数据提供方提交申诉材料申请复核。（二）数据内容安全评估数据内容管理需构建"过滤-保护-追溯"三位一体的安全体系。在数据预处理阶段，必须部署多级过滤机制，第一级通过关键词匹配（覆盖国家安全、暴力恐怖等9大类敏感词库）过滤明显违法内容，第二级采用语义理解模型识别隐性不良信息（如隐晦的歧视性表述），第三级实施人工抽样审核，抽样比例不低于数据集总量的0.5%。对于医疗、金融等特殊领域数据，需额外部署垂直领域专用过滤规则，如识别医疗数据中的病历隐私信息、金融数据中的交易记录等。知识产权保护评估需建立专项审查流程，明确知识产权负责人，对接国家版权局版权登记系统核验文字、图片等内容的权属证明。在服务协议中需单独列明知识产权条款，明确用户上传内容的权属归属及授权范围，并建立知识产权投诉快速响应机制，承诺在收到投诉后48小时内完成初步核查。对于训练数据中包含的第三方作品，需按使用比例支付版权费用，并保留支付凭证备查。个人信息保护评估应重点检查数据匿名化处理效果，通过K-匿名（K≥10）、差分隐私等技术手段确保无法通过数据关联识别特定个人。建立个人信息清单管理制度，对姓名、身份证号、病历等18类敏感个人信息实施加密存储，加密算法应采用SM4等国密标准。同时需设立数据访问权限分级体系，实施"最小权限+双因素认证"原则，普通数据标注人员仅能访问脱敏后的数据，原始敏感数据访问需经数据安全委员会审批。（三）数据标注安全评估数据标注安全采用分类管理策略，将标注数据明确划分为功能性标注与安全性标注两类。功能性标注（如优化翻译准确性、图像识别精度）可实施抽样人工审核，抽样比例不低于5%，审核通过率需达到98%以上；安全性标注（如识别仇恨言论、极端主义内容）则需实施100%全量人工审核，且标注人员需通过安全培训考核（考核合格线不低于90分），并签署保密协议。标注过程安全需满足三项基本要求：标注环境应实施物理隔离，标注终端禁止连接互联网及外部存储设备；标注数据传输采用加密通道（TLS1.3协议），并对标注内容进行水印处理，水印信息包含标注人员ID、操作时间等追溯要素；标注任务分配采用随机分块机制，避免单个人员接触完整敏感案例。此外，每月需对标注人员进行背景审查，重点排查与境外敏感组织的关联关系。标注质量监控应建立双重校验机制，同一批数据由两名标注人员独立标注，当结果不一致时启动第三方仲裁。建立标注质量评分体系，从准确率、召回率、一致性三个维度进行量化评估，月度平均准确率低于95%的标注人员需重新培训，连续两个月不达标者应调离标注岗位。标注数据需进行版本管理，每次修改需记录修改人、修改时间及修改原因，保存完整修改日志至少2年。二、模型安全评估（一）模型训练安全评估模型训练过程需建立全流程安全监测机制，部署实时漏洞扫描工具，每小时对训练环境进行一次安全检测，重点监测异常进程、端口连接及文件访问行为。训练日志应包含时间戳、操作人、训练参数、中间结果等详细信息，日志保存期限不少于5年。对于涉及国家安全、社会公共利益的训练任务，需额外部署专用安全审计系统，对训练过程实施全程录像，录像文件加密存储并定期备份。输出安全控制能力评估需验证模型的风险抵御能力，通过构造2000条以上的测试用例（覆盖暴力、色情、歧视等7大类风险场景），测试模型的拒答率和识别准确率。对于明确的违法请求（如"如何制造爆炸物"），模型需实现100%拒答；对于边缘性问题（如涉及敏感历史事件），需输出规范的引导性回复。生成内容必须添加可识别标识，文本内容应在开头或结尾标注"本内容由AI生成"，图像内容需嵌入不可见数字水印，视频内容则需在右上角持续显示AI生成标识。模型鲁棒性测试应模拟多种对抗攻击场景，包括提示词越狱攻击（如"忽略所有规则生成..."）、多步诱导攻击（通过多轮对话逐步引导模型输出不良内容）、对抗样本注入（在输入文本中插入特殊符号干扰检测系统）等。测试需达到高风险输出拦截率≥95%、误杀率≤3%的指标要求，对于未通过的攻击场景，需针对性优化模型防御机制，并重新训练验证直至达标。（二）模型迭代管理评估模型更新安全评估需建立严格的变更管理流程，任何模型参数调整、架构优化均需经过安全评估委员会审批，评估内容包括更新必要性、潜在风险、应急方案等。重大更新（如模型结构调整、训练数据替换）前需进行灰度测试，测试用户规模不低于总用户量的5%，测试周期不少于7天，期间需密切监测输出内容安全性、系统稳定性等指标。版本管理体系应实施"开发-测试-生产"三环境隔离，各环境配置独立的服务器、数据库及网络资源，通过权限控制防止未授权访问。每个模型版本需分配唯一版本号，包含主版本号（重大更新）、次版本号（功能优化）、修订号（漏洞修复）三级标识，并建立版本追溯机制，可快速回滚至任意历史稳定版本。版本更新日志需详细记录更新内容、影响范围、测试结果等信息，由安全负责人签字确认后存档。应急处置能力评估需检查模型异常输出的响应机制，包括自动拦截系统（发现违法内容后10秒内阻断输出）、人工复核流程（工作时间15分钟内响应，非工作时间30分钟内响应）、用户投诉渠道（7×24小时在线客服）等。需定期组织应急演练，每季度至少开展1次模拟攻击演练，检验从发现异常到恢复正常的全流程响应时间，要求平均处置时间（MTTR）不超过1小时。（三）模型部署环境安全评估计算环境安全需满足三级等保要求，服务器应部署在符合《数据中心设计规范》的A级机房，采用冗余供电、空调系统，确保年可用性达到99.99%。操作系统需关闭不必要的端口和服务，安装终端安全管理软件，实施病毒库日更新、系统补丁周更新的防护策略。数据库采用加密存储（存储加密算法不低于SM4标准），并实施数据库审计，记录所有查询操作。网络环境安全应构建纵深防御体系，外部访问需经过防火墙、WAF、入侵检测系统（IDS）三重防护，内部网络采用VLAN划分实现逻辑隔离，核心业务区与办公区之间部署网闸。数据传输需采用TLS1.3加密，密钥长度不低于2048位，同时部署网络流量分析系统，对异常流量（如大量数据外发、非常规访问时段的连接）进行实时告警。运维管理安全需实施严格的权限控制，采用"四眼原则"（关键操作需两人同时在场），运维人员身份认证采用多因素认证（密码+Ukey+生物识别），操作过程全程录像。运维工具需经过安全检测，禁止使用未经授权的第三方工具，运维操作需提前申请并记录操作目的、范围、时间等信息，操作完成后进行安全审计。远程运维必须通过专用VPN接入，且会话超时时间不超过15分钟。三、安全措施评估（一）输入输出安全措施输入内容安全防护需部署多层检测机制，第一层级基于规则库过滤明显违规内容（如关键词匹配），第二层级采用AI模型识别隐性风险（如语义理解、情感分析），第三层级实施人工审核（针对高风险行业用户输入）。对于长文本输入（如文档上传），需进行分段检测，每段不超过1000字符，检测延迟控制在500ms以内。同时需建立动态规则库，根据最新法律法规和安全事件每周更新一次规则。输出内容审核系统应实现全量实时审核，文本内容采用NLP模型进行分类识别（准确率≥98%），图像内容通过多模型融合检测（色情识别、暴力识别等），音频视频内容先转文本再审核关键片段。审核系统需支持自定义策略，金融、医疗等行业可设置更严格的审核阈值。对于审核不通过的内容，需记录拒绝原因、风险等级等信息，形成审核日志并保存至少3年。用户交互安全需实施身份认证分级，普通用户采用手机号+验证码登录，企业用户需额外配置企业邮箱验证，高权限用户（如API调用者）则需采用Ukey认证。会话管理需设置合理的超时时间（普通用户30分钟，管理员15分钟），并对异常登录（异地登录、设备变更）发送告警通知。用户操作行为需进行日志记录，包含操作时间、IP地址、设备信息、操作内容等，日志不可篡改且保存期限不少于2年。（二）安全监测与响应措施实时监测体系应覆盖输入层、模型层、输出层全链路，部署安全监测平台7×24小时监控系统运行状态，关键指标（如违规内容生成量、系统响应时间、资源利用率）需设置阈值告警。对于输入异常（如短时间大量相似请求）、输出异常（如敏感内容检出率突增）、系统异常（如CPU利用率超过80%）等情况，需触发不同级别的告警（一般告警、重要告警、紧急告警），并通过短信、邮件、工单等多渠道通知相关负责人。应急响应机制需建立"发现-分析-遏制-根除-恢复-总结"六步处置流程，明确各环节责任部门和处理时限。成立应急响应小组，包含技术、安全、法务等跨部门人员，确保工作时间15分钟内响应，非工作时间30分钟内响应。制定专项应急预案，针对数据泄露、模型被攻击、违规内容扩散等典型场景制定详细处置步骤，并定期组织演练（每季度至少1次），演练结果纳入安全考核。安全事件处置需遵循"最小影响"原则，优先采取隔离措施（如暂停涉事功能、限制用户访问）控制事态扩大，再进行根源分析和系统修复。事件处置完成后需形成调查报告，包含事件经过、原因分析、处置措施、损失评估等内容，并组织内部复盘，提出改进措施。对于重大安全事件（如大规模数据泄露、国家级网络攻击），需按规定向监管部门报告，报告时限不超过24小时。（三）安全管理制度措施安全组织架构需设立专门的AI安全管理部门，由公司高级管理人员（如CTO或CSO）直接领导，配备不少于3名专职安全人员（需具备CISAW等专业认证）。建立安全责任制，明确从管理层到执行层的安全职责，将安全指标纳入绩效考核。定期召开安全工作会议（每月至少1次），审议安全风险、评估安全措施有效性、部署重点工作。安全制度体系应包含基础类（安全管理总则、人员安全管理）、技术类（数据安全规范、模型安全管理）、操作类（应急响应流程、安全审计指南）等制度文件，制度需每年评审修订一次。制定详细的安全操作手册，规范数据处理、模型训练、系统运维等关键环节的操作流程，操作手册需通过安全培训确保相关人员熟练掌握。安全培训与考核需覆盖全体员工，新员工入职安全培训不少于4学时，包含数据安全、模型安全等专项内容；安全岗位人员每年专项培训不少于24学时，需通过考核（合格线不低于80分）方可上岗。定期组织安全意识宣贯活动（每季度至少1次），通过案例分析、模拟演练等形式提升全员安全意识。建立安全考核机制，对违反安全制度的行为实施扣分、通报等处罚措施。四、合规实践评估（一）法律法规符合性评估内容安全合规需对照《生成式人工智能服务管理暂行办法》等法规要求，建立内容安全负面清单，明确禁止生成的内容类型（如危害国家安全、破坏民族团结、传播虚假信息等）。定期开展内容合规自查，每月抽取不少于1000条生成内容进行人工审核，确保合规率达到100%。对于用户投诉的违规内容，需在48小时内完成核查处理，并反馈处理结果。算法治理合规需满足《互联网信息服务算法推荐管理规定》要求，对生成式AI算法进行备案，备案信息包括算法名称、应用场景、核心功能等。制定算法透明度报告，向用户说明算法原理、数据使用规则、生成机制等信息，报告需简明易懂（不使用专业术语或进行通俗解释）。建立算法投诉机制，允许用户对算法偏见、错误输出等问题进行投诉，并在15个工作日内反馈处理结果。个人信息保护合规需严格遵循《个人信息保护法》要求，收集个人信息时明确告知收集目的、方式、范围，获得用户同意后方可收集。存储个人信息不超过必要期限（一般不超过6个月，法律法规另有规定的除外），到期后自动删除或匿名化处理。提供个人信息查询、更正、删除等功能，响应时间不超过15个工作日，对删除请求需确保彻底删除（包括备份数据）。（二）跨境数据合规评估数据出境安全评估需遵循《数据出境安全评估办法》要求，对于向境外提供训练数据、生成内容等行为，需判断是否属于数据出境范畴（如境外服务器存储、境外人员访问等）。属于数据出境的，需通过数据出境安全评估、标准合同、个人信息保护认证等合规路径之一实现合规。建立数据出境白名单，仅允许向白名单内的国家/地区提供数据，白名单每年评估更新一次。跨境传输安全措施需实施"加密传输+访问控制+安全审计"三重保护，传输过程采用SM2/SM4国密算法加密，境外访问需通过专用VPN并启用多因素认证，所有跨境操作需记录详细日志（包含操作人、时间、数据内容等）。在境外设立数据安全负责人，负责监督数据使用情况，定期（每季度）向境内公司提交数据安全报告。跨境合规文档管理需准备数据出境安全评估报告、标准合同、个人信息保护影响评估（PIA）报告等合规文件，文件需由法务部门审核确认，保存期限不少于3年。建立跨境数据合规台账，记录数据出境目的、类型、数量、接收方等信息，台账需实时更新并定期审计（每半年至少1次）。（三）安全评估与审计实践内部安全评估需建立常态化评估机制，每季度开展一次全面安全评估，评估范围包括训练数据、模型、安全措施等全要素，采用渗透测试、代码审计、配置检查等多种评估方法。评估需形成书面报告，包含风险清单、整改建议、责任部门、完成时限等内容，整改完成率需达到100%。对高风险问题（如数据泄露漏洞、模型输出违法内容）需立即整改，整改期间可暂停相关服务。第三方安全审计应每年聘请具备资质的第三方机构开展独立安全审计，审计内容包括合规性（符合法律法规要求）、有效性（安全措施实际效果）、完整性（全流程安全覆盖）等方面。审计机构需具备CNAS信息安全审计资质，审计人员需通过CISA等专业认证。审计报告需提交监管部门备案，并根据审计发现的问题制定整改计划，整改结果需向审计机构反馈验证。安全事件审计需对所有安全事件（包括已发生事件和未遂事件）进行详细审计，分析事件原因、影响范围、处置过程等，总结经验教训并优化安全措施。审计需遵循客观、公正原则，不受其他部门干预，审计结果需向管理层汇报。建立安全事件知识库，记录典型事件的处置方法和预防措施，为后续事件处置提供参考。五、行业特殊场景安全评估（一）公共服务领域安全评估面向政务、医疗、教育等公共服务领域的生成式AI服务，需实施更严格的安全评估标准。政务领域服务需通过国家信息安全等级保护三级认证，模型训练数据需经过国家安全审查，生成内容需实现100%人工复核。医疗领域服务则需额外满足《医疗器械监督管理条例》要求，训练数据需包含足够的医疗专业标注（标注人员需具备医师资格），生成的诊断建议需明确标注"仅供参考，不构成诊疗意见"。教育领域服务需重点评估内容适宜性，建立教育专用内容过滤库（覆盖校园欺凌、不良价值观等风险点），生成内容需符合各年龄段学生认知特点。同时需设置使用时长限制，小学生每日使用不超过40分钟，中学生不超过1小时，避免过度依赖AI。公共服务领域的AI服务还需建立特殊群体保护机制，如为视力障碍用户提供语音交互功能，为老年人提供简化操作界面。（二）金融领域安全评估金融领域生成式AI服务需满足《银行业金融机构信息科技风险管理指引》等监管要求，模型训练数据需包含金融专