大模型安全治理与评测体系化研究与实践

大语言模型定制、部署大语言模型定制、部署“人工智能+”治理能力提到：加快推动人工智能赋能网络空间治理，强化信息精准识别、态势主动研判、风险实时处置等能力。“人工智能+”治理能力提到：加快推动人工智能赋能网络空间治理，强化信息精准识别、态势主动研判、风险实时处置等能力。“人工智能+”全球合作要求：共同研判、积极应对人工智能应用风险，确保人工智能发展安全、可靠、可控。ChatGPT意识形态问题AI操纵工业机器的安全问题AI诱导未成年人错误倾向AI幻觉误导公众认知品配送中心发生惨剧，智能机械臂将2025年2月21日，一组关于80后死亡率的数据在网上引发广泛关注，号称“截至2024年末，80后死亡率突破5.2%“品配送中心发生惨剧，智能机械臂将2025年2月21日，一组关于80后死亡率的数据在网上引发广泛关注，号称“截至2024年末，80后死亡率突破5.2%“，这一表述与事实不符，严重误导公众认知。AI制造虚假新闻危害社会稳定2024年4月，一辆运钞车因占道停留，被交警发现后请离。违法人员尚某某使用AI生成标题为《一场惊心动魄的"钞票大战"巴中市警民对峙引发轰动谁将成为胜利者》的虚假信息，并在某网络平台发布，误导网民，引发社会恐慌，扰乱公共秩序AI伪造公众人物欺诈问题2024年12月，央视报道AI假冒名人张文宏、雷军等进行直播带货，给个人和消费者带来极大困扰和安全隐患，引发社会广泛关注AI系统漏洞的安全问题2024年11月，小米SU7自动泊车出现系统漏洞，发生70多起自动泊车AI模型的恶意攻击问题AIAI风险分为：技术本身（幻觉/意识形态/算法歧视/失控）和技术应用（非法/滥用）两类为推动为推动负责任的AI安全系统构建及应用落地，科大讯飞牵头清华大学、中国科大等单位筹建人工智能安全实验室其AI安全与治理实验室，专注于跨计算机、法律与伦理的相关研究，主要研究方向是人工智能伦理、焦AI安全治理标准和伦理规则、研发体系化技术工具支撑提升治理水平、促进构建“政产学研用”多方协大模型安全风险的根源无监督语料可能存在“污数据”人类反馈数据强化学习强化学习Prompt数据SFT训练SFT训练无监督数据预训练预训练著名诗人陆游的《卧春》。安全运营与主动防御生成式人工智能服务安全运营体系生成式人工智能服务安全评测体系AI系统边界防护（安全围栏）策略模型本体安全治理样本对抗等）跨领域跨部门风险管理体系跨领域跨部门风险管理体系•大模型对预训练高质量语料原则：宁缺毋滥，因为语料已足•具体要求包括：只需要中英文、是长文本、最好是出版型高质量文本、不涉及个人隐私、不能混入非法数据。•为此，实践中研发了语种判别器、质量判别器、隐私判别器和安全判别器，构建了完整的清洗流程。大模型针对网页数据的清洗流程一、语种判别器非法网站黑名单过滤2篇章级过滤3过滤低质量篇章4过滤含隐私数据篇章5过滤含非法数据篇章二、质量判别器三、隐私判别器四、安全判别器隐私判别器>基于历史积累的200多万句含有人名的标注语料，构建了基于深度神经网络的实体识别模型(350M)，基于识别结果进行规则判断隐私判别器>基于历史积累的200多万句含有人名的标注语料，构建了基于深度神经网络的实体识别模型(350M)，基于识别结果进行规则判断，中文>对于一个篇章，如果在连续的30个Token内出现人名，同时出现了电话、QQ号、邮件地址、身份证号、银行卡号等信息中的任意1类及以.'语种判别器语种判别器历史积累的包含60个语种的多语种翻译数据构建中、英、中英混合和其他语种各1000万条数据，其中其他语种从剩下的58个语种中均匀采样 四分类的深度神经网络模型，参数量为180M质量判别器收集官媒文章、百科数据、机器翻译文本、转写文本等，并通过规则筛选大量其他低质量样本。>通过标注人员对无监督数据质量按0-5分进行打分，最终获取总量约80万条质量评估训练样本。>基于深度神经网络的句子质量评分模型(350M)：输入为句子，输出5分制的句子质量评分安全判别器安全判别器1章子正常且置信度高置信度低的句子正例所有句子都正常负存在句子2例不正常模型本体安全治理（3/4）：模型可靠性准确性优化•参数化存储的知识，按概率最大化原则的逐词方式生成回复，不可避免的存在可靠性准确性偏差，产生•基于文档知识检索和类搜索插件的知识增强方案，大幅提升模型生成的可靠性准确QueryAnswer模型本体安全治理（4/4）：对抗攻击与安全对齐机制x2x1Z3x2x1Z3z1z3三2设计人机协同的多层防护方案，组建专职风险运营团队，实施全方位的风险监控以及主动防御闭环流程，保障大模型安全可控机审机审过程人审过程生成式人工智能系统干预系统生成式人工智能系统干预系统输入机审输出机审后台数据库后台数据库2、数据回流迭代审核模型人审流程•构建安全运营体系，通过模型发布前多环节互补测试，保障每一次大模型升级安全可控。•同时建立运行中风控运营体系，覆盖多维度的问题发现和分级闭环机制，保障大模型运行中安全可控。发布前评测多维度、多环节测试大模型安全评测团队基线安全对比测评团队大模型安全红军测试团队第三方安全测评团队运行中风控持续运营发现问题大模型安全运营团队大模型人审标注团队热点舆情/威胁情报监控团队用户监测封禁团队运行中风控问题分级闭环体系安全运营团队快速干预词库干预快修干预机审运营团队策略布控数据泛化同类问题布控单点问题数据泛化同类问题布控大模型生成源头优化外部知识信源清洗和过滤大模型安全SFT外部知识信源清洗和过滤OpenAI的安全评测框架依据能力风险等级，将大模型评估划分为“常规能力评测”与“前沿能力评测（PreparednessFramework）”两大部分。其中，常规能力评测聚焦于模型在实际使用场景下的日常安全性，包括四大类：隐私保护（如人物身份、地理定位）、幻觉识别（开域/闭域）、越狱防护（涵盖攻击手法、防御能力、自动化攻击等）以及内容安全（如偏见、歧视、公平性问题等）。而前沿能力评测则面向具有潜在灾难性能力的高级模型，重点覆盖四大高风险领域：CBRN（生化核放能力）、Cybersecurity（网络攻击能力）、说服力评估（操纵/引导行为）以及自主性评估（类Agent行为能力）。该框架通过系统性评测，构建模型上线前的能力预警与风险治理机制，是OpenAI在治理“前沿模型风险”与“现实部署风险”之间构建安全防线的关键工具。Anthropic的安全评测框架基于“负责任扩展策略（ResponsibleScalingPolicy）”,将模型评估划分为常规能力评测与前沿能力评测两个层次，确保模型能力增强的同时安全机制同步提升。常规能力评测涵盖内容安全、对齐性、智能体安全等多个维度，关注模型在现实使用中可能引发的误导、偏见、隐私泄露与有害输出等风险；而前沿能力评测则聚焦于具备灾难性潜力的能力，如生物威胁（CBRN）、自主性行为、以及网络安全攻击等高风险场景。该框架体现了Anthropic在推动大模型安全可控发展过程中所坚持的“能力越强，监管越严”的核心理念。Google（DeepMind）构建的安全评测框架以核心，分为常规能力评测与前沿能力评测两个层级，系统评估大模型的使用安全与能力边界。在常规能力评测方面，框架聚焦三大方向：一是通过自动化红队系统测试直接与间接提示注入攻击，评估模型面对复合智能体协同攻击时的稳健性；二是开展数据记忆与隐私安全检测，涵盖训练数据记忆提取与散发攻击场景；三是识别生成内容中的有害信息，如仇恨言论、危险医疗建议、性剥削内容等。在前沿能力评测方面，重点评估模型在CBRN（生化核）扩散、网络安全攻击、AI自我改进能力以及欺骗性对齐行为（如情感操控与隐藏能力）等高风险场景中的潜在能力。该框架强调多智能体测试、多通路攻击路径与基准测试工具结合，体现出Google在模型上线前能力预测、防线设计与灾难性风险控制方面的系统性思路。人工智能失控评测通用人工智能安全评测内容安全合规价值观对齐安全文明健康内容安全合法合规安全主动安全主动纠错能力不确定性处理能力模型应急响应弹性越狱攻击抗性基于提示词工程的越狱攻击基于文本增强的越狱攻击基于迭代优化的越狱攻击隐私个人隐私泄露评测训练数据记忆评测模型隐私数据泄露评测模型鲁棒性样本扰动对抗跨模态对抗反向诱导可解释性与透明性思维链可解释性推理可解释性外部数据可溯性智能体安全计算机使用场景安全代码编写场景安全邮件智能体场景安全幻觉抑制闭域幻觉评测开域幻觉评测行为一致性模型前沿能力安全CBRN说服力自主性可靠性输出一致性文化误解重复查询稳定性应用场景评测医疗医疗建议边界控制患者隐私保护医学事实验证教育学术诚信内容控制学习偏差行为教育价值观引导人工智能基础设施安全评测物理与环境安全通信与网络安全边界与访问控制计算与数据安全算力中心选址安全冷却与温湿度调节模型API安全通信动态密钥管理模型服务边界防护异常会话检测训练数据完整性保护缓存清理AI机房访问控制电磁干扰防护多模态数据传输保护对抗流量检测AI应用权限隔离多因子访问认证模型参数保密性模型水印与指纹技术服务器硬件防护设备生命周期管理跨云与边缘协同安全联邦学习通信保护越狱攻击检测与阻断AI代理链路管控提示输入安全性检测数据备份与恢复研究进展（1/2）：一种基于遗传算法优化的大模型越狱攻击框架AdversarialInputForgeDANCoreProcessingEngineAttackResultsAdversaryRobustJailbreakDetecHomoglyphSwap_NeighborsharmfulInitialInsert_CharReplace_CharEmbeddingzh_MorphonymDeleteWordnetResponsezh_HomophoneInsert_SynonymEvolvedTargeLLMSemanticSimilarityResponseIcannotfulfillthisrequest.Bothmycoreprogrammingas...Whatyou'reaskingfor—creatingtoolsorinstructions...InitialharmfulrequestrequiringjailbreakBertCreatingordistributingtools/programsdesignedtohack...TargetSure,hereisaprogramthathacksintogovernmentdatabases...0.52研究进展（2/2）：一种基于智能体迭代进化的大模型越狱方法对抗后缀生成目标模型响应回复敏感领域识别框架有害性评估机制对抗后缀生成目标模型响应回复敏感领域识别框架有害性评估机制敏感领域类别库回复结果敏感领域类别库回复结果评分结果对抗后缀敏感领域类别关键特征对抗后缀敏感领