城市安全人工智能应用管理办法(试行)

城市安全人工智能应用管理办法(试行)第一章总则为规范本市城市安全领域人工智能应用活动，保障城市运行安全，保护公民合法权益，推动城市安全智能化健康发展，根据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《新一代人工智能发展规划》《网络安全等级保护条例》等法律法规和政策规定，结合本市实际，制定本办法。本办法适用于本市行政区域内城市安全领域人工智能技术的研发、部署、运营、服务及监督管理活动，覆盖政府投资、社会投资建设的各类城市安全人工智能应用项目。本办法所称城市安全人工智能应用，指面向城市公共安全、生产安全、交通安全、消防安全、生态环境安全、生命线工程安全、网络安全等领域风险的感知识别、预测预警、指挥处置、评估复盘等环节，运用机器学习、计算机视觉、自然语言处理、知识图谱、生成式大语言模型等人工智能技术开展的技术应用与服务活动。城市安全人工智能应用管理遵循以下基本原则：坚持安全优先，将安全要求贯穿应用全生命周期；坚持创新可控，在保障安全的前提下鼓励技术创新；坚持分类监管，根据风险等级实施差异化管理；坚持权责清晰，落实应用主体责任，明确监管部门职责；坚持伦理合规，保障公民合法权益，维护公共利益。责任分工如下：市网信部门负责统筹协调全市人工智能应用的网络安全、数据安全、算法安全监管工作；市应急管理部门作为城市安全领域人工智能应用管理的牵头部门，负责综合协调、准入审查、备案管理、监督检查等日常工作；市公安机关负责社会治安、公共安全领域人工智能应用的安全监管，依法打击利用人工智能开展的违法犯罪活动；市住房和城乡建设部门、交通运输部门、消防救援机构、生态环境部门、政务服务数据管理部门、自然资源和规划部门等按照职责分工，负责本行业领域城市安全人工智能应用的业务指导和行业监管；人工智能应用的研发、运营、使用单位是安全责任主体，应当落实全生命周期安全管理要求，承担相应安全责任。第二章分类分级管理本市对城市安全人工智能应用按照风险程度实行分类分级管理，根据应用场景、影响范围、危害后果分为重大风险、较大风险、一般风险三个等级：（一）重大风险应用：指直接支撑城市核心安全管控、应急处置，发生故障或者错误输出后可能造成10人以上死亡、或者50人以上重伤、或者1亿元以上直接财产损失、或者重大社会影响的应用，主要包括：涉恐涉暴违法犯罪智能预警、大规模人群聚集风险管控、城市燃气/供水/供电/排水等生命线工程核心智能调度、矿山和危化品企业重大危险源智能决策处置、城市核心区智能交通信号控制、营运类自动驾驶车辆动态调度、大规模核生化风险智能监测处置等。（二）较大风险应用：指发生故障或者错误输出后可能造成3人以上10人以下死亡、或者10人以上50人以下重伤、或者1000万元以上1亿元以下直接财产损失、或者较大社会影响的应用，主要包括：一般公共场所安防人脸识别、普通生产经营场所安全风险智能识别、住宅小区火灾智能预警、一般区域环境质量智能监测、中小桥梁结构健康智能监测等。（三）一般风险应用：指发生故障后不会直接造成人员伤亡、重大财产损失，不影响城市整体安全运行的应用，主要包括：城市安全知识智能咨询、安全培训智能问答、安全管理信息统计整理、便民安全服务提示等。市应急管理部门应当编制并定期更新《本市城市安全人工智能应用风险分级目录》，每2年向社会公布一次，根据应用发展动态调整分级标准。第三章准入与备案管理建立城市安全人工智能应用准入与分级备案管理制度：（一）重大风险应用准入管理：重大风险应用上线运营前，应用主体应当提前60个工作日向市应急管理部门提出准入申请，提交以下材料：1.应用主体资质证明文件；2.应用需求说明书与技术方案；3.具备资质的第三方机构出具的安全评估报告；4.数据合规性证明文件；5.伦理审查报告；6.专项应急处置预案。市应急管理部门收到申请后，应当在5个工作日内完成材料初审，材料齐全的，在15个工作日内组织市网信、公安、数据管理、行业主管部门以及专家评审委员会开展联合评审，专家评审委员会成员不少于7人，其中公共安全、网络安全领域专家占比不低于50%，评审实行无记名投票，获得三分之二及以上赞成票方可通过准入审查，通过后颁发《城市安全人工智能重大应用准入许可证》，有效期为5年，有效期届满前6个月应当重新申请准入审查；未通过审查的，应用主体6个月内不得再次提出申请。境外组织、机构、企业以及境外资本控股的境内机构，不得申请开展重大风险城市安全人工智能应用运营服务，重大风险应用的核心算法必须实现自主可控，不得使用境外未备案的算法模型。（二）较大风险应用备案管理：较大风险应用上线运营后30个工作日内，应用主体应当登录市政务服务数据管理平台提交备案材料，包括应用主体资质、应用说明、内部安全自评估报告、伦理审查意见，市应急管理部门应当在5个工作日内完成材料核验，出具备案证明，备案信息每年度更新一次。（三）一般风险应用告知性备案：一般风险应用上线运营后10个工作日内，应用主体在市政务服务数据管理平台填报主体信息与应用基本情况即可完成备案，无需实质性审核。涉及国家秘密的城市安全人工智能应用，按照国家保密法律法规另行管理，严禁使用未经过保密安全审查的大语言模型处理涉密信息，严禁使用涉密数据训练非公有的人工智能模型。第四章全生命周期安全管控应用主体应当落实城市安全人工智能应用全生命周期安全管控责任，建立从研发、部署、运营到退出的全流程安全管理制度：（一）数据安全管控：城市安全人工智能应用采集数据应当严格遵循“最小必要、合法正当”原则，不得超出城市安全管理需求采集数据，采集敏感个人信息应当符合法律法规规定，取得个人单独同意，法律法规另有规定的除外；严禁过度采集公民人脸、指纹、声纹、出行轨迹、生物特征、居住地址等敏感个人信息，训练人工智能模型所使用的个人信息必须进行去标识化或者匿名化处理，处理后的信息无法单独或者结合其他信息识别特定自然人，建立数据采集、存储、使用、传输、销毁全流程审计日志，审计日志留存期限不得少于3年，数据留存期限不得超过应用运行的必要需求，除法律法规另有规定外，数据留存最长不得超过5年，超出留存期限的应当及时不可逆删除。生成式人工智能应用训练数据应当获得合法授权，不得使用非法获取的文本、图像、视频等内容训练模型，不得使用受版权保护的未授权内容训练模型。（二）算法安全管控：重大风险和较大风险应用应当采用可解释、可审计、可溯源的算法，严禁采用不可解释的“黑箱算法”开展安全决策类应用；重大风险应用的核心算法源代码、模型权重应当按照要求报送市网信部门指定的安全存管平台留存，应用主体不得擅自变更核心算法与模型参数，确需变更的，重大风险应用应当重新申请准入审查，较大风险应用应当更新备案信息。城市安全人工智能风险识别应用应当满足性能指标要求：重大风险类应用对预设风险目标的识别准确率不得低于99%，虚警率不得高于0.1%，漏警率不得高于0.05%；较大风险类应用识别准确率不得低于95%，虚警率不得高于1%，漏警率不得高于0.5%。应用主体应当每年对算法开展偏见性测试、鲁棒性测试、对抗性测试，及时修复算法偏见、算法漏洞，防止算法被攻击篡改输出错误结果。（三）系统安全防护：城市安全人工智能应用系统应当按照《网络安全等级保护条例》要求开展定级备案，重大风险应用应当达到网络安全等级保护三级及以上防护要求，较大风险应用应当达到网络安全等级保护二级及以上防护要求，应用主体应当每半年开展一次全网漏洞扫描，每年开展一次全系统安全渗透测试，建立7*24小时实时运行监测机制，系统发生异常波动、异常输出的，应当在15分钟内触发内部预警，1小时内上报属地行业主管部门和应急管理部门。建立分级容灾备份机制，核心业务数据实行每日异地备份，全系统备份每周不少于1次，重大风险应用应当具备独立离线运行保障能力，在外部网络中断的情况下，应当能够维持核心安全功能正常运行不少于24小时，保障应急处置需求。（四）应急处置管理：应用主体应当针对人工智能应用可能发生的算法错误、系统故障、数据泄露、被非法攻击等安全事件制定专项应急预案，明确应急处置流程、责任人员、处置措施，每年至少开展1次应急演练，演练评估报告报送市应急管理部门。发生安全事件后，应用主体应当第一时间启动应急响应，对发生故障的应用采取熔断、限流、暂停运营等管控措施，防止风险扩大，按照要求及时告知受影响人员，1小时内上报市应急管理部门和网信部门，24小时内提交书面初步报告，事件处置完成后7个工作日内提交完整的事件处置与溯源报告。第五章伦理规范城市安全人工智能应用应当严格遵循人工智能伦理规范，坚持以人为本、公共利益优先：（一）所有依托人工智能输出的风险预警、处置建议，必须经过人工复核后方可采取处置行动，重大风险预警必须由2名及以上具备相应资质的工作人员复核确认，严禁完全依托人工智能自动作出限制公民人身自由、查封扣押财产、实施管控措施等公权力处置决定。（二）严禁人工智能应用设置歧视性规则，不得基于公民的种族、民族、宗教信仰、性别、年龄、残障、户籍、地域身份等实施不合理的风险归类，不得对特定群体采取歧视性安全管控措施。（三）严禁利用城市安全人工智能应用采集的信息开展商业营销、金融信贷评级、个人信用评价等与城市安全无关的活动，未经监管部门批准，不得向任何第三方提供城市安全人工智能应用采集的各类数据。（四）应用主体应当建立内部伦理审查制度，设立内部伦理审查委员会，重大风险应用的伦理审查委员会中，外部社会公众代表、法律专家、伦理学者占比不得低于三分之一，所有城市安全人工智能应用上线前必须通过内部伦理审查，出具伦理审查意见。第六章监督检查与评估本市建立城市安全人工智能应用常态化监督检查与动态评估机制：（一）分级监督检查：建立“双随机、一公开”监督检查机制，对重大风险应用每年开展1次全覆盖监督检查，对较大风险应用每两年抽查比例不低于50%，对一般风险应用每年抽查比例不低于5%，检查内容包括数据合规、算法安全、系统防护、伦理落实、应急准备等，检查结果向社会公开。（二）年度安全评估：重大风险应用每年开展一次全生命周期安全评估，评估由应用主体委托具备人工智能安全评估资质的第三方机构开展，评估报告报送市应急管理部门，评估不合格的，责令限期3个月整改，整改后仍不合格的，撤销准入许可，停止运营。（三）公众监督与信用管理：市应急管理部门设立公开的投诉举报渠道，包括电话、邮箱、线上入口等，接受公众对城市安全人工智能应用违法违规行为的举报，举报经查证属实的，对举报人给予1000元以上50000元以下的奖励。建立城市安全人工智能应用主体信用管理制度，将应用主体合规情况纳入本市公共信用信息平台，对严重违法违规的应用主体，列入失信联合惩戒名单，3年内不得参与本市行政区域内城市安全领域政府投资项目投标。（四）退出管理：应用主体拟停止运营城市安全人工智能应用的，应当提前30个工作日向原准入或者备案部门报告，制定数据处置方案、业务衔接方案，保障相关安全管理业务平稳过渡，不得擅自停止运营影响城市安全；停止运营后，应用主体应当按照要求对采集的所有数据进行不可逆删除或者依法脱敏存储，对废弃的系统硬件、存储介质进行安全销毁，防止数据泄露。第七章法律责任违反本办法规定的，按照以下规定追究责任：（一）应用主体有下列情形之一的，由市应急管理部门责令改正，给予警告，并处1万元以上10万元以下罚款：1.应当办理备案未按照要求办理，或者备案信息存在虚假隐瞒的；2.未按照要求开展年度安全评估、应急演练的；3.未建立全流程安全审计、数据留痕制度的；4.停止运营未按照要求提前报告、做好业务衔接的。（二）应用主体有下列情形之一的，由市应急管理部门责令停止运营，限期改正，并处10万元以上50万元以下罚款，情节严重的，提请市场监管部门依法吊销营业执照：1.重大风险应用未取得准入许可擅自上线运营的；2.擅自变更核心算法模型，未按照要求重新审查或者备案的；3.未达到网络安全等级保护要求，存在重大安全隐患，经责令整改仍不达标的；4.发生安全事件未按照要求上报，隐瞒不报造成风险扩大的。（三）违反本办法规定，侵害公民个人信息权益、违反数据安全管理规定的，由网信、公安部门按照《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国网络安全法》等法律法规予以处罚；因人工智能应用错误输出、故障、安全事件造