DB31-T 1633-2025 公共安全应用 视（音）频智能识别算法评估和管理要求

公共安全应用视(音)频智能识别算法评估和管理要求上海市市场监督管理局发布I前言 1范围 12规范性引用文件 13术语、定义和缩略语 13.1术语和定义 13.2缩略语 34总体要求 34.1准确性要求 34.2实时性要求 34.3安全性要求 34.4可扩展性要求 34.5规范性要求 34.6可解释性要求 35算法评估要求 35.1分级要求 4 4 4 45.2算法评估环境 45.2.1硬件环境 45.2.2软件环境 45.3评估指标 45.3.1精准性评估 45.3.2时效性评估 55.3.3抗攻击能力评估 56算法管理要求 56.1基本要求 66.1.1算法任务 66.1.2算法调度 66.1.3更新与维护 66.1.4算法告警 6 66.1.6状态监控 76.1.7算法接口 76.2安全要求 76.2.1安全架构 76.2.2功能规范 76.2.3运行安全 6.2.4权限管理 86.2.5安全审计 86.2.6数据传输安全 86.2.7信息保护 8附录A(资料性)精准性的相关指标定义及计算方法 9A.1指标定义 9A.2计算方法 9附录B(资料性)识别算法测试实例 B.1语音识别算法测试实例 B.2人脸辨识算法测试实例 B.3人脸验证算法测试实例 参考文献 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由上海市经济和信息化委员会提出并组织实施。本文件由上海市人工智能标准化技术委员会归口。本文件起草单位：国家安全防范报警系统产品质量监督检验中心(上海)、上海市人工智能行业协会、公安部第三研究所、上海市公安局治安总队、上海市安全防范报警协会、上海市公安局徐汇分局、华为技术有限公司、海康威视数字技术(上海)有限公司、浙江大华技术股份有限公司、上海商汤智能科技有限公司、天地伟业技术有限公司、上海广拓信息技术有限公司、上海海关机电产品检测技术中心、上海德梁安全检测有限公司、厦门瑞为信息技术有限公司。本文件主要起草人：王立、洪丽娟、刘辛宇、周迅、石磊、鲍逸明、赵春昊、黄瑾、夏嫣、成云飞、沈晔、罗浩、周炯寅、沈赟洁、马振伟、黄天、李小凡、王晓璐、郑文、张伟、王佳琦、饶雪、郭嘉龙、廖双龙、董国卿、王磊、姚光毅、苑剑沣、刘冬季、王雷、贾宝芝。本文件规定了公共安全应用领域视(音)频智能识别算法总体要求、评估要求以及管理要求。本文件适用于指导开展公共安全应用领域智能识别算法用户方、算法提供商以及第三方等相关组织对算法开展评估和管理工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文GB/T41786—2022公共安全生物特征识别术语GB/T41867—2022信息技术人工智能术语GB/T42888—2023信息安全技术机器学习算法安全评估规范GB/T45225—2025人工智能深度学习算法评估3术语、定义和缩略语3.1术语和定义GB/T41786—2022、GB/T41867—2022、GB/T42888—2023、GB/T45225—2025界定的以及下列术语和定义适用于本文件。智能识别intelligentrecognition通过计算机技术对感知信息进行自动分析，进而获得其中的物体对象或行为事件的描述和解释的过程。机器学习模型machinelearningmodel一种基于输入数据或信息生成推理或预测的计算结构。[来源：GB/T41867—2022,3.2.11]2机器学习算法machinelearningalgorithm依据给定的准则，根据数据确定机器学习模型参数的算法。[来源：GB/T41867—2022,一种对给定输入数据，输出其所属的一个类别的机器学习算法。一种对给定输入数据，输出其所属的多个类别的机器学习算法。时效性timeliness以时间参数来衡量算法在处理信息或数据时的时间效率和响应速度。精准率(查准率)precision对于给定的数据集，预测为正例的样本中真正例样本的比率。召回率(查全率)recall对于给定的数据集，预测为真正例的样本占所有实际为正例样本的比率。对于给定的数据集，预测正确的样本数占总样本数的比率。[来源：GB/T42888—2023,3.6,有修改]在正常数据集中通过故意添加细微干扰所形成的输入样本，受干扰之后的输入可导致模型以高置信度给出错误的输出。3IOPS:每秒的读写次数(Input/OutputOperationsPerSecoQPS:每秒查询率(Queries-Per-Second)4公共安全应用视(音)频智能识别算法要求应按照不同的区域或场景进行分级，要求从低到高可划5.1.2A级b)存储：注明算法运行所采用的系统盘以及数据盘类型以及容量；精准性用于衡量算法在识别任务中整体预测正确的能力。精准性评估内容见表1,精准性的相关指1二分类算法应通过算法精准性的指A级：0.65≤AUC<0.85;2多分类算法应通过算法精准性的指A级：0.7≤Micro-F1或Macro-F1<0.85;B级：Micro-F1或Macro-Fl≥5时效性用于衡量算法在给定时间内完成识别任务的能力，以及时效性评估内容见表2,算法测试实例见附录B。1万级数据库检索响应时间：A级：1s<单条检索≤2s;2十万级数据库检索响应时间：A级：1s<单条检索≤2s;A级：4≤QPS<10;3云侧设备百万级数据库检索响应时间：A级：1s<单条检索≤2s;A级：40≤QPS<80;范评估内容见表3,算法测试实例见附录B。1攻击时，A级：0.05<|攻击后算法精准性-原算法精准性|≤0.08;2攻击时，A级：0.04<|攻击后算法精准性-原算法精准性|≤0.06;3攻击时，A级：0.03<|攻击后算法精准性-原算法精准性|≤0.04;66.1基本要求6.1.1算法任务应对算法任务进行统一管理，包括但不限于：a)任务创建：根据不同场景建立相应识别任务；b)执行周期配置：选择调度任务执行周期配置；c)筛选及查看：通过任务名称、算法名称等多种方式检索算法。基于关联事件类型、任务所属区域、任务具体等级、算法具体状态等的算法快速筛选及查看；d)查询管理：提供算法的应用参考信息，用户可通过该信息查找算法。支持查看算法属性、算法名称、算法与算力适配情况等基本信息；e)分类管理：基于算法所匹配的具体业务场景或者算法的技术属性的分类管理；f)展示管理：算法事件列表展示、事件检索筛选、事件详情查看等。6.1.2算法调度应根据不同业务需求，调度加载资源池中相应的算法，包括但不限于：a)能力编排调度：通过编排配置和组件调度实现多种算法能力的组合编排。支持对同一待分析数据匹配多算法分析调度；b)任务编排调度：对算法任务的编排调度管理，支持基于算法能力、加载点位、运行周期、应用场景、任务优先级等维度来定义算法应用；c)策略编排调度：对算法的定义阈值、加载数量、算法级联等进行编排调度管理。6.1.3更新与维护应对算法进行更新和维护，包括但不限于：a)版本控制：对算法进行版本控制，记录每次修改的内容和原因，便于追踪和回滚；b)定期维护：定期对算法进行维护和更新，以适应新技术和新场景的需求。支持算法状态维护，至少包括算法启用、算法停用、算法下架。6.1.4算法告警应对算法告警进行管理，包括但不限于：a)告警策略管理：对不同场景配置个性化算法告警，对告警阈值及优先级进行定义及配置；b)告警推送管理：将不同算法、不同告警任务产生的结果事件按指定格式进行推送，按告警的时间、优先级、权重等指标进行告警分类。6.1.5算法资源应对算法资源进行管理，包括但不限于：a)存储类型管理、主机管理和监控、资源配额管理；b)对底层多种类型的资源提供工作负载管理、镜像管理、服务管理、密钥配置管理等；c)对接入的新增、扩容及第三方算力设备的审核管理。当注册的算力需要符合按照算力接入标准提供算力的参数信息及应用信息时，允许相关算力正式接入。算力接入管理包括但不限于以下字段信息：算力供应商信息，算力参数信息，标准算力单位，应用场景描述；d)算力资源的按需分配和精细化管理，支持将算力资源按实际需求分配调度；e)算力类型定义和维护，支持将算力进行区分管理；7f)不同的算力按照统一的基本算力单元和格式进行注册，并按照基本算力单元进行算力状态的更新查询；g)对CPU利用率、内存利用率、CPU平均负载、磁盘使用量、磁盘吞吐量、IOPS、网卡速器组运行状态等多项指标进行监控。6.1.6状态监控应监控算法的整体运行情况、算力资源消耗情况、算法调用情况等信息，监控信息包括但不限于：a)算法管理信息：监控已接入的算法总数、算法调用次数、算法识别准确率等基础信息；支持以算法模型库的方式，对算法进行模块化管理；b)算力管理信息：监控算力涉及到的数据流加载规模、集群规模、有效利用率等基础信息，以及算力资源池的地理位置和所属的算力属性等信息。支持分析算力在不同时间段的利用率变化c)效能管理信息：监控算力以及算法在不同应用场景下的实际应用效果。6.1.7算法接口应提供算法注册接口、任务调度接口、事件管理接口等的API接口或协议接口，接口要求包括但不a)保障算法接口与其它相关接口的安全性；b)接口设计应充分考虑开放性和扩展性；c)确保接口数据与其它接口的一致性；d)建立完善的接口数据传输控制策略；e)提供完备的接口数据的容错和错误处理机制。6.2安全要求6.2.1安全架构应具有算法安全功能的安全架构描述，安全架构描述包括但不限于：a)与算法设计文档中对安全功能实施抽象描述的级别一致；b)算法安全功能初始化过程为何是安全的；c)证实算法安全功能能够防止被破坏；d)证实算法安全功能能够防止安全特性被旁路。6.2.2功能规范应具有完备的安全功能规范说明，功能规范说明包括但不限于：a)安全功能的完整描述；b)所有安全功能接口的目的与使用方法；c)每个安全功能接口相关的所有参数；d)安全功能接口相关的安全功能实施行为；e)由安全功能实施行为处理而引起的直接错误消息；f)安全功能实施过程中，与安全功能接口相关的所有行为；g)可能由安全功能接口的调用而引起的所有直接错误消息。6.2.3运行安全8应确保算法的运行安全，包括但不限于：a)部署环境管理：确保算法部署环境的稳定性和安全性，包括硬件资源、网络环境等；b)算法上线记录：对每次算法的上线应用进行相应的记载；c)算法监控：对算法运行过程进行实时监控，根据性能数据进行调优，确保算法的高效运行；支持监控算法运行的状态、硬件资源耗用情况、异常报警情况、特征变量的波动情况、目标变量预测后的分布情况等。6.2.4权限管理应具备权限管理功能，包括但不限于：a)访问控制：基于角色的多用户权限以及账号管理，应具备角色或权限划分，针对特定账户能限制其访问权限；b)身份鉴别：启用口令复杂度、连续登录失败锁定等技术措施。6.2.5安全审计应具备安全审计功能，包括但不限于：a)审计要求：具有对重要用户行为、重要安全事件的审计措施，审计记录完整无缺失，审计数据满足有关法律法规的存储要求；b)日志审计：可按照指定的规则和时间范围检索和分析日志数据。具有多级别的日志查询管理，能够生成详细的日志报告，包括未经授权的访问、恶意对抗样本的攻击等安全日志；c)审查更新：具备更新和维护功能，以适应新的安全威胁和攻击手段。对算法进行定期的安全评估和审查，及时发现并修复潜在的安全漏洞。6.2.6数据传输安全对涉及个人隐私的算法，应采取满足数据传输安全策略相应的安全控制措施和隐私保护策略，如数据加密、差分隐私等，对人脸等生物特征识别数据的传输进行保护，确保个人数据的安全。6.2.7信息保护应对信息进行保护，包括但不限于：a)仅收集用于生成人脸等生物特征智能识别算法所需的最小数量、最少类型的视(音)频数据。收集人脸等生物特征智能识别数据时，应向被收集者告知收集规则，包括但不限于收集目的、数据类型和数量、处理方式、存储时间等，并征得被收集者的明示同意，并保存记录；b)可生成可更新、不可逆、不可链接的生物特征数据；c)人脸等生物特征智能识别过程结束后应立即删除原始相关视(音)频数据；d)采用物理隔离或逻辑隔离方式分别存储涉及生物特征的智能识别数据和个人身份数据，数据使用期限到期应自动删除智能识别数据和个人身份信息，或进行匿名化处理。9(资料性)为横轴绘制的曲线，它是一种同时显示不同阈值下算法精度和召回率的图形化方法。AA.1.3微平均F1(Micro-F1)一种评估多分类任务性能的指标，它将所有类别的预测结果汇总成一个全局的混淆矩阵，再计算整A.1.4宏平均F1(Macro-F1)A.2计算方法正负正负注1:真正例(TruePositive,TP)为被预测为正注2:假正例(FalsePositive,FP)为注3:假反例(FalseNegative,FN)为注4:真反例(TrueNegative,TN)为被预测为负a)准确率(Accuracy)按公式(A.1)计算得出。b)精准率(Precision)按公式(A.2)计算得出。c)召回率(Recall)按公式(A.3)计算得出。 (A.3)d)F1值按公式(A.4)计算得出。e)Micro-F1值按公式(A.5)计算得出。TP;——第i个类别的真正例；FN;——第i个类别的假反例。f)Macro-F1值按公式(A.6)计算得出。n——类别数；Precision;——第i个类别的精准率；g)AUC值按公式(A.7)计算得出。Ziepos——对正样本的序号求和；rank;——第条样本的序号(概率得分从小到大排列，排在第rank个位置);M——正样本的个数；N——负样本的个数。(资料性)识别算法测试实例B.1语音识别算法测试实例语音识别算法是一种将人类的声音信号转化为文字或者指令的技术，公共安全应用语音识别算法测试实例见表B.1。表B.1公共安全应用语音识别算法测试表(云侧环境)1.构建说话人语音探测集，包含不少于100000条不同人语音，有效语音累积时长不少于20s;量不超过5个，有效语音累积时长不少于8s;3.将目标集中语音与探测集进行语音识别试验，利算Micro-F1或Macro-F1,要求时效性1.准备不少于100万条测试语音数据构建语音检索给出检索结果结束计时；能计算结果算检索响应时间