人工智能 可信赖 第1部分：通则 征求意见稿

1GB/TXXXXX—XXXX人工智能可信赖系统通则本文件给出了用于表征人工智能系统的可信赖属性。本文件适用于人工智能系统、含人工智能的计算机系统相关的设计、开发、应用、测试和监测。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1可信赖trustworthiness满足利益相关方期望并可验证的能力。注2：可信赖作为一种属性可用于描述服务、产品、技术、数据和信息[来源：GB/T41867—2022，3.4.2，有修改]3.2人工智能系统artificialintelligencesystem针对人类定义的给定目标，产生诸如内容、预测、推荐或决策等输出的一类工程系统。注1：该工程系统使用人工智能相关的多种技术和[来源：GB/T41867—2022，3.1.8，有修改]3.3服务级别协议servicelevelagreement提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约。[来源：ISO/IEC20000-1:2018，3.2.20，有修改]3.4欠拟合underfitting2GB/TXXXXX—XXXX由于训练数据不足、不充分或模型设计与优化不当，导致创建的模型在面向新数据时性能表现不佳或不准确。[来源：GB/T41867—2022，3.2.22，有修改]3.5过拟合overfitting<机器学习>创建的模型过于精确地拟合训练数据，对新数据缺乏泛化性。训练数据中过多的噪声（例如，过多的离群点），训练数据与生产数据分布的显著不匹配，或模型复杂度过训练数据和生产数据之间存在严重不匹配时，过拟合模型[来源：GB/T41867—2022，3.2.7]3.6主系统primarysystem人工智能系统中组织日常业务操作的核心计算机系统。3.7备份系统backupsystem在主系统发生故障、数据丢失或灾难情况下恢复关键数据、模型、配置和业务操作的系统。4可信赖属性要求4.1概述下面给出用于表征人工智能场景下可信赖程度的20个属性，以及对这些属性的具体要求。根据人工智能系统的应用场景和产品类型不同，在进行可信赖评估时，可自由选择一个或多个可信赖属性，见附录A。4.2可控性可控性是指在人工智能系统的运行过程中，能够确保人类或其他外部智能体能够有效地监控、干预、调整或停止系统的行为，以保证其按照预定目标、安全、伦理和法律要求执行任务的性质。可控性要求：a)应设计并实现可控性相关控制点（接口接口应具备清晰定义的功能，并支持验证机制和良好的可扩展性；b)应有系统状态定义，状态的判别以应用要求的稳定驻留维度（如时域）和范围确定；c)应具有控制点管理、组织机制，形成控制面，并将控制面映射到特定控制操作；d)在操作前，应具备控制面可达检测机制，至少检查时间和空间方面的可达状态：e)应支持外部控制切入和切出，包含切入和切出的代价估计以及切入和切出失败的补偿控制方案，并提供控制点移交机制；f)应具备缺省控制策略，能在控制失败或无法形成控制策略时使用；GB/TXXXXX—XXXX3g)应用于政府部门、关键信息基础设施以及直接影响公共安全和公民生命健康安全的领域等重点领域时，应具备高效精准的应急管控措施；h)对有限状态可表示的系统，宜识别并处理系统所有可能的状态集合；i)对无限状态可表示的系统，宜识别并处理对系统业务生命周期有意义的状态集合。4.3安全性安全性是指人工智能系统在面对潜在故障、异常情况或不确定性时，维持安全运行的性质。其核心在于通过系统设计、开发和验证流程，降低人工智能系统因故障或错误导致的风险。安全性要求：a)应具备风险识别与事件预测能力、事件预防机制、事件检测与诊断功能以及事件应急处理措施；b)应对人工智能算法引用的外部框架进行安全审计，如主机安全、行为监控、流量分析等；注：外部框架是指支撑AI算法运行和开发的工具c)应进行数据、模型、框架等方面的安全测试；d)应建立明确的软硬件产品漏洞和缺陷跟踪机制，包括定期扫描、分级评估、修复优先级设定等流程，并及时采取修补加固措施；e)应建立监控机制，包括检测和识别恶意使用，实时监控模型预测能力，并持续监测模型在意料之外的表现和能力；f)应实施细粒度的访问控制；g)应考虑对周边环境的影响，降低事件发生时造成的附带财产、人员损失；h)宜根据用户实际应用场景设置服务提供边界，裁减人工智能系统可能被滥用的功能；i)宜建立风险等级测试评估体系，根据功能、性能、应用场景等，对人工智能系统分类分级；j)宜根据系统可能面临的安全风险建立风险管理计划，并保持动态更新；k)宜进行人工智能系统用途管理，明确特定人群及场景下人工智能技术的应用要求。4.4鲁棒性鲁棒性是指人工智能系统能够在面对具象的扰动输入时，保持稳定的性能和准确输出的性质。鲁棒性要求：a)应采用对抗性训练、可信性防御、数据处理等技术，增强人工智能算法的鲁棒性，并提高模型对对抗性攻击的防御能力；b)应分析相应任务下的对抗样本对人工智能系统运行的影响；c)应具备对对抗攻击、异常事件的抵抗能力；d)应抵抗非法系统输入，不因非法系统输入进入异常或无法持续服务的状态。4.5可靠性可靠性是指人工智能系统在规定条件下和预定时间内，能够稳定、持续、准确地执行任务，产生预期结果，并在不同环境和条件下保持一致的性能表现的性质。可靠性要求：a)应使用符合应用场景要求的机器学习框架、算法库、数据库和工具链等；b)应具备符合应用场景要求的系统环境；c)应具备对非法系统输入的反馈机制；d)应对系统可靠性进行标准化测试，覆盖包括负载测试、边界条件测试、故障注入测试等场景；e)应分析环境干扰数据对人工智能系统运行的影响；GB/TXXXXX—XXXX4f)应具备用户交互影响的抵抗能力；有倾向性或误导性的信息，影响系统输出错g)应分析数据集分布发生偏移对人工智能系统运行的影响；h)应分析异常值数据对人工智能系统运行的影响；i)宜设置系统运行过程中的健康监测指标（如预测偏差率、任务成功率、处理时延），用于提前发现可靠性下降趋势并预警。4.6准确性准确性是指人工智能系统在执行特定任务时，其输出结果能与预期结果保持接近或一致的性质。准确性要求：a)应能够按照预期和设定的目标，正确地执行各种任务和功能；b)应能够准确、恰当地满足用户需求，并且在特定应用场景下表现出良好的适应性和稳定性；c)宜根据不同任务场景（如分类、预测、生成）定义准确性阈值，并采用适当的评估指标进行验证；d)对于生成式模型，应分析生成内容是否含有不准确、不完整或误导性的信息。4.7韧性韧性指人工智能系统在事故、故障或外部攻击后在符合期望的时间段内，恢复可操作条件的性质。满足韧性要求的人工智能系统具有适应性响应能力、协同保护能力、多样性能力、动态定位能力和重新调整能力等。韧性要求：a)人工智能系统功能失能或部分失能时，应具备快速恢复并保持在承诺的服务级别协议内保持服务质量的能力；b)应具备故障自检能力，并在检测到故障后，自动或在人工辅助下迅速恢复功能；c)在面对外部干扰或攻击时，应具备与其它系统或组件协同抵御的能力；d)应根据实时数据和环境变化进行自我定位和调整；e)宜提供多种冗余机制、策略路径或模型替代方案，以维持关键功能或实现目标功能的多样化响应和服务保障能力。4.8可复现性可复现性指人工智能系统在可接受的复现性条件下，在不同运行环境中能够产生一致或在可接受误差范围内的结果的性质。可复现性要求：a)应具备系统运行结果的验证机制，确定系统在特定条件不变下，可复现运行结果；b)用户交互不应改变人工智能系统全生命周期中的可复现性；c)应分析软硬件平台依赖对人工智能系统运行的影响，包括深度学习框架的适用性、操作系统差异性、硬件架构的可迁移性等。GB/TXXXXX—XXXX54.9可泛化性可泛化性指训练后的人工智能系统应用与训练数据分布相似的新数据时，能做出准确预测的性质。可泛化性要求：a)应使用正则化、交叉验证等技术，提升系统可泛化性；b)接受未知数据输入时，不应出现欠拟合或过拟合情况；c)接受与训练数据特征和分布相似的数据输入时，应保持其关键性能指标（如准确率、精确率、召回率）不低于指定阈值；d)接受分布外（OOD）或弱相关数据输入时，应采取适当的降级或拒绝策略；e)当训练数据分布发生显著变化时，宜及时重训练人工智能系统。4.10实时性实时性指人工智能系统在给定时间段内处理、分析和响应外来请求的性质。人工智能系统的实时性要求应根据应用场景而确定，在某些场景（如医疗影像分析、自动或辅助驾驶、工业生产线控制等）中，对实时性的要求高。实时性要求：a)应在任务需求的时延要求内处理相关任务；b)应满足任务切换时间的要求；注：任务切换时间是指操作系统在进行任务调度时，从一个任务（进程或线程）切换到c)应满足任务完成时延抖动的要求。4.11可备份性备份指人工智能系统为防止出现操作失误或系统故障导致数据丢失，将全部或部分数据集合从应用主机复制到其它的存储媒体或系统的过程。备份系统可使用功能相同、算法/模型不同的人工智能系统，也可使用功能类似的非人工智能系统。可备份性要求：a)应实现与主系统相同的业务逻辑，满足业务要求；b)应实现功能间逻辑隔离，当部分系统或部分功能异常时，可通过降级或者隔离方式，保障其它业务功能正常运行；c)无备份系统时，应有相应的流程保障系统失能时有专业技术人员参与控制；d)应制定备份系统的备份策略规范，包括备份周期、备份方式（全量/增量备份）、备份副本数量等；e)宜采用与主系统不同的技术路线（如对基于深度学习的子系统的备份，可由非人工智能技术实现业务逻辑），无不同技术路线备份时，可采用多模型互相备份。4.12数据合规性数据合规性指指人工智能系统在收集、处理、存储、使用和输出数据的整个生命周期中，遵循相关法律法规、伦理标准和行业最佳实践的性质。数据合规性要求：a)应通过经过验证和符合规范的渠道获取数据；b)应制定标注规则，包括标注目标、数据格式、标注方法、质量指标等内容；c)应具备控制流数据、信息流数据及应用数据传输过程中的安全性、完整性保证功能；d)应进行数据安全管理，保证数据符合数据安全和个人信息保护相关标准规范；可采用微调、机器遗忘等技术手段，在模型训练后删除或修正不合规数据；GB/TXXXXX—XXXX6e)应进行知识产权检测，在训练数据选择、结果输出等环节防止侵犯知识产权；f)在收集和处理个人数据时，应限定于所声明的特定、合法目的，并在这些目的实现后不再进一步处理数据；g)宜建立全面的数据安全框架，包括但不限于数据加密、访问控制、数据脱敏和数据审计等技术措施，以保护敏感信息和重要数据。4.13隐私保护性隐私保护指人工智能系统涉及的个人等实体不愿意被外人知晓的信息得到应有的保护。隐私保护包括对于个人信息和个人隐私的保护、对商业秘密的保护等。隐私保护要求：a)应仅收集实现功能所必需的最少数据，避免过度收集用户信息；b)应明确数据和模型的隐私保护在生命周期管理内的工作和要求，形成隐私保护方案；c)应明确指明隐私保护对象或主体、隐私泄漏的风险点；d)应对所采用的隐私保护方法进行充分评估，明确隐私保护方法的适用场景、条件和局限性；e)应考虑所采用的隐私保护方法在隐私保护数据的可用性和机密性上的平衡；f)在用户提供训练数据的场景下，应防止恶意查询行为；g)在用户与系统交互的场景下，人工智能系统应避免攻击者通过反复查询训练好的模型获得受版权保护信息；h)应采用技术手段（多方安全计算、可信计算、差分隐私、同态加密、联邦学习等）保护数据和模型中的隐私，并建立监控和审计机制；i)宜基于可信环境对敏感原始数据进行本地化处理，降低数据传输过程中的隐私泄露风险。4.14保密性保密性是指人工智能系统的开发、部署、运营及相关监管活动中，任何自然人或法人应当根据法律规定，确保在执行任务和活动时获得的信息和数据的保密性，防止未经授权的访问、披露、使用或传播，其核心目的是在实施监管过程中保护涉及知识产权、商业机密、国家安全等敏感信息。保密性要求：a)应严格限定集体数据的获取、使用范围；b)应采用最小权限原则；c)应在规定时限内，删除不再用于其获取目的的集体数据；d)应建立人工智能系统输出内容的审查与控制机制。4.15透明性透明性指人工智能系统向利益相关方明确系统适当信息的性质。对于可信赖人工智能，若模型内部的参数、整体结构是可观测或可访问的，则能够对其行为逻辑和决策依据进行研究与分析，即人工智能系统透明性可理解为模型的“白盒”程度。透明性依赖于可解释性，即对人工智能系统及其组件行为的有用或合理的解释。透明性要求：a)应建立风险监测机制，如提供其所做决策的依据标准，告知用户其输出结果所可能涉及的风险以及局限性；b)人工智能系统应考虑采用相关机制提高自身行为的可预测性；c)应告知用户其交互对象、获得的服务来源等为人工智能系统；d)宜对人工智能技术和产品的原理、能力、适用场景、安全风险应分层次、分对象适当公开，以适应各类利益相关方的需求，对输出内容进行明晰标识；GB/TXXXXX—XXXX7e)宜对模型能力评测结果和安全保障措施的有效性进行披露。4.16可追溯性可追溯性指人工智能系统能追溯特定实体的历史、应用及位置的性质。可追溯性是人工智能系统可问责的前提，也是各行业实现人工智能算法审计和应用治理的基础，为人工智能系统功能安全设计和增强提供依据。可追溯性要求：a)应提供日志记录、状态监测等工具；b)应记录人工智能系统的开发过程，如系统设计及更改、程序开发、数据使用、模型训练、用户需求符合程度测试、模型迁移等情况；c)应记录人工智能系统的运行情况，如操作步骤、输入和结果，以便从输入追溯到相关处理过程和结果，也能从结果回溯到输入或操作；d)在人工智能系统中，应实施模型版本控制，详细记录每个模型版本的训练、测试和部署历史；e)应实现人工智能系统运行日志的持久化存储；f)面向公众服务的人工智能系统，宜通过数字证书等技术对其进行标识管理；g)当涉及到个人隐私信息时，人工智能系统的记录和日志信息应在严格的隐私保护政策下进行存储和审计，必要时可由合法授权的部门或人员进行访问。4.17可解释性可解释性指人工智能系统以人能理解的方式，表达影响其（执行）结果的重要因素的性质。可解释性有助于人们理解复杂模型内部工作机理以及模型如何做出特定决策等重要问题。可解释性要求：a)应针对不同利益相关方提供便于理解的不同程度的解释，如对用户提供系统意图、决策结果等说明，向产品提供方提供算法模型、运行环境等说明；b)应能对数据质量进行评估，如能提供明确的标记基准、定义数据标记手法等；c)应提供事前解释（内在、设计时的解释），如对训练数据进行统计学分析，对训练数据集的规模分析，对原始训练数据集中的多种典型场景的演绎和归纳分析等；d)应提供建模过程中可解释，如对人工智能系统的建模决策、建模依据、优化调整行为等进行解释，在模型优化时提供超级参数的定义和设定条件的定义等；e)应提供事后解释，在投入使用后，向利益相关方解释特定输入与输出的逻辑关系，此逻辑关系应能被利益相关方理解；f)宜为人工智能系统内部构造、推理逻辑、技术接口、输出结果提供明确说明，正确反映人工智能系统产生结果的过程；g)宜增加用户反馈机制，支持用户对提供的解释提出问题或给予反馈。4.18公平性公平性指人工智能系统尊重既定事实、社会规范和信仰，保证利益相关方不受偏袒或不公正歧视影响的对待、行为或结果的性质。公平性通常与文化、地域和政治观点等因素有关。公平性要求：a)应根据实际应用场景，提供相适应算法偏见检测方案；b)应对人工智能系统中所采用的智能算法训练所用数据集的规模、均衡性进行探索性分析和预处理，以消除或减轻偏见；c)应降低其应用领域内可能的文化、人员、社会环境中的固有成见及歧视发生的可能性；d)应对所有目标群体提供质量相近的服务；e)在检测偏见的测试数据集上，人工智能系统的预测准确率变化不应超过最大变化阈值范围；GB/TXXXXX—XXXX8f)在算法设计、模型训练和优化、提供服务等过程中，应采取训练数据筛选、输出校验等方式，防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等方面歧视；g)应提供偏见结果复议机制，至少提供问题反馈渠道。h)宜识别可能涉及的偏见相关特征，包含但不限于性别、人种、民族、特殊群体（如残障人士）等，在验证或测试过程中识别结果与特征的关联性；i)宜识别可能导致偏见的原因，包括但不限于样本分布、错误排除、不一致测量或采样、不一致标记；4.19伦理符合性伦理符合性指人工智能系统全生命周期符合伦理准则的性质。伦理符合性要求：a)应开展人工智能伦理符合性评估，涉及法律法规遵从、公平无歧视、人类可控、专业职责、人类价值观、国际通行行为准则、环境可持续发展、劳动者知会及协同等，并明确相应的伦理底线和风险红线；b)应以促进人类福祉为目标，降低因算法设计者出于自身的利益，对用户进行不良诱导、过度依赖算法本身、盲目扩大算法的应用范围而导致的算法滥用风险；c)应提供算法伦理反馈渠道，发现并改善潜在的的算法偏见、算法霸凌、推荐算法的信息茧房等问题；d)人工智能系统的设计和部署应考虑对环境和社会的长期影响，促进可持续发展；e)人工智能系统采用的数据集应符合其采集目的，仅收集实现功能所必需的最少数据；f)应定期审查人工智能系统的伦理影响。4.20易用性易用性指人工智能系统在设计、开发、部署及应用时充分考虑各社会群体，最大化提升其容易被用户使用的程度的性质。易用性要求：a)应提供适老化以及无障碍环境，如简便、易懂的操作界面，增强字体可读性、语音提示功能，支持屏幕阅读器、语音识别、手势控制等无障碍功能；b)应优化操作流程、适应用户的操作习惯，减少用户的学习成本；c)应提供操作指引、操作反馈及重要操作的确认提示，为用户提供引导与提示；d)宜提供清晰的错误信息，帮助用户理解问题所在，并解决方案或建议的下一步操作。4.21可问责性可问责性指人工智能系统及其利益相关方对其行动、决定和行为负责任的性质。可问责性要求人工智能的开发者和使用者对其系统如何运作提供透明的解释，并在出现问题时承担相应的责任。可问责性要求：a)应明确责任主体，明确落实团队及有关人员的责任义务；b)应具备责任界定机制，在必要时接受第三方监管；c)人工智能系统应建立关键行为和决策过程的可审计记录机制；d)当人工智能系统涉及第三方模型、服务或训练资源时，应明确各方在系统运行结果中的责任边界。GB/TXXXXX—XXXX9（资料性）可信赖应用场景表A.1给出了常见场景进行可信赖评估时，建议选取的可信赖属性。表A.1可信赖应用场景列表1觉21、智能安防监控：智能安防监控系统通过部署高清摄像头获取2、智能交通监控与管理：在城市的交通管理中，通过视频监控与计算3、商业与零售监控分析：在零售环境中，结合计算机视觉进行顾客行4、工业自动化与生产线监控：在制造业中，视频监控结合计算机视觉5、公共安全与智慧城市：在智慧城市建设中，视频监控系统通过计算6、医疗监控与老年护理：在医疗机构或养老院中，视频监控结合计算机视觉技术可以有效实现病人状态监控、行为GB/TXXXXX—XXXX7、轨道交通列车自主感知分析：在列车行驶中，可利用各类传感器感8、无人机低空巡检：在电力、铁路等领域，通过无人机拍摄结合计算3人物、场景、文本等各种信息的识别与分析。1、安防与监控：在安防监控系统中，图像识别技术用于对监控2、零售与智能购物：图像识别技术在零售行业的应用，能够提升顾客拟试衣与增强现实（AR）、顾客行为分析、3、自动驾驶与智能交通：图像识别技术在自动驾4、工业生产与质量检测：在工业生产过程中，图像识别技术用于检测觉检测，能够有效提升生产效率、减少人为5、农业与环境监控：图像识别技术在农业生产中的应用集中在作物监6、文档与文本识别：图像识别技术在文档处理、文本提取与电子化管7、智能电商与视觉搜索：在电子商务领域，图像识别技术通过视觉搜可追溯性4对于三维物体的识别，应用于三维视觉建模，56GB/TXXXXX—XXXX可追溯性789行解互语音识别技术是让机器通过识别和理解过程把语音信号转变为相应的文GB/TXXXXX—XXXXGB/TXXXXX—XXXX参考文献[1]GB/T41867-2022信息技术人工智能术语[2]GB/T25069信息安全技术术语[3]GB/T35273信息安全技术个人信息安全规范[4]GB/T41819信息安全技术人脸识别数据安全要求[5]GB/T24353风险管理指南[6]GB/T45288.1-2025人工智能大模型第1部分：通用要求[7]ISO/IECTS4213:2022Informationtechnology—Artificialintelligence—Assessmentofmachinelearningclassificationperformance[8]ISO/IEC5259-1:2024Artificialintelligence—Dataqualityforanalyticsandmachinelearning(ML)—Part1:Overview,terminology,andexamples[9]ISO/IEC5259-2:2024Artificialintelligence—Dataqualityforanalyticsandmachinelearning(ML)—Part2:Dataqualitymetrics[10]ISO/IEC5259-3:2024Artificialintelligence—Dataqualityforanalyticsandmachinelearning(ML)—Part3:Dataqualitymanagementrequirementsandguidelines[11]ISO/IEC5259-4:2024Artificialintelligence—Dataqualityforanalyticsandmachinelearning(ML)—Part4:Dataqualityprocessframework[12]ISO/IEC5259-5:2025Artificialintelligence—Dataqualityforanalyticsandmachinelearning(ML)—Part5:Dataqualitygovernanceframework[13]ISO/IEC5338:2023Informationtechnology—Artificialintelligence—AIsystemlifecycleprocesses[14]ISO/IECTR5469:2024Artificialintelligence—FunctionalsafetyandAIsystems[15]ISO/IECTS8200:2024Informationtechnology—Artificialintelligence—Controllabilityofautomatedartificialintelligencesystems[16]ISO9001:2015Qualitymanagementsystems—Requirements[17]ISO/IECGuide51:2014Safetyaspects—Guidelinesfortheirinclusioninstandards[18]ISO/IECTS12791:2024Informationtechnology—Artificialintelligence—Treatmentofunwantedbiasinclassificationandregressionmachinelearningtasks[19]ISO/IEC23053:2022FrameworkforArtificialIntelligence(AI)SystemsUsingMachineLearning(ML)[20]ISO/IEC23894:2023Informationtechnology—Artificialintelligence—Guidanceonriskmanagement[21]ISO/IECTR24027:2021Informationtechnology—Artificialintelligence(AI)—BiasinAIsystemsandAIaideddecisionmaking[22]ISO/IECTR24028:2020Informationtechnology—Artificialintelligence—Overviewoftrustworthinessinartificialintelligence[23]ISO/IECTR24029-1:2021ArtificialIntelligence(AI)—Assessmentoftherobustnessofneuralnetworks—Part1:Overview[24]ISO/IECTR24029-2:2023Artificialintelligence(AI)—