《人工智能产品伦理风险管理指南》

本文件面向人工智能产品设计、开发、部署、运行管理的生存周期，分析了人工智能产品的伦理风险，规范了人工智能产品风险管理体系。本文件适用于指导人工智能产品开发方、使用方以及第三方认识、管理、评估人工智能产品的伦理2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。人工智能artificialintelligence;Al<工程系统>共同构建、优化和应用模型的一组方法或自动化实体，使系统能针对一系列预定义任务实现预测、推荐或决策。[来源：ISO/IEC22989:2022,定义3.1.3]人工智能产品生存周期artificialintelligenceproductlifecycle人工智能产品从设计到退役的演进过程，包括设计开发、验证测试、部署运行、维护升级、退役下线。[来源：GB/T25069—2022,3.523,有修改]算法algorithm用于求解问题，明确界定的有限且有序的规则集合。基于输入数据生成推理或预测的计算结构。2<人工智能>系统与利益相关方交流关于该系统适当信息的特性。[来源：ISO/IEC22989:2022,3.5.15]3役下线等过程中生成或获取的数据，包括训练伦理风险分析数据主体采集授权相关风险隐私保护数据集的规模、均衡性等设计不足数据预处理、模型训练等环节数据处理流程安全问题隐私保护、安全和安保数据预处理的质量问题，如数据标注准确率不足模型评估等环节数据处理流程安全问题隐私保护、安全和安保测试数据集规模、均衡性等质量问题测试数据集与训练数据集重复度高模型部署环节数据处理流程安全问题隐私保护、安全和安保模型部署时的数据集完整性等质量问题模型部署时的数据集均衡性不足等质量问题模型推理环节运行数据处理流程安全问题隐私保护、安全和安保溯技术责任和问责维护升级再训练阶段数据处理流程安全问题隐私保护、安全和安保退役下线隐私保护、安全和安保4.2算法层面风险分析风险分析算法存在对特定人群以及性别歧视设计算法存在对个人和社会的恶意设计、潜在危害向善性算法缺乏安全、可控性设计模型训练环节的算法产生偏见、不公平问题模型训练环节的算法不可解释问题模型评估环节的算法偏见问题模型评估环节算法安全问题模型评估环节中缺乏有效的版本管理、不可追溯等问题责任和问责模型评估环节的算法不可解释问题模型部署环节的环境不可控模型部署环节的算法安全、韧性问题模型部署环节的算法不可解释问题模型推理环节的算法安全、韧性问题模型推理环节的算法不可控问题模型推理环节的算法滥用、误用问题模型推理环节中缺乏有效版本管理、不可追溯等问题责任和问责模型推理环节的算法不可解释、不可预测问题维护升级模型更新时模型参数与配置不正确模型更新时缺乏有效版本管理责任和问责退役下线模型退役时模型未彻底删除或模型参数泄露4.3应用管理层面风险分析应用管理层面的风险分析对象指产品上线之后，全生存周期的使用、管应用管理层面，人工智能产品对社会产生的影响，例如因为人机器在自我学习过程中输入了到数据的多维不同特征，而造成算法将偏见引入决策过程的算法歧视风风险分析产品运行时的歧视问题产品运行时的潜在威胁向善性产品运行时的数据或模型不可追溯责任和问责产品运行时的模型和运行数据遭受对抗性攻击维护升级或未设置传输加密或端到端校验机制，存在泄漏或者隐私风险安全和安保、隐私保护、责任和问责退役下线中存在删除不完整、过程数据未删除等情况安全和安保、隐私保护5如图1所示，通过对人工智能产品伦理风险进行分析和汇总，本文件给出了人工智能产品的伦理风险管理体系，包含向善性、公平性、安全和安保、隐私保护、监督和决策、透明可解释、责任和问责等七项指标。同时，该管理体系根据上述人工智能产品伦理风险管理的指标项，进一步细化为多项评价指标。可追渊性可追渊性责任组织架构例外界定机制责任界定可预测性可理解性异常定位风险直测显著标识防止人为道用保障自主决策权保障个人权益保障个人信息功能安全韧性可控性算法偏见控制数据偏见控制特殊人群需果大众普适性可持续发展相称性和不损害图1人工智能产品伦理风险管理体系5.2向善性向善性包括以下要求：a)相称性和不损害：在人工智能产品生存周期中，人工智能产品的相应预测结果或行为应不超出实现合法目的或目标所需的范围，不得对人类、人权和基本自由、个别社区和整个社会造成损b)可持续发展：在设计理念与实际应用中，人工智能产品宜充分考虑了其对环境和社会可持续发展的影响。5.3公平性公平性包括以下要求：a)大众普适性：人工智能产品应具备相关机制，保障大众群体在使用人工智能产品的普遍适用性；b)特殊人群需求：针对少数和弱势群体，人工智能产品在设计理念与实际应用中应考虑特殊需求，包括但不限于推出相应的页面与符合群体特征的应用机制；c)数据偏见控制：人工智能产品在设计阶段应考虑数据偏见问题，使所采用的数据集避免因数据处理者对文化、政策或历史因素的人类认知偏见而导致的非必要性数据偏见，或具备相关机制消除或减轻偏见；人工智能产品在统计意义上完备地代表了所面向的群体或具备有效机制，消除缺乏代表性时对相关群体造成的不良影响；d)算法偏见控制：人工智能产品应具备算法偏见的控制机制，使得所应用的算法能面向全部群体输出有意义与非歧视性的结果。65.4安全和安保5.5隐私保护5.6监督和决策5.7透明可解释d)可理解性：人工智能产品应提供清晰、易懂、充分的解释，使得做出用户充分理解针对其做出e)可预测性：人工智能产品应考虑采用相关机制提高自身行为的可预测性，帮助相关的开发维护5.8责任和问责b)例外界定机制：针对人工智能产品在设计、开发、部署、运行过程中产生的监管规定未涉及的c)责任组织架构：人工智能产品开发方应明确伦理相关的负责人进行监管、处理人工智能产品开d)可追溯性：在人工智能产品生存周期中，人工智能产品应具备相关机制实现对输出结果背后的8Frameworkofethicalaspectsofartificialintelligencero[7]GB/T25069—2022《信息安全技术术语》[8]/