人工智能教育应用安全指南(试行)

人工智能教育应用安全指南(试行)》1总则1.1编制目的为规范人工智能技术在教育领域的应用行为，防范数据泄露、算法歧视、内容违规等安全风险，保障师生尤其是未成年人的合法权益，维护教育教学秩序与公共利益，依据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《未成年人网络保护条例》《教育数据管理暂行办法》《互联网信息服务算法推荐管理规定》等法律法规与政策文件，制定本指南。1.2适用范围本指南适用于各级教育行政部门、各级各类学校（含幼儿园、普通中小学、中等职业学校、高等学校、特殊教育学校）、非营利性教育机构、面向中小学生的校外培训机构开展的人工智能教育应用采购、部署、使用、管理活动，以及为上述主体提供人工智能教育产品与服务的供应商（以下简称服务商）的研发、运营、运维活动。覆盖场景包括但不限于AI作业批改、AI智能答疑、AI学情分析、AI个性化学习推荐、AI综合素质测评、AI虚拟教师/数字人助教、AI实验仿真、AI升学规划指导、AI学术写作辅助等。1.3基本原则1.3.1安全优先原则：人工智能教育应用的研发、采购、使用全流程需将安全风险防控放在首位，禁止以提升教学效率、降低运营成本为由弱化安全保障要求。1.3.2最小必要原则：严格限定人工智能教育应用的功能边界、数据收集范围与使用场景，不得开发与教育教学无关的附加功能，不得收集超出实现核心功能所需的任何数据。1.3.3权责对等原则：按照“谁运营谁负责、谁使用谁负责、谁主管谁负责”的要求明确各方安全责任，服务商承担产品安全主体责任，使用单位承担日常管理责任，教育行政部门承担行业监管责任。1.3.4透明可溯原则：人工智能教育应用的算法逻辑、数据处理规则、内容生成机制需向使用方与用户公开可查，所有操作行为留痕，安全事件可溯源、可追责。1.3.5分类防护原则：针对学前教育、义务教育、高中教育、高等教育、职业教育等不同阶段的应用场景，以及普通数据、敏感个人数据、重要教育数据等不同数据级别，实施差异化的安全防护策略。2准入安全管理2.1服务商资质要求服务商需具备网络安全等级保护2.0三级及以上备案证明与近6个月内的等保测评合格报告；涉及处理超过10万人敏感个人信息的服务商需通过数据安全能力成熟度（DSMM）三级及以上认证；需具备教育移动互联网应用程序备案资质，无近3年内涉教育数据泄露、内容违规、算法歧视等违法违规记录；需配备不少于5人的专职安全运维团队，核心安全岗位人员需持有网络安全工程师相关职业资格证书。2.2前置安全检测所有人工智能教育应用在上线使用前，需委托具备CNAS/CMA资质的第三方权威检测机构开展安全性检测，检测内容包括但不限于：恶意代码检测、权限过度申请检测、数据收集合规性检测、内容安全机制检测、算法公平性检测、漏洞风险检测，检测不合格的不得投入使用。针对面向未成年人的人工智能教育应用，需额外开展沉迷诱导风险检测、商业广告植入检测，检测报告有效期为1年，到期需重新检测。2.3采购合规要求使用单位采购人工智能教育应用服务时，需将安全保障条款作为合同核心内容，明确约定服务商的数据安全责任、内容审核责任、算法安全责任、应急处置责任，以及违约后的退出机制、赔偿标准；需明确要求服务商承诺不得向第三方转让、出售、共享教育数据，不得利用教育数据开展商业广告推送、用户画像变现、课外培训导流等与教育教学无关的活动；合同需留存不少于5年，作为后续追责依据。3数据全生命周期安全管理3.1数据收集合规要求严格遵循“告知-同意”规则，收集个人信息前需以清晰、易懂的方式向用户（未成年人需同时向其监护人）告知收集目的、数据类型、使用范围、留存期限、注销渠道，获得用户明示同意后方可收集，禁止默认勾选同意、一揽子授权、捆绑授权；除法定要求或监护人单独书面同意外，不得收集未成年人的生物识别信息（人脸、指纹、声纹、虹膜、掌纹）、健康生理信息、家庭住址、父母联系方式、行踪轨迹、宗教信仰等敏感个人信息，确需收集生物识别信息用于身份核验的，需提供非生物识别的替代核验方案；AI作业批改、学情分析类应用仅可收集必要的作业内容、班级学号、知识点掌握数据，不得收集与核心功能无关的学生消费记录、社交关系、兴趣偏好等数据。3.2数据存储安全要求所有教育数据需存储在中华人民共和国境内，确需向境外提供的需严格按照《数据出境安全评估办法》要求完成网信部门安全评估，且获得监护人单独同意；敏感个人信息需采用国密SM2/SM3/SM4算法进行加密存储，密钥与数据需分离部署，密钥管理人员需实施双人双岗负责制；教育数据留存期限需严格限定在实现核心功能的最短时间内，义务教育阶段学生学情数据留存期限最长不超过学生毕业之后3年，高等教育阶段学生学术数据留存期限最长不超过学生毕业之后5年，法律法规另有要求的从其规定；禁止在公共云服务器、境外服务器存储未成年人敏感教育数据。3.3数据传输安全要求数据传输过程需采用TLS1.3及以上版本的加密协议，防止数据被窃取、篡改、截取；传输敏感个人信息时需添加脱敏标记，全程记录传输节点、传输时间、接收方信息，传输日志留存不少于3年；禁止通过微信、QQ等公共社交工具传输批量学生敏感数据。3.4数据使用安全要求数据使用需严格限定在预先告知的目的范围内，不得超出范围开展数据处理活动；学情数据、综合素质测评数据仅可用于个性化教学指导、学习效果优化，不得作为学生分班、评优评先、升学录取的唯一依据，不得公开公示学生的个人学习排名、敏感学情数据；用于教育科研的数据集需进行不可逆脱敏处理，去除所有可识别个人身份的信息，不得使用原始个人数据开展科研活动；禁止利用教育数据推送商业广告、网络游戏、低俗内容，禁止基于用户画像实施大数据杀熟、差异化导流等行为。3.5数据共享与出境安全要求原则上不得向第三方共享教育数据，确需共享的需开展数据安全影响评估，获得用户单独同意，明确第三方的安全防护责任与数据使用范围，且第三方不得再次转授数据使用权；向境外提供教育数据需符合国家数据出境相关规定，未经评估通过的不得出境，任何单位与个人不得私自向境外机构、组织、个人提供境内未成年人教育数据。3.6数据销毁安全要求数据留存到期或用户主动申请删除个人数据的，需采用不可恢复的方式销毁，包括物理销毁存储介质、多次覆写数据、加密销毁等，不得仅执行逻辑删除操作；数据销毁需出具书面销毁证明，记录销毁时间、销毁数据范围、销毁操作人员、销毁方式，销毁记录留存不少于3年；服务商终止服务时，需将所有留存的教育数据全部移交使用单位或彻底销毁，不得私自留存。4内容安全管理4.1内容审核机制要求人工智能教育应用需建立“AI智能初筛+人工专业终审”的双层内容审核机制，所有生成内容、用户上传内容均需经过审核后方可展示；审核团队需配备相应的学科专业人员，K12阶段内容审核人员需持有对应学科教师资格证，思想政治、历史、语文等意识形态属性较强的学科内容审核人员需具备3年以上相关学科教学或教研经验；内容审核台账需留存不少于6个月，记录审核时间、审核内容、审核人员、审核结果。4.2内容合规要求所有教育内容需符合国家课程标准、教育教学规律，符合社会主义核心价值观，不得含有危害国家安全、泄露国家秘密、颠覆国家政权、破坏国家统一的内容，不得含有淫秽色情、暴力恐怖、封建迷信、民族歧视的内容，不得出现错误的历史观、民族观、国家观、文化观，不得出现史实错误、学科知识错误；禁止生成诱导未成年人沉迷网络、超前学习、过度刷题、攀比消费的内容，禁止生成贬低学生人格、打击学生学习积极性的负面评价内容；面向义务教育阶段的人工智能教育应用不得植入任何商业广告、游戏链接、课外培训导流信息。4.3生成内容标识要求人工智能生成的所有教育内容，包括习题、解析、拓展材料、答疑回复、虚拟人播报内容、写作辅助内容等，需在显著位置标注“人工智能生成”字样，明确提示用户内容属性；学术写作辅助类AI工具需增加学术诚信提示功能，明确告知用户不得直接抄袭AI生成内容，使用AI生成内容完成作业、论文的需明确标注来源，防范学术不端。4.4不良内容应急处置要求建立不良内容实时监测机制，配备724小时内容巡查人员，发现违规内容需在1小时内下线，同时溯源排查内容生成逻辑漏洞，优化审核规则；发生大规模不良内容传播事件的，需第一时间关停相关功能，上报属地教育行政部门与网信部门，同时告知受影响的用户，做好解释说明工作。5算法安全管理5.1算法备案要求提供算法推荐、自动决策服务的人工智能教育应用，需按照《互联网信息服务算法推荐管理规定》要求向国家或省级网信部门履行算法备案手续，备案信息包括算法类型、应用场景、决策逻辑、数据来源等；涉及学情分析、综合素质测评、升学规划、就业推荐等影响用户重大权益的算法，需每年委托第三方机构开展算法安全性评估，评估报告向社会公开。5.2算法公平性保障算法模型训练需排除性别、民族、地域、家庭背景、消费能力等与学习能力无关的特征变量，不得设置歧视性规则，不得针对不同群体设置差异化的资源推荐权限；每年至少开展1次算法公平性测试，重点排查是否存在对农村学生、残障学生、学习困难学生的资源推荐限制，是否存在放大学习差距的算法设置，发现偏见及时优化调整。5.3算法透明性要求需向用户明确告知算法的基本原理、决策依据、应用边界，比如个性化习题推荐需明确告知用户推荐依据的知识点掌握情况、错题记录等信息，不得设置“黑箱算法”；算法做出影响用户重大权益的决策时，比如综合素质评价打分、学业等级判定，需向用户提供决策说明与申诉渠道，申诉处理时长不得超过3个工作日。5.4算法伦理规范禁止设置打卡积分、连续登录奖励、等级晋升等诱导用户过度使用的算法机制，面向未成年人的应用需默认开启青少年模式，上课之外的使用时长每日不超过40分钟，22:00至次日6:00不得向未成年人提供服务，监护人可自行调整使用时长限制；禁止利用算法分析用户的性格特征、家庭收入、家长职业等与教育教学无关的信息构建用户画像，不得利用算法操纵用户选择。6使用过程安全管理6.1安全培训要求使用单位需每年组织不少于2次的人工智能教育应用安全培训，覆盖全体师生与学生监护人，培训内容包括个人信息保护、AI生成内容辨别方法、网络诈骗防范、AI工具合理使用规范等；教师需掌握AI应用的安全操作规范，不得私自上传学生敏感信息、未公开的试题资源至第三方AI工具。6.2日常运维管理要求使用单位需配备专职人工智能应用安全管理员，负责账号权限分配、日常安全检测、应急事件上报等工作，管理员账号需实施双重身份认证，权限最小化配置；每季度至少开展1次在用AI应用的安全巡检，重点排查是否存在违规收集数据、推送不良内容、权限越界等问题，发现问题及时要求服务商整改，整改不到位的暂停使用。6.3未成年人特殊保护要求义务教育阶段的人工智能教育应用不得设置社交互动、打赏、充值、直播等非教学功能，不得向学生推送任何校外培训信息；建立监护人监督端口，家长可查询孩子的使用时长、使用内容，可设置功能使用权限、禁用时段；禁止使用人工智能工具完全替代教师开展系统授课、作业批改、家校沟通等核心教学工作，仅可作为辅助教学工具使用。6.4学术诚信管理要求高等教育、职业教育院校需明确AI学术工具的使用规范，要求学生使用AI生成内容完成作业、论文、毕业设计的需明确标注使用范围、来源，未标注的按学术不端处理；配备AI生成内容检测工具，将AI内容检测纳入作业、论文审核流程，防范抄袭、代写等学术不端行为。7应急处置与风险预警7.1应急预案建设各级教育行政部门、使用单位、服务商需分别制定人工智能教育应用安全应急预案，覆盖数据泄露、不良内容传播、算法故障、系统瘫痪等场景，明确处置流程、责任分工、上报机制；每年至少开展1次应急演练，检验应急预案的可操作性，优化处置流程。7.2安全事件处置流程发生安全事件后，服务商需第一时间启动应急预案，采取关停服务、修复漏洞、止损隔离等措施，在30分钟内上报属地教育行政部门、网信部门、公安部门，同时通过站内信、短信等方式告知受影响的用户，说明事件影响范围、处置措施、后续防范建议；发生数据泄露事件的，需配合相关部门开展溯源调查，为受影响用户提供不少于1年的免费身份监测服务，依法承担赔偿责任。7.3风险监测预警机制省级教育行政部门需建立人工智能教育应用安全风险监测平台，对辖区内在用的所有AI教育应用开展实时监测，每月发布安全风险提示，通报违规应用名单；建立风险举报渠道，鼓励师生、家长举报违规AI应用，对举报线索核实后及时处置。8监督管理与责任追究8.1分级监管责任省级教育行政部门负责统筹辖区内人工智能教育应用的安全管理工作，制定本地实施细则，组织开展专项检查；市级、县级教育行政部门负责本辖区内AI应用的日常监督、备案管理、风险排查；使用单位负责本单位AI应用的准入审核、日常运维、人员培训；服务商承担产品安全主体责任，负责产品的安全升级、漏洞修复、应急处置。8.2常态化检查机制各级教育行政部门需联合网信、公安、市场监管部门每年开展不少于2次的人工智能教育应用专项检