人工智能教育应用安全指南(试行)

人工智能教育应用安全指南(试行)》一、总则1.1编制目的为规范人工智能在教育领域的应用，防范各类安全风险，保障师生合法权益，推动人工智能教育应用健康有序发展，根据《中华人民共和国网络安全法》《中华人民共和国个人信息保护法》《生成式人工智能服务管理暂行办法》《教育数据安全管理规范》等法律法规及政策要求，制定本指南。1.2适用范围本指南适用于各级各类学校、教育行政部门、教育培训机构开展人工智能教育应用活动，以及面向教育领域提供人工智能产品、技术服务的企业机构的相关运营活动，覆盖学前教育、义务教育、普通高中教育、职业教育、高等教育、终身教育等各类教育场景。1.3基本原则坚持安全优先、未成年人权益优先、最小必要、权责一致的原则，将安全要求贯穿人工智能教育应用全生命周期，实现技术创新发展与安全风险防控的平衡。二、数据安全规范2.1数据分类分级保护根据教育数据的敏感程度，将人工智能教育应用涉及的数据划分为三个等级：一是高度敏感数据，包括不满14周岁未成年人的个人信息、师生生物识别信息（人脸、指纹、声纹、虹膜等）、身体健康信息、心理健康诊断信息、家庭财产与收入信息、监护人隐私信息、师生宗教信仰等特殊信息；二是敏感数据，包括14周岁以上未成年学生的个人信息、教师个人非公开信息、国家教育考试涉密数据、学校未公开的教学管理数据；三是一般数据，指公开可获得的教学资源、完成匿名化处理的整体教学统计数据等。针对不同等级数据采取差异化保护措施：高度敏感数据必须采用端到端加密存储，访问权限严格控制到最小范围的具体工作人员，非法定事由不得向任何第三方提供；敏感数据必须采取存储加密措施，对外提供需经过正式安全评估并获得相关主体的明确同意；一般数据需落实基础安全防护措施，防止被非法篡改、窃取。2.2数据采集合规要求严格落实最小必要原则，人工智能教育应用仅可采集实现核心业务功能必需的数据，不得超出业务范围采集与服务无关的信息。例如AI刷题应用仅可采集用户答题内容、练习时长数据，仅在用户主动上传手写题目时可临时申请相册权限，不得常态化申请获取设备通讯录、地理位置、麦克风等与学习无关的权限；学情分析应用不得强制采集学生课堂微表情、肢体动作等非必需数据。采集个人信息应当严格落实告知同意规则，针对未成年人必须征得其监护人的明示同意，不得通过默认勾选、捆绑服务、隐瞒用途等方式变相强迫同意；采集高度敏感数据必须单独取得监护人的书面同意，不得与其他授权事项合并打包。据《2023年中国人工智能教育发展白皮书》统计，当前71.2%的AI教育应用存在过度采集个人信息问题，18.6%的应用未按要求取得监护人同意，合规采集是人工智能教育应用安全的基础防线。2.3数据存储与流转安全涉及未成年人个人信息、教育重要数据的应当存储在中国大陆境内服务器，确需向境外提供数据的，应当按照《数据出境安全评估办法》完成官方安全评估，未经评估不得擅自出境。数据存储期限满足最小必要要求，服务终止后应当在30个工作日内彻底删除所有收集的个人信息，不得留存备份；临时性使用的数据，例如AI监考的考生视频、人脸信息，应当在考试结束后15个工作日内彻底删除，不得长期留存用于其他商业用途或非授权场景。数据共享、交易应当严格合规，任何机构不得买卖、泄露师生个人信息，脱敏后的统计数据对外共享应当经过第三方安全评估，确保无法复原识别到具体个人，方可对外提供。三、内容安全规范3.1全流程内容审核机制建立“先审后用”的全流程内容安全审核机制，所有向师生推送的内容都必须经过审核后方可上线。针对生成式人工智能生成的内容，必须建立三级审核机制：一级为机器智能预审，过滤违法违规关键词与明显违规内容；二级为人工审核，排查低俗、暴力、错误价值观等隐性违规内容；三级为学科专家复核，校验知识内容的准确性，确保知识内容符合国家课程标准要求。3.2内容合规核心要求所有AI教育应用提供的内容必须符合社会主义核心价值观，遵守法律法规要求，不得含有下列内容：（1）反对党的领导、否定中国特色社会主义制度的错误意识形态内容；（2）歪曲党史、新中国史、改革开放史、社会主义发展史、中华民族发展史的错误历史观内容；（3）民族分裂、宗教极端、暴力恐怖内容；（4）低俗色情、暴力血腥、封建迷信内容；（5）歧视性别、民族、地域、残障群体的内容；（6）不符合未成年人身心发展特点的不良诱导内容；（7）侵犯第三方知识产权、隐私权等合法权益的内容。知识类内容必须保证准确性，学科知识点、习题、答案、教研内容等知识类内容的准确率不得低于99%，AI生成的内容不得存在事实错误、概念错误、逻辑错误，因大模型“幻觉”产生的错误内容必须在发布前全部清除。3.3训练数据合规要求人工智能教育产品的训练数据应当合法合规，不得非法使用未获得授权的他人教案、习题、论文、著作等受著作权保护的内容训练模型，不得使用来源不明、存在安全风险的公开数据训练模型，服务商应当对训练数据的合法性负责，建立完整的训练数据溯源存档机制。四、算法安全规范4.1算法公平性要求保证算法公平，禁止算法歧视，不得基于学生的性别、民族、地域、家庭背景、经济条件、残障状况等自然属性与社会属性设置差异化的资源获取权限、学习路径推荐，不得对特定群体学生提供低质量教学资源。同一付费等级、同一类型的产品服务应当向所有符合条件的学生开放平等的资源权限，基于用户自主选择的产品分层服务不属于算法歧视。4.2算法可解释性要求人工智能教育应用涉及学生学情诊断、学业评价、升学推荐、综合素质评价等对学生权益有重要影响的决策，算法逻辑必须具备可解释性，不得使用完全不可解释的黑箱算法做出影响学生权益的决策；学校、师生、监护人有权查询算法决策的核心依据，服务商应当提供清晰易懂的解释说明，不得拒绝查询。例如AI给出“某学生数学逻辑思维能力薄弱”的诊断结论，应当明确说明诊断依据来自哪些答题数据、评价维度权重是多少，不得仅给出结论不说明依据。4.3禁止成瘾性诱导算法禁止设计以延长使用时长、提高流量留存为目标的成瘾性算法，不得设计连续打卡赢奖品、等级排位、虚拟社交诱导等容易导致未成年人沉迷的功能。所有面向中小学生的AI教育应用必须按照要求设置时长限制：中小学生单日累计使用时长不得超过30分钟，单次连续使用不得超过20分钟，达到时长上限自动锁定，次日方可解锁。据2024年中国青少年研究中心对全国12个省份45所中小学的调查显示，36.8%使用AI学习工具的初中生日均使用时长超过2小时，远超教育部规定的中小学生线上学习时长要求，其中近六成的过度使用是由成瘾性诱导算法导致，因此严格规范算法设计是防止未成年人沉迷的核心举措。4.4算法备案要求提供生成式人工智能服务的人工智能教育应用，应当按照《生成式人工智能服务管理暂行办法》要求完成算法备案，备案通过后方可面向教育领域提供服务，未备案不得上线运营。服务商更新核心算法框架、更换大规模训练数据集后应当重新完成备案。五、师生权益保护规范5.1未成年人权益优先保护所有面向未成年人的人工智能教育应用必须默认开启未成年人模式，未成年人模式下不得开放社交功能、打赏功能、付费直播功能，不得植入任何商业广告，不得推送与学习无关的内容，不得诱导未成年人超额付费消费。未成年人的个人信息保护应当采取比成年人更严格的标准，不得收集与服务无关的未成年人信息，不得向第三方提供未成年人个人信息。5.2核心育人职责不得替代明确人工智能仅可作为教育教学的辅助工具，不得替代教师承担核心育人职责，禁止用人工智能完全替代教师的教学设计、课堂讲授、德育引导、学业评价、个性化辅导等核心教学工作。例如AI作文批改仅可提供基础性批改建议，最终的成绩评定与个性化评语必须由任课教师完成；AI互动课程仅可作为课后拓展辅助，不得替代教师的课堂教学。5.3人格权保护严格保护师生人格权，禁止使用AI换脸、AI深度合成、语音合成等技术制作侵害师生肖像权、名誉权、隐私权的内容；非必要不使用生物识别技术，学校不得将人脸识别、指纹识别等生物识别技术用于课堂考勤、作业签到、日常出入校验证，仅可在校园安防、大规模考试身份验证等法定必需场景使用，使用前应当公示用途并征得师生及监护人同意。5.4知情权与救济权师生及监护人有权查询服务商存储的本人所有个人信息，有权要求更正错误的算法诊断结果、错误的个人信息，服务商应当在接到申请后15个工作日内完成处理并答复，不得拒绝更正；因人工智能应用错误导致师生权益受损的，服务商应当承担相应的赔偿责任，建立便捷的线上线下权益救济渠道。5.5知识产权归属师生使用人工智能教育应用生成的教学成果、学习成果，著作权归师生所有，服务商不得主张著作权所有权，仅可在提供服务必需的范围内合理使用，不得用于其他商业用途。六、重点场景应用安全规范6.1课堂教学与学情分析场景禁止使用人工智能对单个学生开展实时课堂情绪监测、微表情分析、肢体动作识别，并将分析结果用于学生学习态度、思想品德评价；仅可在匿名化处理后，将整体课堂数据用于教学方法改进，不得针对单个学生生成公开的评价结论。个性化学习推荐不得对学生进行标签化分类，不得给学生打上“差生”“学困生”等负面标签，不得将学生标签数据提供给第三方机构。6.2考试与评价场景人工智能监考仅可用于辅助人工监考，AI识别的作弊疑似结果必须经过两名以上监考工作人员人工复核，不得直接依据AI识别结果判定考生作弊；AI监考不得采集考生考场外的任何个人信息，考试结束后按要求及时删除考生相关数据。人工智能辅助评卷中，作文、主观题评分的AI评分误差率不得超过5%，误差超过阈值的试卷必须由评卷教师人工复评；人工智能仅可辅助整理综合素质评价材料，不得对学生综合素质做出最终等级评定。6.3心理健康教育场景人工智能心理咨询仅可提供一般性情绪疏导、心理健康知识科普服务，不得替代专业心理从业人员开展心理疾病诊断、心理危机干预；AI心理咨询系统监测到学生存在自杀、自伤、伤人等严重心理危机倾向的，必须在10分钟内推送预警信息至学校专职心理教师和学生监护人，不得延误预警。6.4学前教育场景面向学前儿童的人工智能教育应用，单次使用时长不得超过15分钟，日均累计使用不得超过30分钟；内容必须符合《3-6岁儿童学习与发展指南》要求，不得开展小学化内容教学，不得推送拼音、数学、英语等超前学习内容，不得损害学前儿童的身心健康发展。6.5教师教研与培训场景人工智能生成的教研资源、培训内容必须明确标注“AI生成”，提醒使用者核实内容准确性；不得将AI生成的教研成果直接作为官方权威成果发布，不得用AI完全替代教师集体教研、实地培训过程。七、运维与应急管理7.1日常安全运维服务商应当建立常态化安全运维机制，对人工智能教育应用系统每月开展至少一次安全漏洞扫描，每季度开展一次全面安全风险评估，及时修复发现的安全漏洞；建立724小时安全监测机制，实时监测数据泄露、大规模内容违规、算法异常等安全风险。7.2应急预案与演练服务商与使用单位应当共同制定人工智能教育应用安全应急预案，明确数据泄露、大规模内容违规、算法异常、系统瘫痪等安全事件的处置流程、责任分工；每年至少开展两次应急演练，提升应急处置能力。7.3安全事件处置发生人工智能教育应用安全事件后，服务商应当第一时间启动应急预案，采取技术措施控制事态扩大，在48小时内通知受影响的师生和监护人，并按照要求向属地教育行政部门、网信部门、公安机关报告，不得隐瞒、迟报、漏报安全事件。八、监督与责任落实8.1主体责任划分人工智能教育产品服务商是应用安全的第一责任主体，对产品的数据安全、内容安全、算法安全承担首要责任；各级各类学校是校内使用人工智能教育应用的管理责任主体，对进校应用的选型、使用管理承担管理责任；教育行政部门承担属地监督管理责任。8.2进校准入审查各级教育行政部门建立人工智能教育应用进校安全审查机制，所有进入学校使用的人工智能教育产品必须经过数据安全、内容安全、算法安全专项审查，审查合格后方可纳入教育采购目录，未经审查不得进校使用。审查过程应当邀请教育专家、信息安全专家、法律专家参与，保证审查的专业性与公正性。8.3定期抽检与退出机制教育行政部门每年度