版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
/“数字利维坦”的驯化:人工智能嵌入教育数据治理的法律规制——以欧盟《人工智能法》为例【摘要】作为新一轮科技革命的核心驱动力,人工智能正在全方位融入并重塑教育生态系统。《教育强国建设规划纲要(2024-2035年)》在强调人工智能助力教育变革时,特别指出要强化数据安全、人工智能算法和伦理安全。人工智能嵌入教育数据治理,虽可赋能教育治理数智化,但也对公民受教育权、隐私权等基本权利构成挑战甚至威胁。为防范“数字利维坦”危机,亟须相应的法律规制。欧盟《人工智能法》在教育数据治理领域,体现了保障公民受教育权、促进教育数据开放共享、鼓励教育科技负责任创新的价值意蕴。其分等级治理、全链条治理及契约性治理的多重策略,对我国在人工智能时代教育数据治理的法律应对有重要的借鉴价值。【关键词】人工智能;教育数据治理;欧盟《人工智能法》;法律规制 英国哲学家霍布斯在其经典著作《利维坦》中,借用《圣经》中上帝创造海上巨兽“利维坦”这一意象,将国家隐喻为人类自己制造的、联结最高主权的、具有绝对权威的“利维坦”。“国家利维坦”的诞生,旨在解决人类自身无法解决的问题,避免人类在自然状态下走向每个人反对每个人的战争[1]。然而,在享受国家保障安全美好生活的同时,如何将“国家利维坦”关进牢笼,约束国家权力的滥用,也一直是现代社会关注的核心议题。在以数据为新型“血肉”的算法时代,“利维坦”完成数字化重构,“数字利维坦”随之诞生。人们在对大数据、云计算、人工智能等数字技术高度依赖和崇拜的同时,也开始警惕“寡头垄断”型主体沿循“算法-规则-权力”的路径生成“数字特权”[2],以及数字巨兽对人们隐私空间与数据安全的疯狂侵蚀。人工智能在推动教育深刻变革的同时蕴含着巨大的风险,遏制风险的关键是要通过法律规制驯化人工智能这只“数字利维坦”。作为数智时代的新型生产要素,教育数据是教育数字化、网格化、智能化的基础。教育数据通常被认为是对教育规划、教育教学、教育科研、教育管理等行为过程及输入输出的真实反映,涉及大量公共数据及个人隐私信息[3]。随着人工智能与教育领域日益密切的融合,不同类型、体量庞大的教育原始数据背后蕴含的复杂信息被深度挖掘,为教育主体的理性治理提供决策依据,赋能教育高质量发展。与此同时,教育数据在采集、传输、存储及应用等多个环节也面临着前所未有的挑战。 面对人工智能治理的崭新课题,世界各国都重视通过立法予以规范。欧盟采用统一性专门立法,通过具有法典性质的《人工智能法》(ArtificialIntelligenceAct)统一监管规则,其中明确涉及教育领域;美国积极推动各州自治,通过地方性立法防范人工智能风险。我国人工智能立法呈现出“小切口”的特点,对生成式人工智能、自动驾驶汽车及深度合成等问题出台了相关部门规章及地方规章。虽然国务院2017年印发的《新一代人工智能发展规划》中就指出人工智能技术对法律与社会伦理、个人隐私等问题可能带来的深刻挑战,第十三届、十四届全国人大常委会立法规划也均将人工智能立法列入其中,但我国目前尚未实现人工智能的统一立法。学界提出的《人工智能法示范法1.0(专家建议稿)》《人工智能示范法2.0(专家建议稿)》(以下简称“《专家建议稿2.0》”)及《中华人民共和国人工智能法(学者建议稿)》(以下简称“《学者建议稿》”)等建言,体现了人工智能风险管理的整体治理思路,但均未针对教育领域制定特别条款。此外,我国现行的教育法律法规尚未将包括人工智能在内的数字技术纳入重点考量范围。在“教育法典化”进展如火如荼的背景下,作为教育领域“根本法”的教育法典有望对人工智能教育应用展开最为周延科学的规范,助益人工智能教育应用的健康发展[4]。因此,无论在人工智能立法还是教育法典编纂过程中,人工智能在教育领域的使用所引发的风险与挑战都亟须得到我国法治的回应。 《数字教育合作上海倡议》提出共商共议数字教育治理,倡导各国共同研发人工智能应用指南和管理规范,确保数字教育合乎伦理规范、安全可信。欧盟是全球教育水平领先的地区之一,其在推进教育数字化转型战略方面始终走在世界前沿。2021年4月,欧盟委员会在推进“数字单一市场”建设的进程中,提出了《人工智能法》立法草案;经多轮修订与讨论,2023年6月,欧洲议会以多数票通过了《人工智能法》的谈判授权草案;2023年12月,欧盟理事会、欧洲议会和欧盟委员会就《人工智能法》立法文本达成三方共识;2024年5月,欧盟理事会批准通过《人工智能法》[5]。2024年8月1日正式生效的欧盟《人工智能法》是世界范围内最先被提出的人工智能法案,为应对人工智能系统风险、支持人工智能技术创新做出了示范,其中涉及教育领域,对人工智能时代我国教育数据治理的法律应对有重要的研究及参考价值。 一、欧盟《人工智能法》中教育数据治理的价值意蕴 “鉴于条款”(whereasclause)是欧盟立法的一个特点,被要求用于说明适用相关执行条款(operativeprovision)的原因[6]。对欧盟《人工智能法》“鉴于条款”的解读,有助于理解其具体适用条款蕴含的价值导向。欧盟《人工智能法》“鉴于条款”共180条,第1条对该法的立法目标进行了总体性阐释,即为联盟内部市场中人工智能系统的开发、投放市场、投入使用及相关操作制定统一的法律规范体系。欧盟《人工智能法》的核心目标是推动以人为中心、可信赖的人工智能应用的广泛发展,确保对《欧洲联盟基本权利宪章》(以下简称“《宪章》”)中所规定的健康、安全和基本权利提供高标准的保护。此举旨在防范人工智能系统在联盟内可能产生的有害影响,同时有效助力创新活动的开展。该条同时指出,《人工智能法》将确保基于人工智能的商品和服务的跨境自由流动,从而防止成员国对人工智能系统的开发、营销和使用无端施加限制。欧盟《人工智能法》“鉴于条款”体现了保障公民受教育权、促进教育数据开放共享及鼓励教育科技负责任创新的教育数据治理的价值意蕴。 (一)教育数据治理是保障公民受教育权的基础 在欧盟法体系中,保护基本权利原则被认为是一项普遍适用的法律原则,具有宪法层面的重要地位。该原则不仅对欧盟各机构的行为起到约束作用,确保其在行使职权时尊重和保障公民的基本权利,同时也要求成员国在贯彻执行欧盟法时,严格遵循保护基本权利的原则[7]。《宪章》第14条对公民的受教育权进行了规定,赋予每一位欧盟公民接受教育、职业培训与技能训练的权利,是非歧视原则在教育领域的体现。 在数字化嵌入教育活动的过程中,教育主体可能正在遭受算法支配,处于被“控制”的境遇,从而潜藏着对公民受教育权的挑战[8]。2020年,受新冠疫情影响,英国学生"A-level"考试被取消,取而代之的是英格兰资格与考试监督办公室(Ofqual)通过基于学生在学校的排名及学校历史表现的新算法进行评分,以矫正教师评估普遍偏高的问题[9]。然而,这次评分结果遭到了大量学生的抗议,因为近四成学生的教师评分被新算法下调,且数据显示,学费不菲的私立学校不成比例地从所使用的算法中受益,该评级系统因而被指责为“令人震惊的不公平”。最终,英国政府表示将停止使用基于有争议的算法生成的考试成绩。英国"A-level"考试相当于中国的高考,学生必须达到一定的成绩才能确保自己进入理想的大学。这种选拔性的考试应客观公正地评价每位考生的能力和素质,为高等教育机会的分配提供依据,以保障考生平等的受教育权。学生的成绩、排名本属于传统类型的教育数据,然而对这些教育数据叠加新式算法的运用,就有可能使数字技术潜藏的“算法歧视”“算法黑洞”影响学生受教育权的实现。经济合作与发展组织在《2023年数字教育展望:迈向高效数字教育生态系统》中表示,基于各种学生特征的算法偏见是存在的,但国际研究的缺乏限制了对偏见的理解。如果在数字时代对教育数据治理缺乏必要的警惕,数字技术侵害受教育权的现象可能会越来越普遍,越来越隐蔽,也越来越难以救济。 欧盟《人工智能法》“鉴于条款”第56条指出,在教育领域部署人工智能系统,对于促进高质量的数字教育和培训,使学习者和教师获得必要的数字技能和能力,积极参与经济、社会和民主进程至关重要。然而,如果设计或使用不当,用于教育或职业培训的人工智能系统在某些情境下会实质性影响一个人的教育和职业道路,进而影响公民平等享有的受教育权。因此,欧盟《人工智能法》将此类人工智能系统视为高风险系统,划归至立法积极干预的强监管领域。 (二)教育数据治理是促进数据开放共享的前提 数据的核心价值在于互联互通,数据的跨境流动已成为各类资源要素交换与共享的关键基础和重要纽带。处于割裂状态的数据将造成数据孤岛,降低整个社会的运行效率。教育数据治理亦要促进开放和共享。数据采集的样本数量越充足、多样性越丰富,数据分析的可行性和准确度就越高。此外,不同部门、教育机构及平台之间若能最大限度地打破数据壁垒和数据垄断,将极大地提升教育数据的使用效能[10]。 在数智时代,教育数据的跨境流动逐渐成为欧盟成员国之间共享教育资源的前提,欧盟面临着教育数据开放共享和互通互联方面的巨大需求。欧盟各国的教育体系存在较大差异、教育机构种类繁多且数量庞大,在一定程度上阻碍了学生的跨国学习。“欧洲高等教育一体化”的概念伴随博洛尼亚进程的推进而逐渐深入人心。为了建立互通有无的欧洲高等教育区,欧洲学分转换系统(EuropeanCreditTransferSystem,ECTS)应运而生。各国教育部部长对“欧洲学分”推崇备至,称其为“学术欧元”,并试图通过这种“统一货币”打通欧洲各国高等教育体系之间的壁垒[11]。ECTS的关键性文件包括课程目录、学生申请表、学习协议及成绩记录单等,记载了关于学生跨境学习的教育数据。历经三十多年的发展,ECTS已然成为世界范围内学分积累与转换制度的典范。虽然欧盟各成员国通过ECTS的实践已在跨境教育数据流动与共享方面积累了大量的经验,但在人工智能时代教育数据的跨境流动面临新的挑战,尤其是数据隐私与安全方面。 2018年,欧盟《通用数据保护条例》(GeneralDataProtectionRegulation,GDPR)正式生效。教育数据生命周期长、数量庞大、涉及大量未成年人隐私信息且包含多样化的参与者,属于特殊类型数据。法国教育数据伦理委员会2020年发布的《疫情背景下教育数据使用的伦理问题》报告讨论了教育数据跨境流动引发的潜在问题。该报告指出,教育数据具有商业价值和运作模式,是一种国家战略资源。然而,由于法国专业教育软件缺少其他国家专业教育软件的在线人数兼容力和功能性,一大部分法国教育参与者倾向于使用更便捷的在线教育软件,而不是更尊重GDPR规则、更符合法国价值观的在线教育软件,导致大量的教育数据已经掌握在一些国外平台手中,对于数据的使用和处理难以监管[12]。无论是出于对个人隐私数据的保护,还是对国家数字主权和价值观教育的担忧,欧盟已关注到教育数据跨境流动的风险。 欧盟《人工智能法》“鉴于条款”第8条指出,需要制定一个欧盟层面的法律框架,制定规范某些人工智能系统的市场投放与使用的统一规则,从而确保欧盟内部市场的顺利运作及对公共利益的高度保护,使欧盟能够受益于人工智能商品和服务的自由流动。在教育领域,教育数据的跨境自由流动是人工智能教育产品与人工智能教育服务跨境自由流动的前提。这种“自由流动”不是绝对的,而是在《人工智能法》框架下符合欧盟内部市场规则和价值观的“自由流动”,其目的是促进欧盟内部教育资源在安全、可靠、负责任的监管框架下进行共享、融合,提高教育资源利用率。 (三)教育数据治理是教育科技负责任创新的关键 当前,人工智能技术日益深度融入教育领域,教育科技行业迅猛发展。一些传统跨国教育公司,开始致力于转型为数据驱动、数字优先的全球教育领导者,他们通过收集、分析和使用大量教育数据和个人数据,开发数字教育产品,提供数字教育服务,发展学习平台等数据基础设施[13];同时,一些新兴科技公司也瞄准数字教育市场持续发力。根据全球教育智库HolonIQ的统计,对教育科技初创企业的投资从2010年的5亿美元飙升到2021年的200亿美元;根据欧洲教育科技风投公司BrighteyeVentures的统计,在全球范围内,估值超过10亿美元的教育科技“独角兽”公司在2014年还不存在,在2021年就已有62家[14]。科技的创新在赋能教育数字化转型的同时也带了风险与挑战。欧盟提出“欧洲地平线计划”(HorizonEurope),以“负责任发展”“负责任研究与创新”为焦点,强调新兴技术的负责任创新对社会的积极贡献和正向价值,减少新兴技术带来的负面影响[15]。在教育科技迅猛发展的背景下,如何确保负责任创新是教育数据治理必须考虑并解决的问题。 教育科技的负责任创新离不开教育数据治理。以OpenAI公司的人工智能产品ChatGPT为例,其作为一款基于8000亿个单词的语料库(或45TB的文本数据)训练的自然语言处理工具,已被测试通过美国执业医师考试、沃顿商学院MBA考试等。欧盟《人工智能法》“鉴于条款”第139条指出,为确保法律框架能促进创新、面向未来并能抵御干扰,各成员国需确保本国相关主管机关在国家层面至少设立一个专门的人工智能“监管沙盒”(regulatorysandbox),以便在严格监管的环境下,推动创新性人工智能系统的开发与测试,待这些系统经过充分验证之后,再正式投放市场或投入实际应用。“监管沙盒”中的“沙盒”原本指一个可以随心所欲进行创作的装满沙子的盒子,就像在沙滩上作画,只要海浪漫过,沙子就会恢复如新;后被延伸为计算机术语,指在沙盒中的试验程序不必过分担心测试结果是好是坏,一切都只发生在盒子当中,再大的错误都不会影响外部的环境[16]。“监管沙盒”制度最早被英国应用于对金融科技的监管,指在某种新兴的金融科技模式正式进入整个行业之前,先在相对绝缘的场景中进行小规模监管测试,既减少新兴科技直接引入市场的潜在风险,也降低相关科技创新企业的合规成本,进而促进金融科技的负责任发展与创新。欧盟《人工智能法》将“监管沙盒”制度推广到各个领域,对教育科技的负责任创新有积极而深远的影响。 二、欧盟《人工智能法》中教育数据治理的多重策略 在教育数字化转型和推进治理能力现代化的背景下,教育数据治理已不再是单纯的教育问题,而是与政治、经济、科技、伦理等多方面因素密切交织,变得日益复杂而深刻。为应对人工智能时代带来的重重挑战,适应治理范式变革的时代要求,欧盟《人工智能法》通过分等级治理、全链条治理及契约性治理,为世界各国作出了重要的制度示范。 (一)分等级治理:依照教育数据所属人工智能系统的不同风险等级进行治理 欧盟采取“基于风险”(risk-based)的规制进路,针对“不可接受的风险”(unacceptablerisk)、“高风险”(highrisk)、“有限风险”(limitedrisk)及“最小风险”(minimalrisk)这四种不同风险等级的人工智能系统,设计与其风险成比例的约束性规则,对人工智能系统运作所依赖的数据治理同样适用。 首先,欧盟《人工智能法》禁止可能带来“不可接受的风险”的人工智能系统。在教育领域,“禁止的人工智能实践”明确列举了“在教育机构使用人工智能系统识别自然人的情感”这一情境。欧盟《人工智能法》在说明部分解释了禁止这类情境的原因与教育场景下的权力不平衡及情感识别类人工智能系统的侵入性有关。考虑到人工智能技术识别或推断情绪的科学基础被高度质疑,且情绪的表达在不同的文化、情况下存在显著差异,情感识别类人工智能系统存在可靠性有限、缺乏特异性和通用性有限等主要缺点,可能导致对某些人或其所属群体的不利的对待,进而产生歧视[17]。 其次,欧盟《人工智能法》对于具有“高风险”的人工智能系统予以严格监管,其附件三列举了教育领域中对人们的基本权利造成不利影响的“高风险人工智能系统”的四种情形:一是用于确定自然人进入各级教育和职业培训机构或课程的机会、录取或分配的人工智能系统;二是拟用于评估学习成果的人工智能系统,包括当这些成果被用于指导各级教育和职业培训机构中自然人的学习过程时;三是在教育和职业培训机构内,用于评估个人将接受或能够接受的适当教育水平的人工智能教育系统;四是在教育和职业培训机构内,用于监控和检测学生考试违纪行为的人工智能系统。这几类情形都与受教育权,尤其是教育机会平等权密切相关。教育机会作为一种客观际遇与主观利用各种教育资源和权利的可能时限与场景,涉及教育社会生态体系的方方面面。教育机会的平等既包括起点机会平等,也包括教育方式及过程平等[18]。欧盟《人工智能法》尚在草案期间,就有研究者关注到美国法学院对欧盟学生的招生录取活动将可能受《人工智能法》的冲击[19]。事实上,早在2021年9月,美国研究员阿列克斯·恩格勒(AlexEngler)撰写的研究报告《在大学招生录取中采用自动化算法或将引发美国高等教育危机》(Enrollmentalgorithmsarecontributingtothecrisesofhighereducation)就剖析了大学招生这一与公民受教育权高度相关的活动采用人工智能算法所引发的诸多风险[20]。欧盟《人工智能法》生效后,其适用范围包括在欧盟境内将人工智能系统投放市场或投入使用的各类提供者,无论各提供者是在欧盟设立还是位于欧盟外。因此,对于欧盟以外的国家,如在招收欧盟成员国学生的过程中使用人工智能系统,就可能被认定为欧盟《人工智能法》规定的“高风险”应用,并受到严格的监管。 再次,欧盟《人工智能法》对“有限风险”的人工智能系统规定了透明度义务,包括用户告知、内容标识等。例如,与人类交互的聊天机器人等人工智能系统,应不会对决策产生实质性影响,或不会对受保护的法律利益造成实质性损害。人工智能系统供应商应通过编制并更新技术文件、披露相关内容,确保使用相关人工智能系统的自然人知悉他们正在与一个人工智能系统互动。 最后,欧盟《人工智能法》对用于娱乐或个人目的等不构成风险或风险可忽略的“最小风险”的人工智能系统并无强制性的规定,鼓励自愿适用高风险人工智能系统的强制性要求。 简而言之,欧盟《人工智能法》着重防范“不可接受的风险”与“高风险”的人工智能系统。这种基于风险等级的立法模式,通过明确界定的优先事项和目标,使人工智能治理干预措施符合与预期损害成比例的原则,有助于监督、认证等资源和成本的合理、高效分配。 (二)全链条治理:通过对教育数据价值链的参与者规定法律义务进行治理 当代风险治理需要引入系统论思想,数据治理也不例外。美籍奥地利生物学家贝特朗菲在20世纪初提出了系统论思想,主张在分析和解决问题时,应从系统的整体性出发,将系统内部的各个组成部分、各个环节,以及系统与外部环境之间的关系,视为一种动态的、相互关联且相互约束的网络,借助全面视角,寻找使系统达到最佳状态的解决方案[21]。人工智能系统是通过复杂的价值链进行开发和分发的,多方参与的结果注定不能只关注一方参与者。欧盟《人工智能法》重点规制的对象是“高风险人工智能系统”,在构建高风险人工智能系统的监管框架时提出了“人工智能价值链”(AIvaluechain)的概念,对该价值链上的提供者、进口者、分销者及部署者配置了不尽相同的法律义务。 首先,高风险人工智能系统提供者的合规义务最为严格,须建立、实施、记录并维护风险管理系统。在此基础上,须采用符合规定的方式对数据集进行训练、验证及测试,确保所使用的数据集达到既定的质量标准,再基于这些高质量的数据集开发相应的应用系统。在系统正式投放市场或投入使用之前,需编制详尽的技术文件,并在后续使用过程中对其进行持续更新与完善;在技术上允许自动记录系统生命周期内的事件,确保其操作具有足够的透明度且可由自然人进行有效监督,确保人工智能系统达到适当的准确性、稳健性和网络安全水平。 其次,高风险人工智能系统部署者的合规义务也应被严格规范。高风险人工智能系统的部署者在部署高风险人工智能系统之前,须进行基本权利影响评估,采取适当的技术和组织措施,进行必要的人工监督、培训与支持,并持续监测系统的运行情况。如果部署者对系统输入的数据有控制权,应确保其输入的数据的相关性与代表性;如果部署者为雇主,应在工作场所投放或使用高风险人工智能系统之前,告知工人代表和受影响的工人,确保使其知悉将受到该系统的影响。 最后,高风险人工智能系统的进口者和分销者主要承担辅助性合规义务。这类运营者在通过进口或分销将高风险人工智能系统投放市场之前,应核实该系统的提供者是否已执行相关法定的合格性评估程序、是否取得所需的合格性标识等。在特殊情况下,分销者、进口者、部署者或其他第三方将被等同视为提供者,包括但不限于在已投放市场的高风险人工智能系统上冠以自己的名称或商标,或对其进行实质性修改。此时,分销者、进口者、部署者或其他第三方须对标欧盟《人工智能法》第16条履行提供者的所有合规义务。 根据欧洲政策研究中心的研究报告,人工智能价值链被定义为“开发单个人工智能系统然后投入使用(或部署)的组织过程”,其功能是考虑哪些主体可以在人工智能价值链的哪些部分发挥作用,确定哪个主体最符合监管要求,以保障人工智能系统的安全性[22]。在教育数据治理领域也存在类似的价值链,价值链上的每一个利益相关者都应是数据治理关注的对象。以各种教育数据库和教育数字平台建设为例,要确保这些教育数字化终端产品或服务的质量和安全,需要对教育数据提供者、教育数据部署者、教育数据处理者、教育数据使用者等多类主体进行全链条的治理,厘清价值链中各个参与者的责任,避免将过多法律义务集中于单一主体上,以加强监管的整体性、有效性和连贯性。 (三)契约性治理:允许教育数据利益相关者参与监管沙盒进行教育数据治理 “监管沙盒”本质上是多元主体以“契约”为治理逻辑的新型监管模式。不同于以往自上而下的“对抗式”监管状态,“监管沙盒”旨在实现一种共治状态[23]。欧盟人工智能“监管沙盒”的设立主体为欧盟成员国公共机关或欧洲数据保护机关,具体运行分为申请、参与、监测、退出和终止几个步骤。在教育领域,教育数据主体可以自愿提交申请,说明拟进入教育类监管沙盒的产品的技术参数、创新要点等基本情况及进入沙盒的必要性。在通过监管部门的初期评估后,教育数据主体进入监管沙盒。监管部门需与教育数据主体就沙盒测试的具体事项展开协商,包括测试事件、范围、对象等关键内容,并根据实际需求,制定并提供具有差异化的监管措施,以促进教育数据的创新应用[24]。欧盟人工智能“监管沙盒”的契约性治理主要表现为参与主体的平等性、参与过程的对话性及参与责任的有限性。 首先,“监管沙盒”治理强调参与主体的平等性。根据欧盟《人工智能法》第58条第2款,该法案可促进人工智能生态系统中通知机关、标准化组织、企业、创新者、实验室等利益相关者的广泛而平等的参与,推动公共和私营部门开展合作,促进创新及循证的监管学习,有利于人工智能系统快速、安全、稳定地进入市场。科层式的刚性化管控缺乏容错纠错的制度空间,包容审慎的监管环境是当前数据要素治理的发展趋势。面对颠覆性技术带来的教育数字化转型,教育数据治理模式亟待创新。在教育领域引入“监管沙盒”,便于加强多元主体的参与并吸收跨领域的经验做法,通过扁平化的“契约”组织结构增加制度弹性,在一定程度上可以缓解技术创新与法律监管之间的潜在冲突。 其次,“监管沙盒”治理注重参与过程的对话性。欧盟《人工智能法》第58条第4款规定,当国家主管机关考虑在人工智能监管沙盒框架内进行真实世界条件下的测试时,应和参与者具体商定此类测试的条款和条件,特别是适当的保障措施,以保护基本权利、健康和安全。这种协同治理的对话框架增加了监管机构与被监管对象之间协商探讨与良性互动的可能,保障了话语决策的平等性和多元化,既有利于监管机构了解监管体制在技术应用进程中的具体瓶颈与实践期待,也有利于被监管对象取得监管机构的必要支持与有效监督,通过实验过程中的动态反馈与持续跟进,在对技术治理的行动规划中作出及时响应,能够更好地解决监管错配的问题。 最后,“监管沙盒”治理允许参与责任的有限性。欧盟《人工智能法》规定,人工智能监管沙盒中的提供者及潜在提供者根据适用的欧盟和成员国责任法,仍应对在沙盒中进行的实验给第三方造成的损害负责。不过,只要提供者或潜在提供者遵守具体计划及其参与条款和条件,并真诚遵循国家主管机关提供的指导,机关将不会对违反本条例的行为处以行政罚款。类似地,如果负责其他欧盟和成员国立法的主管机关积极参与了对沙盒中人工智能系统的监督,并提供了合规指导,则不得对相关立法处以行政罚款。这种保护机制使原本突破现有法律框架的创新产品和服务,有机会以较低成本在监管测试环境中进行试运行,以便平衡人工智能创新与安全发展之间的关系。 目前,欧盟个别国家在教育领域已开始“监管沙盒”的适用探索。例如,法国国家信息与自由委员会在教育科技监管沙盒计划就是重点关注教育科技企业创新与GDPR合规义务之间的潜在矛盾,为致力于分析法国高校学习数据的DATA、增强家校互动的Klassly与Klassboard、将学生及其数字工作空间相连的“个人云平台”MyToutice、由PowerZ推出的教育视频游戏以及由Daylindo开发的教学实践实时跟踪与协作管理的数字解决方案等5个教育科技项目,提供数据保护方面的政策及技术支持,为用于创设随机数学教育活动的Eleda、协助学习困难儿童进行读写的KaygoDYS、用于管理敏感数据的加密多云解决方案Astrachain、基于人工智能提供用户音乐画像的Babel以及用于与其他公共和私人平台实现互操作性更新的CompetencePortfolio等5个教育科技项目提供个性化的政策建议[25]。未来,随着“教育科技监管沙盒计划”的推进,这项起源于金融领域的监管创新机制有望在教育数据治理领域彰显出更多积极的效用。 三、欧盟《人工智能法》对中国教育数据治理的镜鉴之思 2021年施行的《中华人民共和国数据安全法》(以下简称“《数据安全法》”)作为数据领域的基础性法律,确立了我国数据安全保护管理各项基本制度;2022年印发的《中共中央、国务院关于构建数据基础制度更好发挥数据要素作用的意见》进一步构建数据基础制度,激活数据要素潜能;2023年中共中央、国务院印发的《数字中国建设整体布局规划》强调畅通数据资源大循环,促进各行各业数字化转型;2024年国家互联网信息办公室公布施行的《促进和规范数据跨境流动规定》通过保障数据依法有序自由流动,扩大高水平对外开放。我国对于数据本身及其流通的重视程度与日俱增,立法规制也日趋完善,但针对教育数据的规范性治理尚不成熟。我国教育领域利益相关者对教育数据的敏感程度、数据权利意识和数据安全意识均有待提升。在人工智能立法领域,2023年出台的《生成式人工智能服务管理暂行办法》支持各行各业及相关主体就人工智能数据资源建设及风险防范等开展协作。不过,截至目前,我国在教育领域的人工智能应用尚缺乏统一的立法规制及细致的操作指引。相较而言,欧盟立法者更早通过具有法典性质的《人工智能法》,对不同风险等级的人工智能系统构建差异化的行为规范体系,对人工智能系统价值链上的不同主体规定明确的法律义务,通过“监管沙盒”机制引导教育科技企业开展负责任的创新。面对人工智能这只“数字利维坦”对教育数据治理带来的前所未有的挑战,欧盟的人工智能统一立法对我国教育数据治理有重要的借鉴意义。 (一)区分法律风险,差异化治理教育数据 从数据的生命周期来看,教育数据在收集、存储、传输、分析、共享、销毁等各个环节均存在法律风险。与其他行业数据相比,教育数据具有一定的特殊性,主要表现在四个方面:第一,涉及大量个人隐私,尤其是未成年人隐私;第二,涉及公私多元主体,包括学校、学生、家长、教育科技企业、教育行政部门等;第三,数据生命周期长,覆盖正式教育与非正式教育的全过程;第四,数据应用与公民的受教育权、隐私权、知情权等基本权利息息相关。非线性运行的人工智能技术在上述任何一个环节嵌入教育数据治理时所发挥的效应都不只是简单的“科技+教育”,而是“科技×教育”,因而会进一步放大原有风险,比传统教育形态产生更多难以预料的“特殊事件”[26]。例如,在教育数据收集阶段,如果人工智能的训练数据在来源处被“污染”,即所谓的“数据投毒”,将可能导致大语言模型生成有害内容,一旦投入教育领域,将直接影响教育质量。而在教育数据存储与传输阶段,随着越来越多的数字科技企业介入教育领域,其在提供技术和资源支持的同时,也管控着大量的教育数据。若对数据的存储与传输超出教育服务原本授权的目的与范围,就会对受教育者的隐私权、知情权造成威胁。有研究发现,当一名9岁孩子点击老师通过谷歌课堂提供的播客网站Vimeo的学习资源链接时,他就从谷歌课堂的高隐私保护中被带出,暴露于42个第三方跟踪服务中,包括谷歌的广告服务和TikTok以及Facebook的分析服务[27]。当上述数据进入全球数据生态系统,学生便不可避免会遭受隐私风险和商业利用。此外,一些数字科技企业在人工智能教育应用的开发过程中,可能会将特定利益取向植入算法,从而在提供教育服务的过程中谋求不当利益。教育是国之大计,教育数字化转型时代,资本主导的私权力在“数字权力”的助推下,在一定程度上对国家教育权进行分化或削弱[28],应引起充分的警惕。 我国已通过《数据安全法》确立了数据保护中分级分类的风险治理理念,《专家建议稿2.0》设置了基于负面清单实施的人工智能许可管理制度,《学者建议稿》基于技术发展、行业领域、应用场景等因素提出可以动态调整的人工智能分级分类标准,对关键人工智能实施特殊监管。然而,具体到教育领域,如何对人工智能嵌入教育数据进行分级分类治理,哪些人工智能教育应用应被列入负面清单或被作为关键人工智能实施特殊监管,学界还缺乏深入的理论研究与充分的实践探索。 首先,应进一步明确教育数据基于风险治理的法律依据。例如,在《专家建议稿2.0》模式下将涉及高风险教育数据应用的人工智能列入负面清单实施许可管理;又如,在《学者建议稿》模式下,在第六章“特殊应用场景”中增加教育人工智能,同该章已列举的国家机关使用人工智能、司法人工智能、新闻人工智能、医疗人工智能等一样,予以特殊关注;再如,在教育法典总则“在线教育”章列举人工智能等数字技术应用与教育领域的潜在风险,引入“基于风险”的规制原则。 其次,应确定教育数据的法律风险等级。欧盟《人工智能法》在对人工智能系统进行风险定级时借助了情境列举的形式,因为人工智能所引发的法律风险在很大程度上依赖其使用的特定情境。换言之,欧盟“基于风险”的规制并非针对人工智能系统本身,而是应对不同情境下人工智能系统可能引发的后果。比如,当教育类人工智能系统用于监控和检测学生考试违纪时,因其可能带来处分等影响学生受教育权的严重后果,应作为“高风险”人工智能系统被严格监管;而当其作为不影响实质性决策的聊天机器人时,则可作为“低风险”人工智能系统,遵守透明度要求即可。我国亦可根据不同情境下对公民受教育权、隐私权、知情权等基本权利的影响程度与范围,将教育数据的风险等级划分为“不可接受的风险”“高风险”“有限风险”及“最小风险”,将具有“不可接受的风险”“高风险”的教育数据置于人工智能治理的负面清单,使人工智能在嵌入教育数据治理的实际场景中,能够最大限度地规避风险、发挥效能。 最后,应区分不同风险等级的教育数据的法律规范路径。一方面,对无需跨境流动的教育数据,按照风险等级,采取无条件共享、有条件共享和不予共享的分类治理思路。具有“不可接受的风险”的教育数据不予共享;具有“高风险”或“有限风险”的教育数据进行有条件共享,且前者在数据存储格式、获取路径、共享方式等方面应有更为严格的要求;具有“最小风险”的教育数据可以进行无条件共享。另一方面,对有可能跨境流动的教育数据,可参照《促进和规范数据跨境流动规定》,采取无需不予跨境流动、申报跨境流动及无需申报跨境流动的分类规制。具有“不可接受的风险”的教育数据不予跨境流动;具有“高风险”的教育数据如需跨境流动,需要由数据处理者通过所在地省级网信部门及教育行政机构向上一级申报,由国家网信部门与教育部相关机构共同作出数据出境安全评估后,方可跨境流动;具有“有限风险”的教育数据如需跨境流动,需要由数据处理者通过所在地省级网信部门及教育行政机构申报,由同级网信部门与教育相关机构共同作出数据出境安全评估后,方可跨境流动;具有“最小风险”的教育数据跨境流动无需额外申报。 (二)明确法律义务,系统性治理教育数据 数据治理要关注整个数据生态系统,以系统思维理解数字化转型。教育数据生态系统是基于教育领域海量数字要素,通过云端、边缘端及终端的教育设施、平台或应用相互连接而成的复杂生态系统。欧盟《人工智能法》对高风险人工智能系统价值链上的提供者、分销者、进口者、部署者等各个主体规定了详细而明确的法律义务,构建了一个覆盖全链条的法律治理框架。相比之下,我国相关法律法规中对数据链上主体的界定略显粗糙和单薄,相应的法律义务规定有待进一步细化。 首先,健全教育数据治理中的责任主体概念。我国现有的人工智能治理法律框架尚未明确欧盟《人工智能法》中的“人工智能部署者”这一法律主体。我国《数据安全法》提及数据处理者、服务提供者,《促进和规范数据跨境流动规定》仅论及数据处理者,《生成式人工智能服务管理暂行办法》区分了生成式人工智能服务的提供者与使用者,《专家建议稿2.0》及《学者建议稿》也仅包含了人工智能研发者及提供者的法律责任。在教育领域,教育行政部门和学校都有可能作为教育数据应用系统的部署者,他们通过自行研发或借助技术公司研发的人工智能系统进行教育数据治理。自行研发的部署者与提供者重合;借助技术公司研发的情形中,部署者与提供者分离。针对人工智能教育应用可能引发的风险,我国在未来的立法中可以适当考虑借鉴欧盟对“人工智能部署者”的法律规制,明确教育数据治理价值链上的责任主体包括教育数据提供者、教育数据部署者、教育数据处理者及教育数据使用者等,构筑更为健全的人工智能法律责任机制。 其次,规范各主体在教育数据治理中的法律义务。与人工智能系统价值链上的主体责任配置相比,教育数据部署者可比照人工智能系统提供者,设置相对其他主体更为严格的合规义务。欧盟《人工智能法》与《关于缺陷产品的责任的指令的提案》存在诸多关联,人工智能系统可被视为产品,提供者可被视为产品的制造商[29]。产品安全的归责逻辑使欧盟《人工智能法》对人工智能系统的提供者规定了比部署者更为严格的法律义务。然而,在教育领域,受自上而下的传统行政管理模式影响,在教育数据从采集、存储、加工到使用各个环节,部署者都起到了关键的作用,有必要在教育数据治理中承担更多责任。一方面,教育数据部署者须事先就教育数据治理涉及的多个环节对利益相关方基本权利的影响进行评估,须采取适当的技术和组织措施,进行必要的人工监督、培训与支持,持续监测运行情况;另一方面,教育部署者应明确告知受影响的教师、学生、家长等主体,使其知悉可能受到的影响。对于教育数据提供者而言,应重视教育数据来源的合法性、准确性与真实性,尊重相关主体的隐私权及知情权,确保所提供的数据与所匹配的人工智能系统具有高度的相关性及充分的代表性。教育数据的直接处理者应使用符合要求的方式进行教育数据集的训练、验证和测试,基于达到质量标准的数据集进行开发应用,确保其操作具有足够的透明度;教育数据的间接处理者可参考欧盟《人工智能法》对分销者、进口者等运营主体的规定,承担辅助性合规义务。只有明确教育数据治理价值链上的各类主体的法律义务,才能实现对教育数据的系统治理,最大限度降低相关风险。 事实上,学校在选择教育科技产品时,往往更关注产品的功能性及其对教学的适用性,而不是产品功能和操作对数据保护合规性的影响。由于缺乏预算、技术及法律技能,很多学校对可
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 电力隧道项目施工方案(3篇)
- 石渣换填专项施工方案(3篇)
- 绿化桥梁护栏施工方案(3篇)
- 臭氧轻微污染应急预案(3篇)
- 营销逆向方案设计(3篇)
- 超薄门框施工方案图片(3篇)
- 通州地沟防腐施工方案(3篇)
- 银行门店活动应急预案(3篇)
- 阳台庭院景观施工方案(3篇)
- 项目应急预案下发通知(3篇)
- 2026安徽淮南首创水务有限责任公司招聘36人笔试历年参考题库附带答案详解
- 2026年成都市新都区新投集团笔试题目及答案
- 尾矿库变形监测方案
- 2026融通基金管理有限公司招聘笔试历年参考题库附带答案详解
- 2026新能源场站无人值守建设指导
- DB43-T 2545-2023 箭叶淫羊藿林下栽培技术规程
- 2026年高考全国一卷化学真题试卷(新课标卷)(+答案)
- 【初中 数学】整数指数幂课件 2025-2026学年人教版八年级数学上册
- 选矿实验室建设与管理方案
- 心电监护报警参数设置参考指南
- 2021-2025年高考语文试题分类汇编:文言文阅读(双文本)解析版
评论
0/150
提交评论