AI安全与大模型风险校园宣讲

20XX/XX/XXAI安全与大模型风险校园宣讲汇报人:XXXCONTENTS目录01

宣讲开场与主题引入02

AI安全与大模型风险分类03

大模型安全风险典型案例04

大学生使用大模型防范准则05

AI与大模型行业监管06

校园AI安全倡议宣讲开场与主题引入01校园AI工具渗透率国内超8成高校学生使用ChatGPT、文心一言等大模型工具辅助论文撰写、课题研究。教育场景落地情况清华大学、上海交大等院校已开设大模型相关课程，将其纳入正规教学体系。商用AI进校园场景美团、字节跳动等企业向高校开放AI实训平台，助力学生掌握大模型实操技能。AI与大模型普及现状为何要关注AI安全AI生成内容引发的信息失真风险高校学生易被AI生成的虚假论文、新闻误导，如ChatGPT编造虚假文献引用扰乱学术诚信。大模型的隐私泄露隐患学生使用AI工具提交作业时，个人隐私数据可能被泄露，引发信息盗用等安全问题。AI技术滥用的校园危害AI换脸技术被用于校园恶作剧甚至诈骗，曾出现学生被伪造视频勒索的案例。AI安全与大模型风险分类02数据隐私泄露风险

大模型过度采集用户隐私数据部分AI大模型在使用中过度收集用户聊天记录、位置信息，如某聊天AI曾因违规采集隐私被监管处罚。

训练数据中的隐私信息泄露大模型训练数据集若包含未脱敏的个人信息，如医疗记录、联系方式，易被恶意提取造成泄露。

第三方插件导致的隐私泄露部分大模型接入的第三方插件缺乏合规审核，可能私自截留用户输入的隐私内容引发风险。学术论文造假部分学生利用大模型生成虚假实验数据、撰写抄袭式论文，严重破坏校园学术诚信体系。虚假身份信息生成有人借助大模型伪造学生证、校园卡信息，给校园身份核验、安全管理带来极大挑战。虚假校园资讯传播不法分子利用大模型编造虚假停课、奖学金取消等资讯，引发校园内的恐慌与混乱。生成内容造假风险意识形态渗透风险学术诚信侵害风险

AI代写学术论文不少学生借助ChatGPT等大模型代写课程论文、毕业论文，严重违反高校学术诚信规定。

AI生成虚假学术成果部分研究者利用大模型编造实验数据、生成虚假文献引用，误导学术研究方向。

AI辅助学术抄袭学生使用大模型改写他人学术内容，规避查重系统，引发大规模学术抄袭乱象。网络诈骗衍生风险

AI生成虚假投资诈骗话术不法分子利用大模型生成逼真的投资话术，诱导学生参与虚假理财，已有多名大学生被骗取生活费。

AI换脸冒充亲友诈骗诈骗者借助AI换脸技术伪装成学生家长或好友，以急事为由诈骗，不少学生因此蒙受财产损失。

AI伪造校园缴费通知诈骗大模型可快速生成逼真的校园缴费通知，骗子借此骗取学生的学费、住宿费，案例屡有发生。大模型安全风险典型案例03ChatGPT用户对话数据泄露事件2023年ChatGPT曾出现漏洞，大量用户的对话历史、个人邮箱等信息被泄露，引发隐私恐慌。大模型训练数据非法爬取泄露部分企业爬取社交平台用户公开信息用于大模型训练，导致用户住址、联系方式等隐私外流。AI换脸附带个人信息泄露不法分子利用大模型生成换脸视频时，意外泄露用户上传的人脸照片、身份ID等敏感信息。个人信息泄露案例深度伪造造谣案例

AI换脸伪造名人涉政言论2023年有人用大模型生成某知名企业家涉政虚假视频，在网络快速传播，引发公众误判与舆论混乱。

AI合成虚假灾难现场视频曾有不法分子利用大模型伪造某地地震受灾视频，虚假信息引发周边民众恐慌，干扰应急处置工作。

AI生成虚假明星负面新闻2024年有人通过大模型合成某顶流明星的不实采访音频，恶意造谣其违法失德，对明星声誉造成重创。AI辅助诈骗案例AI换脸伪造亲友求助诈骗诈骗分子利用AI换脸技术伪造亲友视频，以紧急用钱为由骗取钱财，已有多位大学生受骗。AI生成虚假投资话术诈骗不法分子用大模型生成极具诱惑力的投资话术，诱导学生投入生活费，最终卷款跑路。AI模拟客服精准诈骗诈骗团伙借助AI模拟官方客服，精准说出学生个人信息，骗取账户验证码实施盗刷。校园学术不端案例

学生用大模型代写课程论文多名高校学生借助GPT生成课程论文，因内容重复、逻辑脱节被查重系统识别，受到记过处分。

研究生用大模型伪造实验数据某高校研究生利用大模型虚构实验数据撰写毕业论文，经导师核查发现造假，被取消学位申请资格。

教师用大模型拼凑教研论文部分高校教师借助大模型拼接教研论文，因涉嫌学术不端，被撤销相关课题立项资格。大学生使用大模型防范准则04敏感信息使用规范个人隐私信息禁入大模型

大学生不得将身份证号、银行卡号等隐私信息输入大模型，避免被盗用泄露，如某同学因输入学号致信息外泄。校园涉密数据严禁上传

涉及校园科研项目、内部管理的涉密数据，绝对不能上传至大模型，防止校园核心信息被窃取滥用。公开发布内容前置审核

通过大模型生成需公开发布的内容时，要先审核是否含敏感信息，像毕业论文需排查后再使用大模型辅助润色。生成内容核验方法

交叉溯源多方查证可通过知网、万方等权威学术数据库，对大模型生成内容的核心观点交叉验证，确保信息准确。

逻辑漏洞反向推演针对大模型生成的结论，反向推导论证逻辑，如发现前后矛盾则判定内容存在风险。

权威渠道对比校验将大模型生成内容与新华社、人民网等官方平台发布的信息对比，核实内容真实性。学术使用边界要求明确大模型学术引用规范大学生需标注大模型生成内容的来源，像知网论文要求一样，避免因未标注造成学术不端。限定大模型在作业中的使用范围仅可将大模型用于文献整理、思路启发，不可直接生成课程论文、实验报告等核心作业内容。禁止利用大模型完成考核类任务比如期末闭卷考试、线上限时测验时，严禁借助大模型答题，违者将按学术违纪处理。可疑情况处理方式

遭遇数据泄露疑似事件的处理若发现个人信息通过大模型泄露，需立即停用涉事账号，向平台举报并联系学校网络中心备案。

识别到大模型生成违规内容的处理当大模型生成违法违规内容时，应立即终止对话，留存对话记录并向监管部门或学校保卫处上报。

察觉账号异常登录的处理发现大模型关联账号异地登录等异常，需第一时间修改密码，开启二次验证并告知平台客服核查。AI与大模型行业监管05《生成式人工智能服务管理暂行办法》合规要求明确生成式AI服务需备案，要求内容生成符合法律法规，如禁止生成虚假有害信息。数据安全相关监管规范需遵守《数据安全法》，大模型训练数据需合法获取，不得泄露用户个人隐私信息。算法安全监管要求落实《算法推荐管理规定》，大模型算法需备案，确保算法公平透明，杜绝歧视性输出。国内现行监管要求平台合规责任规范

用户数据安全防护平台需严格加密用户个人数据，如OpenAI曾因数据泄露被罚，需以此为鉴完善防护机制。

生成内容审核管控平台要建立多层内容审核体系，及时拦截生成的违法违规内容，比如低俗、暴力类输出。

算法透明度公示平台需公开核心算法逻辑框架，像谷歌Gemini就披露部分算法细节，保障用户知情权。校园AI安全倡议06树立安全使用意识

警惕AI生成内容的信息误导