6.2 人工智能安全风险

CHAPTER6.2·第6章人工智能与社会6.2人工智能安全风险当AI成为新基建，安全风险正从技术层渗透到社会肌理——技术、数据、应用、社会，四道防线如何守？人工智能通识教程·第6章1/106.2·从三个场景说起这些不是科幻电影，而是已经发生的风险类型城市瘫痪智慧交通调度算法突发故障，全城红绿灯失控3小时，交通陷入瘫痪。数据失窃生物医药企业AI研发数据遭黑客窃取，价值5亿元的新药成果泄露。深度伪造直播平台AI换脸技术被滥用，伪造形象的虚假视频在网络传播。风险呈现“技术—社会”交织的复杂样态；理解安全，就是建立发展与安全的辩证认知。2/106.2·风险地图四类风险，一张图看清全貌图6-2人工智能安全风险分类（教材原图）3/106.2·技术安全风险技术风险有三个来源：漏洞、攻击、失控算法漏洞志愿填报匹配偏差，误导考生；自动驾驶在暴雨中误判积水路况。对抗性攻击人眼难察的像素扰动就能骗过图像识别；隐蔽音频可诱导音箱开锁、转账。系统失控传感器失效、参数漂移、通信中断；电商多算法互相降价，陷入反馈循环。4/106.2·怎么守应对之道：技术手段与管理制度“双盾”技术层自动化漏洞扫描与定期安全评估对抗性训练，提升模型抗干扰能力关键系统设置人工介入与接管机制管理层《网络安全法》《数据安全法》《生成式人工智能服务管理暂行办法》确立安全评估与监管要求核心理念：预防为主、安全可控——发展必须建立在安全可靠之上。5/106.2·数据安全风险数据时代，泄露、篡改、滥用三害并列泄露基因检测企业服务器有漏洞，大量用户患病风险等敏感信息外泄。篡改伪造交易数据、恶意修改，规避AI风控模型筛查，实施信贷诈骗。滥用对贫困地区用户推高息消费贷；按政治倾向推送极端化内容。本质是“数据权力”被垄断——掌握数据者，可能借技术优势实施数据霸权。6/106.2·中国实践让数据“可用不可见”，在安全中释放价值制度探索·深圳公共数据授权运营，建立分类分级制度收益分配遵循“谁投入、谁贡献、谁受益”打击数据黑灰产业与不正当竞争技术路径·隐私计算原始数据不出域数据可用不可见在保护隐私前提下完成AI训练与协作数据安全是总体国家安全观的重要组成部分——人民数据为人民。7/106.2·应用安全风险三个性命攸关的领域：医疗、金融、交通医疗风险：误诊漏诊、机器人延误救治对策：分类注册审批；AI只做辅助，医生最终确认。金融风险：风控误伤用户、高频交易引发市场波动对策：监管沙箱测试；全生命周期模型风险管理。交通风险：紧急情况伦理困境、调度紊乱对策：坚持人类优先，研究符合社会价值的伦理准则。8/106.2·社会安全风险深度伪造、算法操纵、就业冲击深度伪造表现：合成语音、换脸视频用于诈骗或伪造言论对策：生成内容显著标识；平台研发AI识别技术。算法操纵表现：信息茧房、观点极化、舆论被操纵对策：优化推荐机制，传播正能量，算法透明化。就业冲击表现：重复性岗位被替代，技能断层对策：新职业发布、职业技能培训、走向人机协同。9/106.2·本节小结发展与安全不是对立，而是一体两面技术安全漏洞、攻击、失控——技管结合，人工接管数据安全泄露、篡改、滥用——可用不可见应用安全医疗