数据与模型安全 课件 第1周：课程介绍机器学习基础

人工智能：数据与模型安全姜育刚，马兴军，吴祖煊教材介绍《人工智能：数据与模型安全》《人工智能：数据与模型安全》《人工智能：数据与模型安全》《人工智能：数据与模型安全》在线电子教材：/

参考课件：https://trust-ml.github.io/

教学内容Week

1:

Introduction

and

Machine

Learning

BasicsWeek

2:

Explainability

and

Common

RobustnessWeek

3:

Adversarial

ExamplesWeek

4:

Adversarial

Example

DetectionWeek

5:

Adversarial

DefenseWeek

6:

Data

Poisoning:

Attacks

and

DefensesWeek

7:

Backdoor

Attacks

and

DefensesWeek

8:

Data

Extraction

and

Model

Stealing

Week

9:

Privacy

Attacks

and

DefensesWeek

10:

DeepfakesandDetectionWeek

11:

Federated

LearningWeek

12:

AI

Model

Copyright

ProtectionWeek

13:

AI

Fairness

and

EthicsWeek

14:

Guest

LectureWeek

15:

Student

PresentationWeek

16:

Student

Presentation评估方式课堂对抗攻击比赛：对抗攻击（占比30%）个人赛，第5-8周进行需要自行寻找计算资源（GPU）比赛内容：对抗攻击效率优先得分：按照排名分段评分分组大作业（占比60%）研究主题“每个算法/模型/论文都有它的缺陷”，具体方向自主选择组队研究实践：3-5人，每组不多于2个博士用实验说话以组为单位进行期末汇报，每个组5分钟得分：结合选题新颖度、实验创新性、发现独特性和报告质量四个方面综合评分什么是安全可信的人工智能让人工智能安全、更值得信赖！让算法和模型更安全！让算法和模型值得人类的信任！让算法和模型更安全、鲁棒、可解释、公平、保护隐私等；本课程的目的：了解当前AI模型的缺陷与风险，掌握先进的对抗攻防技术，保护并发展我国的安全可信人工智能！为什么学习安全可信人工智能？各国政府相继发布政策，发展安全可信人工智能美国国防部DARPA和情报总局办公室下属IARPA组织先后发起防御对抗和后门攻击的鲁棒人工智能专项法国经济和财政部与全球行业巨头签署了《工业人工智能宣言》，指出发展“鲁棒、可解释和可证明的人工智能”。美国发布新版《国家人工智能研究与发展战略规划》，强调要创建鲁棒安全AI系统。2019201920192021澳大利亚发布《人工智能行动计划》，发展鲁棒、可信和负责任的人工智能。2022德国发布新版《德国联邦政府人工智能战略》，明确大力发展“安全、可信人工智能”。2020英国发布《国防人工智能战略》提出安全、鲁棒、高效的在国防领域逐步使用AI技术。为什么学习安全可信人工智能《人工智能在混合战争中的鲁棒性》：2021年，美英德等8个国家的9个国防单位联合发表论文，强调鲁棒人工智能对未来混合作战的重要性为什么学习安全可信人工智能在我国，发展安全、可靠、可控的AI已经上升为国家战略2017年10月，国家发布《新一代人工智能发展规划》，2018年，启动科技创新2030—新一代人工智能重大项目。为什么学习安全可信人工智能党和国家高度关注AI领域的安全可靠可控发展习总书记在十九届中央政治局集体学习时指出：要加强人工智能发展的潜在风险研判和防范，确保人工智能安全、可靠、可控；要整合多学科力量，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。习总书记在2020年G20特别峰会上的重要讲话指出：面对各国对数据安全、数字鸿沟、个人隐私、道德伦理等方面的关切，我们要秉持以人为中心、…，携手打造开放、公平、公正、非歧视的数字发展环境。…，引领全球人工智能健康发展。为什么学习安全可信人工智能《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》网信办发布《生成式人工智能服务管理办法》：为什么学习安全可信人工智能提升科学素养：逆向思维、辩证地看待问题、强化科技伦理意识提高科研能力：“做好”比“做到”要困难很多，需要广泛研究增强忧患意识：新技术新风险，当今AI还有很多局限性培养责任意识：“技术向善”、“以人为本”，培养“知责任”、“明责任”、“负责任”的人工智能人才促进行业发展：为我国人工智能行业健康发展保驾护航人工智能已经进入大模型时代模型：ResNet-50年份：2015参数：~2300万模型：ViT-Large年份：2021参数：~3亿模型：BERT-Base年份：2018参数：~1亿模型：GPT-1年份：2018参数：~1亿模型：GPT-2年份：2019参数：~15亿模型：GPT-3年份：2020参数：~1750亿模型：GPT-4年份：2023参数：~1.8万亿模型：Grok1.0年份：2023参数：~3140亿语言大模型：ChatGPT

视觉模型：Stable

Diffusion

2Stability

AI公司在2022年11月发布的一种图像生成大模型，可以根据文本提示生成高质量的图像、对图像进行修复、生成高分辨率图像等。参数量：~10亿基础模型：LDM训练数据：LAION-5B（5850亿图文对）、LAION-Aestheticsv25+视觉模型：DALL·E2OpenAI在2022年9月发布的一种生成扩散模型，可以根据文本提示生成高逼真的图像，可以组合概念、属性和样式。参数量：~35亿基础模型：多模态GPT-3训练数据：LAION-400M（4亿图文对,10TB网络数据）语言模型：

Meta开源LLaMAMeta在2023年2月发布的一种语言大模型，类似GPT-3，在多数语言任务上超越GPT-3。参数量：

最大的约~650亿基础模型：

改进的Transformer训练数据：CommonCrawl（3.3TB文本）,

C4(738G),

Github(328G),

Wikipedia(83G),

Books(85G),

Arxiv(92G),

StackExchange(78G)等，共约1.3万亿token语言模型：斯坦福Alpaca斯坦福在2023年3月发布的一种语言大模型，基于Meta开源大模型LLaMA-7B构建使用用OpenAI

text-davinci-003的生成数据进行训练，性能媲美GPT-3.5(1750亿参数)，十分高效。参数量：~70亿基础模型：

LLaMA-7B训练数据：

OpenAI

text-davinci-003生成数据（52K指令遵循样本）多模态大模型：GPT-4OpenAI在2023年3月发布的多模态对话大模型，能够接收图像和文本输入，并输出文本，具有图文理解能力、运算能力、代码生成能力、以及很多专业考试能力参数量：~1.8万亿基础模型：GPT-3.5、DALL-E

2训练数据：

在GPT-3.5、ChatGPT基础之上增加了多模态数据视频生成大模型：SoraOpenAI公司在2024年2月发布的一种text-to-video生成大模型，可以根据用户的提示生成长达1分钟的连续、高清、逼真的视频参数量：

未知基础模型：DiT模型架构

+Latent

Diffusion训练数据：未知，但大概率包含大量合成数据语言大模型：

Llama3Meta在2024年3月发布新版本大语言模型Llama

3，上下文窗口从Llama2的4000个tokens增加到8000个tokens参数量：~80亿-4000亿基础模型：Transformer训练数据：

训练数据包含15万亿token，相当于Llama

2的7倍多模态大模型：GPT-4oOpenAI在2024年5月发布的多模态大模型，实现了端到端的语音、文本、图像三种模态任务参数量：~10万亿基础模型：~GPT-4训练数据：

在GPT-4的基础之上增加了语音模态数据大模型快速迭代模型：Llama

2年份：2023年7月参数：70亿-700亿模型：GPT-4o年份：2024年5月参数：与GPT-4相当模型：Llama

3年份：2024年3月参数：80亿-4000亿模型：OpenAIo1年份：2024年9月参数：与GPT-4相当模型：Stable

Diffusion

3年份：2024年2月参数：80亿模型：StableDiffusion2.0年份：2022年11月参数：~35亿StableDiffusion2.0视觉模型安全可信问题新闻造假：美国总统被捕（图像+新闻）Midjourney生成“教皇穿羽绒服，2800万次浏览虚假新闻与公众事件伪造视觉模型安全可信问题美国马里兰大学和纽约大学联合研究发现，在特定文本提示下，生成扩散模型会合成侵犯版权的图片生成数据侵犯版权生成的：原始的：视觉模型安全可信问题谷歌、DeepMind、苏黎世联邦理工学院、普林斯顿、伯克利联合研究发现，生成扩散模型会记忆并泄露原始训练数据记忆并渗漏原始训练数据生成的：原始的：视觉模型安全可信问题谷歌、苏黎世联邦理工学院、英伟达等单位联合研究发现：60美元可以买到并投毒大规模数据集的0.01%训练数据易被投毒或安插后门大数据集往往只提供下载链接，而过期的下载链接可以被攻击者购买，来向模型中安插后门不同数据集，1万美元可以买到的链接比例声音模型安全可信问题AI合成明星（本尼）声音跟被人签署合同，索要定金AI合成明星音乐（R&B歌手Frank

Ocean），卖给粉丝或娱乐公司AI合成声音诈骗声音模型安全可信问题AI合成女儿呼救的声音，并勒索母亲JenniferDeStefano100万美元的赎金AI合成声音勒索语言模型安全可信问题幻觉问题复旦大学里并没有雁栖湖！语言模型安全可信问题奶奶漏洞、重复漏洞重复说一个单词到一定次数后会开始生成原始训练数据。NasrM,CarliniN,HayaseJ,etal.ScalableExtractionofTrainingDatafrom(Production)LanguageModels[J].arXiv:2311.17035,2023.通过编制感人的故事让ChatGPT生成Windows11的激活序列号语言模型安全可信问题易受越狱攻击–

DAN

(Do

anything

now)Jailbreak

ChatGPT网站提供了大量用来越狱的文本提示，其中最出名的是DAN语言模型安全可信问题实际上：你问的问题本身就暴露了你的秘密Cyberhaven统计了160万名员工使用ChatGPT的情况，发现：3.1%的使用者在给ChatGPT上传企业机密文件/数据.tw/articles/tech/1350283.htmChatGPT三星引入ChatGPT不到20天，就发生3起数据外泄，其中2次和半导体设备有关，1次和内部会议有关多模态模型安全可信问题多模态大模型的幻觉问题GPT-4V更相信文字而忽略图像Cuietal."Holisticanalysisofhallucinationingpt-4v(ision):Biasandinterferencechallenges."

arXiv:2311.03287

(2023).问：这幅画里有8个人是吧？答：是的，里面有8个动画人物。多模态模型安全可信问题大模型的训练数据可能存在地域和语言偏见GPT-4V更擅长识别西方建筑和英语问题Cuietal."Holisticanalysisofhallucinationingpt-4v(ision):Biasandinterferencechallenges."

arXiv:2311.03287

(2023).多模态安全可信模型问题多模态安全漏洞正常让大模型识别验证码，会被直接拒绝将验证码放到一个背景图片中，则能成功识别

1.

What

is

Machine

Learning

2.

Machine

Learning

Paradigms3.

Loss

FunctionsWeek

1:

Machine

Learning

Basics4.

Optimization

MethodsWhat

Is

Machine

Learninghttps://carlolepelaars.nl/2018/10/15/100daysofmlcode-summary/What

Is

Machine

Learning/‘Cat’‘Dog’What

Is

Machine

Learning/Million-scale

Image

RecognitionWhat

Is

Machine

Learning/research/hey-siri;

Speech

RecognitionWhat

Is

Machine

Learning/research/highlighted-research/alphago;

/blog/alphazero-shedding-new-light-on-chess-shogi-and-goStrategy

GamesWhat

Is

Machine

Learning/Million-scale

Facial

RecognitionWhat

Is

Machine

Learninghttps://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs3.htmlLarge-scale

Visual-Speech

LearningWhat

Is

Machine

Learning/research/DALL·E:Creating

ImagesfromTextCLIP:ConnectingTextandImagesWhat

Is

Machine

Learning/blog/alphafold-reveals-the-structure-of-the-protein-universeMachine

Learning

Is

Everywhere自动驾驶智慧教育智能制造生物信息智慧金融智慧医疗Elements

of

Machine

LearningLearningPatternsFromAGivenDatasetUsingAnAlgorithmData

describes

the

problemModel

describes

the

brain

of

the

machineAlgorithm

describes

the

learning

mechanismHardware

accelerates

the

learning机器学习四要素：数据、模型、算法、算力Elements

of

Machine

LearningDataModelAlgorithmHardwareKnowledgeBrainLearningBody10

Questions

of

Machine

LearningWhat

is

the

task?What

is

the

objective?What

is

the

data?How

much

data

do

we

have?What

is

the

model?What

are

the

inputs

and

outputs?What

needs

to

be

learned?How

is

the

model

trained?How

isthemodel

tested?

How

is

the

model

deployed?Problem

definitionLearning

objectiveTraining/Test

dataScale

of

learningModel

ArchitectureFunction

FamilyFeatures/RepresentationsTraining

MethodEvaluation

Metrics

GeneralizationMachine

Learning

Pipelinesetuptheinputsetuptheoptimisersetupthelossregularizationmakesdecisionregionsmootherlandscape

ofalossfunction,itvariesw.r.t.data,thefunctionitselfMachine

Learning

Pipelinesetuptheinputsetuptheoptimisersetuptheloss

Machine

Learning

ConceptsDataTraining

dataTest

dataSamplesIID/Non-IIDDomainFeatureRepresentationNoiseCorruptions…ModelSVM/RF/LRDNNRNNCNNFWNLayers,

neurons,

blocks,

moduleActivations,

logits,

probabilitiesModel

capacity,

parameters…Learning

methodStandard

learningCurriculum

learningSupervised

learningUnsupervised

learningReinforcement

learningContinual

learningSelf-supervised

learningRepresentation

learningContrastive

learning…AlgorithmLearning

Is

OptimizingMapping

function:Hypothesis

space:Expected

risk:Empirical

risk:Learning

is

the

process

of

empirical

risk

minimization

(ERM)Fitting,

Overfitting,

UnderfittingBias:

assumptions

made

by

a

model

to

make

learning

easierVariance:

differencebetween

training

and

test

error/underfitting-and-overfitting-in-machine-learning/Training

ErrorTest

Error

–Training

ErrorGeneralization

gapGeneralization

error

=

expected

loss

=

test

error

=

Bias

+

VarianceRegularizationOne

solution

to

the

Overfitting

problemStructuralRisk

MinimizationLearning

Paradigms/discovery/reinforcement-learning.htmlSupervised

Learning‘dog’‘cat’Unsupervised

Learning/unsupervised-learning-algorithms-cheat-sheet-d391a39de44aStep

1:Step

2:

Reinforcement

Learning/discovery/reinforcement-learning.html;/reinforcement-learning-an-introduction-to-the-concepts-applications-and-code-ced6fbfd882dHistory:State:Markov

State:SₜᵉSₜᵃSₜPolicy:Deterministic：Stochastic：

Value

Function:

Model:

Types

of

Reinforcement

Learning/en/latest/spinningup/rl_intro2.htmlOther

Popular

Learning

ParadigmsTransfer

LearningSource

DomainTarget

Domain

Feature

TransferSample

TransferModel

TransferOther

Popular

Learning

Pa