人工智能计算导论

人工智能计算导论人工智能计算导论全文共28页，当前为第1页。人工智能计算导论全文共28页，当前为第2页。知识表达认知推理机器学习规划决策自然语言交互高效搜索计算机视觉人工的方法在机器上实现智能人工智能计算导论全文共28页，当前为第3页。三大学派符号主义连接主义行为主义结构模仿两条路线功能模仿人工智能计算导论全文共28页，当前为第4页。1971Intel

40041991

GPU实现有限编程2005

GPU可直接编程2014

首个为深度学习设计的GPU芯片Pascal发布2016人工智能元年1998Pentium

IIXeonIEEE标准1987

VHDL成为 1992

FPGA-ANN1996

FPGA-CNN2006

BP在FPGA上实现5GFLOPs的处理能力2011

大规模基千FPGA的CNN出现通用芯片2008酷睿i72010AMD

6核寒武纪“寒武纪—号”中星微电子“星光智能—号”谷歌-TPUIntel-XEONPHINVIDIA-TESLA

P100NVIDIA-TESLA

P4/P40VEGA架构GPU移动处理器GT7600专用芯片基千人脑功能的AI芯片IBM-TrueNorth芯片高通-Zeroth芯片深鉴-DPU芯片（基千FPGA实现）神经结构AI芯片IBM-随机相变神经元芯片神经元拟态芯片基千人脑结构的AI芯片量子计算芯片RigettiComputingGoogleIBM微软NASAGPUCPUFPGA类脑计算人工智能计算导论全文共28页，当前为第5页。机器学习的几个层级人工智能机器学习多层感知机深度学习样本学习规则学习自主学习人工智能计算导论全文共28页，当前为第6页。空域延伸inputLayer

1Layer

2Layer

nOutput……input时域延伸(RNN)outputHiddenlayery(1)x(1)Hiddenlayer…a(1)Hiddenlayerx(2)y(2)a(2)

a(k-1)Hiddenlayerx(k)y(k)样本学习从浅层网络到深度学习线性可分线性不可分线性不可分分类问题回归问题人工智能计算导论全文共28页，当前为第7页。输入张量Pl

P2P3!"!#!$%&"&#&$样本学习卷积中的矩阵乘卷积核人工智能计算导论全文共28页，当前为第8页。样本学习一些问题数据质量

Data

Quality稀疏性Sparsity小样本

lack

sample偏见性

discrimination不均衡性

Unbalance训练效率

Training

Efficiency收敛性Convergence样本选择

Sample

selection并行化

parallelization模型规模

Model

Size模型量化

Quantization模型裁剪

Model

Pruning模型迁移

Model

Transfer人工智能计算导论全文共28页，当前为第9页。规则学习从遵循规则到学习规则!"#$l. If

后视镜与前车B柱平行&与前车侧边距离30�50cm

then

右打轮l00%&

倒车If

与前车夹角45度then

左打轮l00%

&

倒车If

与后车

I

后停车线距离小于30cmthen

右打轮l00%

&

前进If

与前车夹角小于l0度then

停车

&

回正车轮人工智能计算导论全文共28页，当前为第10页。规则学习从遵循规则到学习规则人机交互界面知识获取知识库知识表达解释器综合数据库推理机用户专家知识工程师条件语言：If

A

then

B逻辑语言：and/or/not确定性逻辑模糊推理机MamdaniTakagi-Sugeno距离聚类密度聚类数据挖掘规则表!"#$%&'()*+$%模糊性逻辑,*-.人工智能计算导论全文共28页，当前为第11页。规则学习从遵循规则到学习规则知识获取知识库知识表达Q矩阵行为状态有限状态离散输出DQN有模型强化学习无模型强化学习MDP!!""连续输出Value-basedGradient-basedValue

functionPolicyActorCritic人工智能计算导论全文共28页，当前为第12页。规则学习从遵循规则到学习规则"#$%&观察状态行为推演评估收益付诸行动'()%*

,%-./&)$ %# "#

!

""

!

#$ %# "!" !$

$$ % $!

!# " !人工智能计算导论全文共28页，当前为第13页。规则学习一些问题仿真成本高

High

Cost延迟奖励

Delayed

Reward仿真误差

Simulation

Deviation学习效率低

Low

Efficiency敏感性

Sensitivity鲁棒性

Robust可重复性Repeatability可复现性

Reproducibility行为偏见

Behavior

Bias奖励偏见

Reward

Bias局部极值

Local

Optimal合谋欺诈

Co-cheating人工智能计算导论全文共28页，当前为第14页。自主学习从自动学习到三自系统重复建模成本高任务类型复杂自主决策度高人工智能计算导论全文共28页，当前为第15页。自主学习自动机器学习AutoML标准建模过程!"#$数据处理特征工程/012/03456789:78模型设计;<=!

=>?@AABAA#$%&#$'()*+,#$-.模型验证CDE-FGHIJKLMN问题描述序贯模型算法配置问题(SMAC)在给定性能指标下，确定表现最好的模型结构及其参数神经网络结构搜索(NAS)对于预测任务而言，搜索最优的网络结构从而最小化在验证集上的误差人工智能计算导论全文共28页，当前为第16页。自主学习自动机器学习AutoML进化计算'()搜索'*+#,*+-''./,+0/11*0234156/5*17子网络采样强化学习人工智能计算导论全文共28页，当前为第17页。自主学习自动机器学习AutoMLQRSTUVWXY

W[[\SW]^_&'

(

)*+,-.

012'3456

78

&

9/:7 (

)*+,);

<==>'?56

78

&'

9/8/5*1

+/:*,;<145<+4/,)*<0.37+0<+*=>)*<0.3<=*,+

?./,+0/11*0痛点模型验证成本高昂搜索空间范围有限无法满足硬性约束人工智能计算导论全文共28页，当前为第18页。自主学习搜索模型%&'()*@A/.3

,B6"CC8/5*1

,B6"CCD/+<1

+46*（3）$#(F=

+46*?6/5*1（64,）"GE#搜索过程中测试集精度变化图基千.<0数据集进行以下实验自动机器学习AutoML实验安排训练集

##$%#验证集

#&&&测试集

'#(&数据集分布1234 .

'&$52-: .

#;$#)*+,-.

$0$(67389.

'$$(<7=- .

#&%5A2--B.

$%(4-77>?.

@%#843B .

(%#人工智能计算导论全文共28页，当前为第19页。自主学习自动机器学习AutoML不同模型在测试集上精度对比图不同模型计算指标对比自动搜索模型在参数和浮点运算量较少的情况下，测试精度仍具有较好的优势。#I#C"I"CIC!<0<67J8K73BPP1*,*+;#'<7,*+S(Q,.*A+4/,RF#'<7,*+S7*<0.3LMN!7JOK-*7,*+IC@,<7S7*<0.3人工智能计算导论全文共28页，当前为第20页。自主学习自动机器学习AutoML灾难性遗忘目标均衡计算系统适配元操作设计人工智能计算导论全文共28页，当前为第21页。自主学习智能系统自组织自适应自学习群集智能人工智能计算导论全文共28页，当前为第22页。创新应用及技术风格迁移图片来源：arXiv:l603.08l55

[cs.CV]人工智能计算导论全文共28页，当前为第23页。图片来源：量子位报道创新应用及技术风格迁移人工智能计算导论全文共28页，当前为第24页。量(.)('/0)张量操作(12)0&*3/()计算图(4/526*3(7

90&2:)自动微分工具(,6*/5&*3;<3==)0)(*3&*3/(

*//>)计算扩展包(?@,-A

;6?@,-A;6<%%)深度学习框架人工智能计算导论全文共28页，当前为第25页。框架主要维护人员支持语言支持系统支持的神经网络!"#$%&'(%)谷歌!""、#$%&'()*(+,、-./、0(12'*1、345卷积神经网络、循环神经网络、强化学习乃至其他计算密集的科学计算*+,,"加州大学伯克利分校视觉与学习中心!""、#$%&'(、-.%6.7)*(+,、-./、8*1'9:卷积神经网络支持最好!-"+#%蒙特利尔大学#$%&'()*(+,、-./、8*(1'9:小型的卷积神经网络和循环神经网络支持较好./0"1分布式机器学习社区（;-)!）!""、#$%&'(、<+6*.、-.%6.7、='、>、5/.6.)*(+,、-./、8*(1'9:、0(12'*1、345循环神经网络和卷积神经网络*0!2微软研究院#$%&'(、!""、?2.*(5/2*@%)*(+,、8*(1'9:语音识别领域用途广泛，支持-)#、!AA、>AA、)5B-等模型2"&+$C2.(/'*:

!&'66E%#$%&'()*(+,、-./、8*(1'9:卷积神经网络和循环神经网络>'(.(

!'66'7E2%、)*(+,、-./、8*(1'9:、0(12'*1、345适合快速开发小型卷积神经网络和循环神经网络34!%&5-5'+F*%&!&*(%.6.GC./E7''HI)+.、)+.L3B、!B9*%%E2J=''K6E6""7("+#9:;5H$F*(1L.M.、5/.6.、!6'<+2E)