计算机科学导论-计算思维程序实践 课件 第19、20讲-机器是怎样学习的-样本-训练与分类、深度学习是怎样提高智能的-神经网络与深度学习

第19讲机器是怎样学习的？

—样本-训练与分类哈尔滨工业大学计算学部教学委员会主任国家教学名师战德臣【思考】AlphaGo战胜人类围棋世界冠军为什么引发了人工智能的高关注度？AlphaGo使用了什么样的创新技术，这些技术对人工智能发展有什么意义？

从AlphaGo看人工智能AlphaGo是什么？AlphaGo是首个击败人类围棋选手职业冠军的计算机程序从AlphaGo看人工智能围棋规则及行棋复杂性棋盘：19*19的平行线构成，形成361个交叉点，交叉点放置棋子。对局：双方各执一色棋子，轮流下子于交叉点。胜负：围住空间多的一方获胜。复杂性：假如用1,2,…,361来表示每一个交叉点即棋子位置，则一盘棋局就是这些棋子位置的一种组合。而棋盘上所有可能位置组合(枚举)多达10170(=3361)：361个位置，每个位置黑子、白子、无子3种状态），是一种非常复杂的游戏。围棋可观测宇宙的直径达920亿光年，包含不计其数的星系，估算出的原子总量也只有1080个从AlphaGo看人工智能围棋的智能问题围棋形势判断围棋待行棋位置的决策轮黑方或白方下子时，选择哪一个交叉点落子才能取胜围棋形势的判断行棋到某一状态时，对围棋胜负局面的判断机器是怎样通过学习提高智能的？围棋对弈与人工智能和机器学习有什么关系？人工智能机器学习有监督学习无监督学习半监督学习强化学习专家系统多智能体系统演化计算知识表示深度学习机器学习是一门从数据中研究算法的多领域交叉学科。机器学习研究计算机如何模拟或实现人类的学习行为机器学习从以往的经验中得到数据，通过学习构建模型，预测新数据，并提供对问题的决策支持典型方法：决策树、随机森林、人工神经网络、贝叶斯学习、关联规则学习、深度学习等数据模型决策学习经验机器学习与人工智能机器学习相关内容概述机器是怎样学习的？【示例】有100个病患，已知每个病患的两个项目的检查数据，且每个病患的诊断结果（疾病类别1或疾病类别2）已知。问：如何根据这些数据反推出疾病诊断的标准并用于对未分类病患的疾病诊断？两特征两类别分类问题已知模型，对【数据】进行分类

怎样求出这条直线的方程呢？待求方程形式：其中<x(i),y(i)>为样本点，而为按方程计算的点已知样本数据及其分类结果，反求模型：线性回归（拟合）两特征两类别分类问题【线性回归】枚举w和b，使【损失函数】L值最小枚举-计算-验证-优化算法

算法：最小二乘法、梯度下降法（略）两特征方程形式：多特征方程形式：两特征vs.多特征两类别分类问题多特征线性方程形式模型形式一定是线性的吗？模型假设？---仍用直线分割（分类）？模型假设？---用曲线如何？理想很丰满，现实很骨感--对于更复杂的数据，如何求解？两特征两类别分类问题曲线拟合分类问题：线性分类vs.非线性分类数学是不是很有用呢？哪些函数形式能产生什么形式的曲线？两特征两类别分类问题曲线拟合存在的问题：【欠拟合】与【过拟合】

如何判断边界内外逻辑回归：将结果映射为0和1的函数

多类分类问题可以转化为两类分类问题进行解决--例如将其中一个类视为正类、其它类统一视为负类ONE-VS-REST模式）推广到多类问题，如何求解？问题：假设采用ONE-VS-REST模式，且共有N个类，则需要构建多少个二类分类器？多类别分类问题多类别分类问题分类问题模型形式具有待确定参数w1,w2,…wn的关于x1,x2,…xn的一组方程组分类/识别（已知方程求分类结果）结果S属于哪一类别的判断已明确分类结果(标签)的样本数据集合{Si,<标签>}其中每个Si都有n个特征值Si:(x1,x2,…xn)

训练/学习已知分类结果,反求方程参数w1,w2,…wn模型具有明确参数的w1,w2,…wn的一组方程组待分类的数据S:(x1,x2,…xn)

已标注标签的样本数据集合{Si,<标签>},其中每个Si都有n个特征值Si:(x1,x2,…xn)

调试/开发(调优:改变学习过程的一些参数，如迭代次数、收敛程度等)什么是机器学习基本概念与过程监督学习是用已知类别【标签】的样本来学习模型参数分类：对离散数据，寻找决策边界（属于哪一类）回归：对连续数据，寻找最优拟合无监督学习是用未知类别【标签】的样本来学习模型参数聚类：一组数据究竟应该分为几类什么是机器学习有监督学习与无监督学习半监督学习是综合使用大量的未标记数据，以及小部分标记数据来进行学习迁移学习是把为任务A开发的模型重新应用在为任务B开发模型的过程中

强化学习是通过智能体与环境的交互学习策略以实现回报最大化或实现特定目标时序信息，在决定合适的行动时，需要考虑后续步骤延后给出的奖励值（如下棋最终的胜负）什么是机器学习其他类型的学习AlphaGo是怎样学习的？再从机器学习看AlphaGo围棋的机器内表示方法0000000000000000000000000000000001000000000000000000001000000000000000000100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000001000001000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000010000000000100000100000000000000000000000000000000000000000000000多个19*19的矩阵表示当前第N-k步到第N步的黑棋棋谱或白棋棋谱N个围棋19*19二值矩阵表示白棋棋谱：0无;1白棋19*19二值矩阵表示黑棋棋谱：0无;1黑棋再从机器学习看AlphaGo围棋规则及行棋复杂性围棋形势判断围棋形势的判断所围空间形状拟合—计算所围空间大小---较难将所围空间形状拟合问题转变为图像匹配问题，找到包含该局面的所有对局，然后由已知输赢结果的对局来判断围棋形势围棋待行棋位置的决策（选择下在哪一个交叉点的决策）围棋未来N步可能行棋后的形势判断（用于辅助即将行棋位置的决策，即所谓“走一步前看N步”）蒙特卡罗树搜索算法由已知输赢结果的对局训练算法AlphaGo首先利用了人类职业六段以上选手已知输赢结果的16万局对局来训练机器在不同状态下的最优位置选择能力AlphaGoZero使用两个机器相互对局来训练最优位置选择能力白方胜1盘历史对局白方负n盘历史对局在n盘对局中出现m盘，其中k盘胜，m-k盘负简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索算法思想基于当前状态，选择出评估值最优的节点，准备扩展将前步选择出的节点展开其子树节点对每个子树的叶节点，模拟直到已知胜负，从而算出评估值作为该叶节点的评估值。将该子树叶节点的评估值反向传播，修改其父节点的评估值，直到根节点。【节点示例

】评估值=胜局数/总对局数(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)111xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over111xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over0/111xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)2/201xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/102/22/2(4,3)1(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)2/21xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/102/22/2(4,3)1(4,1)over(4,2)00/10/10/1(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)2/21xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/102/22/2(4,3)1(4,1)over(4,2)00/10/10/1(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)2/21xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/102/22/2(4,3)1(4,1)over(4,2)00/10/10/1(2,4)(1,4)over0/100/1(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)2/30/1xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/102/32/3(4,3)1(4,1)over(4,2)00/10/10/1(2,4)(1,4)over0/100/1(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)3/41/2xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/103/43/4(4,3)1(4,1)over(4,2)00/10/10/1(2,4)(1,4)over1/200/1(3,4)arrive11/1(2,1)A/B

A成功次数B模拟总次数(1,1)(2,2)(3,1)(1,2)(1,3)over(3,2)(3,3)(2,3)3/51/2xy12341234简单了解蒙特卡洛树搜索算法蒙特卡洛树搜索示例【机器人路径规划问题求解】0/10/10/103/53/5(4,3)(4,1)over(4,2)00/10/10/1(2,4)(1,4)over1/200/1(3,4)arrive11/10/1(4,4)over00/1[QT]从AlphaGo看机器学习？[K]围棋及规则简介:棋盘、落子、胜负[QT]围棋的数据抽象:19*19矩阵[QT]围棋的形势判断:己方落子拟合出的曲线所能围出的空间[QT]换思维:将当前棋局看作19*19的二值图像：0无子，1有子[T]将当前棋局的二值图像与已经有胜负结果的历史对局匹配。看由此棋局最后导致胜负的局数并利用该胜负局数比，作为当前棋局的形势评估值[QT]启发:空间估算问题转为图像匹配问题[QT]机器怎样通过学习提高形势判断的准确度？机器学习的概念和过程样本、标签、模型、训练、分类/识别机器是怎样通过学习提高智能的小结（脉络梳理）[QT]落子位置决策蒙特卡洛树搜索白方胜1盘历史对局白方负n盘历史对局在n盘对局中出现m盘，其中k盘胜，m-k盘负落子选择器--策略网络棋局评估器--价值网络强化学习与深度学习读者可通过文献深入学习第20讲深度学习怎样提高智能？

—神经网络与深度学习哈尔滨工业大学计算学部教学委员会主任国家教学名师战德臣人工智能与深度学习神经网络和深度学习是人工智能研究的一个重要流派人工智能能够感知、推理、行动和自适应的程序机器学习能够随数据量增加不断改进性能的算法深度学习利用多层神经网络从大量数据中进行学习并提高性能需要理解：1神经网络、2卷积、3深度神经网络深度学习与神经网络神经网络发展的几个阶段1943195819862012神经元--MP模型抽象模型单层神经网络--感知机基本计算模型，能表示并实现基本逻辑运算如与、或、非等两层神经网络--BP神经网络误差反向传播多层神经网络--CNN卷积神经网络卷积-特征提取，多层（已出现150层甚至更多）神经网络与生物神经网络生物神经元与生物神经网络一个神经元：多个树突（输入）+1个轴突+多个轴突末梢（输出），轴突末梢与其他神经元的树突产生连接，从而传递信号。连接位置被称为“突触”。神经元模型基本神经元模型【示例】x1x2w3w1

非线性函数yx3w2输入权值输出神经元模型神经元模型神经元的训练与学习x1x2w3w1

非线性函数yx3w2输入权值输出神经元模型可依据已有标签的样本训练，获得最优权值已有标签样本的y值偏差枚举枚举w使偏差最小已有标签的样本的x值损失函数lossfunctions或误差函数errorfunction或代价函数costfunction权重weight，或参数parameter激活函数activationfunction转移函数transferfunction

典型激活函数示例超参数：控制算法运行的一些参数，例如控制枚举量的参数Sigmoid函数单层神经网络—感知机单层感知机x1x2w3w1

sgnyx3w2单层感知机模型可依据有标签的样本训练，获得最优权值输出神经元连接到下一神经元x1x2w3w1

yx3w21

(xi*wi)->=0y=

f((xi*wi)-)=

(xi*wi)-<001

(xi*wi)>0y=sgn((xi*wi)）=

(xi*wi)=00-1

(xi*wi)<0：阈值输出为二值权重来自前一神经元的输出单层神经网络—感知机用单层神经网络表达二值逻辑运算x111

2x2x1

x2x111

1x2x1

x2-1

0x1

x1

x21-1

1x2x1

x1

x2

1x1

x21-1

111x1

x2=(x1

x2)

(x1

x2)X1X2

X2X1*1+X2*(-1)输出00100010-101011111000单层神经网络能够表达二值逻辑与或非运算，但难以表达异或运算。由此需要两层神经网络，但两层神经网络计算更为复杂。神经网络有近似任何函数的能力。两层神经网络

两层神经网络模型x1x2w13w11

y1x3w12

Sigmoidy2w23w21w22

h11h12z1

z2h21h22x2w13w11

y1x3w12

y2w23w21w22

h11h12z1

z2h21h22SigmoidSigmoidSigmoidSigmoidSigmoidSigmoidSigmoid+1b1+1b2x1c1c2两层神经网络模型带偏置的两层神经网络模型两层神经网络

BP神经网络：一种按照误差反向传播算法训练的多层前馈神经网络x1x2w13w11

y1x3w12

Sigmoidy2w23w21w22

h11h12z1

z2h21h22SigmoidSigmoidSigmoid期望值误差反向传播误差正向传播神经网络的训练：枚举神经网络的训练：枚举（利用误差反向传播机制降低枚举量）两层神经网络

前馈神经网络与循环神经网络循环神经网络（RNN:RecurrentNeuralNetwork），如双向循环神经网络（BidirectionalRNN）和长短期记忆网络（LongShort-TermMemorynetworks，LSTM），递归神经网络（recursiveNeuralNetwork）

。前馈神经网络仅向下一层传输计算数据循环神经网络/递归神经网络向下一层传输计算数据，同时也可能本层循环

x1x2xixnw11w12w1iw1nw21w22w2iw2nwm1wm2wmiwmn∑∑∑fSigmoidy分类层或输出层全连接网络层多层神经网络将方程组表达成图的形式x1x2xixnw11w12w1iw1nw21w22w2iw2nwm1wm2wmiwmn∑∑∑输入层∑∑∑fSigmoidy分类层或输出层隐藏层1隐藏层i隐藏层全连接层特征层1多层神经网络典型的多层神经网络：卷积神经网络隐藏层有什么作用？什么是卷积？卷积神经网络的基本架构与层次卷积神经网络：ConvolutionalNeuralNetworks,CNN143413431343425462343433441345435641010111010----15

-

-

-

------

-

-

-

----1*0+4*1+3*0+4*1+1*1+3*1+4*0+3*1+1*0=15ABC【卷积】是一种可作用于每一个元素上的计算。可在一维数据上进行卷积，也可在二维数据上进行卷积，还可在多维数据上进行卷积。有一个【卷积核】，又称为卷积【算子】,可以是3*3，5*5，7*7，…，k*k等大小卷积核原始图像卷积结果什么是卷积【卷积】的概念与计算

143413431343425462343433441345435641----

-

-

-

------

-

-

-

----AC15什么是卷积【卷积】计算示例BBBBBBBBBBBBBBBB1217181314161615161819211621201*0+4*1+3*0+4*1+1*1+3*1+4*0+3*1+1*0=151/91/91/91/91/91/91/91/91/90-10-15-10-10-1-1