神经网络和深度学习

神经网络与深度学习神经网络和深度学习第1页图像特征计算机图像是由一定数量点阵像素组成。如上所表示，我们看到是一辆车，但实际上计算机了解是一个由各像素点灰度值组成矩阵，它并不能直接了解“这是一辆车”。我们需要将“这是一辆车”这个事实用完全逻辑化语言描述出来，让计算机建立一个函数，这个矩阵自变量x所对应结果因变量y就是“车”。难度可想而知。神经网络和深度学习第2页我们先看一个简单例子。一个数字9，我们怎样描述它形状？现在有这么一个描述方法：这个数字上半部分是一个圆，下半部分是靠右一撇。用数学语言表示就是，上半部分能够以方程x12+y12=r12(r1>0)拟合，下半部分能以x22+y22=r22(x2<0,y2<0,r2>0)拟合，那么就能说明这个图形极有可能是数字9。神经网络和深度学习第3页特征：用来描述一个对象详细表现形式逻辑语言。如前页所述，“上半部分是圆，下半部分是靠右一撇”就是数字9形状特征。特征是组成一个对象必要但不充分条件，因为一个对象是由无数个特征组成，在有限数量特征里，我们永远只能预估该对象，而不能100%确定该对象终究是什么。神经网络和深度学习第4页经典图像特征之——Haar特征思索：我们一眼就能看出来这幅图像上有一栋房子。但任何一幅图像都是由一定数量像素点组成，我们是怎么从这些单纯像素点里发觉了房子呢？这个问题还能够换一个问法：我们怎么知道一幅图像中是有前景对象，对于一张纯色画布，我们为何无法发觉任何对象？神经网络和深度学习第5页这包括到一个现象：颜色突变。上图所圈出区域中，都是颜色改变较大区域。而我们就会自然地认为，这是物体边缘，而由封闭边缘组成区域就是物体。不但是房子这个整体，房子里门、窗户等元素我们都能发觉，而原因自然也是颜色突变。思索：人能看见绝对透明（100%透明）玻璃吗？神经网络和深度学习第6页我们定义一个形状时候，本质上就是在定义其产生颜色突变像素点大致相对位置。比如圆，在一个直角坐标系图象上上，存在全部满足(x-a)2+(y-b)2=r2条件坐标点某个小邻域内有较大颜色突变，那么这幅图像上就有一个圆形状。左上方是一幅色盲测试图，不色盲朋友都能看到左下角有一个蓝色圆，而且是一个空心圆。思索：我们该怎样用颜色突变方式定义一辆车？（先不考虑前身后身等复杂情况，假设全部车都是像左下列图这么固定角度）神经网络和深度学习第7页Haar特征：对大量同类图像样本进行学习，找出这些图像全部产生了颜色突变相对坐标位置，将这些同类图片作为正样本，同时给出不属于该类，远多于同类图片负样本，让机器对这些样本进行学习，并最终生成一个对象识别模型，用来正确寻找一幅图像中你所需要寻找元素。所以，Haar特征广义上来说就是图像形状特征。Haar特征对于邻域要求有三种：边缘特征、中心特征、对角线特征，其中边缘特征又分横向和纵向。经过计算白色区域像素亮度和与黑色区域像素亮度和之差来反应图像颜色突变区域，即边缘区域。尤其地，对于C模型，需要将黑色区域乘以2作为其像素亮度和。

神经网络和深度学习第8页Haar特征实例——人脸检测我们用OpenCV中一个训练得很好人脸检测Haar模型，对一张照片进行人脸检测。结果如上。神经网络和深度学习第9页Haar特征不足之处Haar特征本质上是检测图像中颜色突变，所以对图像形状较为敏感，同时对其它特征（如颜色等）敏感度较低。而且Haar只适合用于刚性运动物体检测，而不适合用于物体精细化识别。人脸检测和人脸识别难度上完全不是一个数量级。实际上，任何一个单一图像特征都是不全方面，是不能适应全部场景。其实，图像本身只是由像素点组成，图像特征那是我们人为整理出来，严格地说它并不属于图像一部分。那我们能不能从图像像素点本身来寻找一些算法呢？神经网络和深度学习第10页最基本决议模型——感知器生活中我们经常要对一些事情做出决议。但不论我们最终选择了什么，都一定是有原因，而且原因往往不止一个。现在我们来玩一个情景游戏。假如周末企业组织员工外出旅游，你是去还是不去呢？这是一个最简单感知器，最终止果只有两种，Yes和No。只是，结果即使简单，不过你会考虑很多原因，最终决定结果。假设你考虑以下三个原因：A.天气怎样；B.可否带搭档一起去；C.费用、伙食、旅馆等条件是否符合个人预期。神经网络和深度学习第11页假设你是这么想：和同事一块出去玩，是极难得一件事，能带搭档一起去那是锦上添花，不能也没关系；但天气是挺主要，阴雨绵绵玩得不开心；旅馆嘛，这么多人一起，不会太好，但也不会太差，最主要是享受。那么这时候，你决议就和当地天气唯一相关，其它两个原因没有任何影响。感知器本质就是对各个输入量加权和进行分析，做出YesorNo决议模型。神经网络和深度学习第12页上述你考虑三个原因能够作为感知器三个输入量x1,x2,x3，并设主动结果为1，消极结果为0。三者都有对应权重量w1,w2,w3。现计算它们加权和w1x1+w2x2+w3x3，同时加上一个偏差值b。若其为正（大于0），则最终回答是Yes，不然（小于或等于0）回答No。假如你想法如前所述，那么你感知器模型能够是这么：w1=6,w2=2,w3=2,b=-5，即判断6x1+2x2+3x2–5正负。在全部输入量均只能取0和1前提下，我们能够很显著地看到，唯独当x1=1时，结果才为正，即决议为Yes，只要x1=0，决议就必定为No。思索：若将b改为-3，其它权重量不变，那么决议会变成什么样？神经网络和深度学习第13页较为复杂感知器——多层感知器《非诚勿扰》，一个非常流行电视节目。男嘉宾上台后，在场女嘉宾首先给男嘉宾打印象分，然后经过前后播放多个不一样AVR以及各种提问对【自己是否愿意跟男嘉宾走】这个问题给出回答。点评：很多事情决议，并不是评定多个彼此独立条件，往往某个条件是和之前一些条件相关。比如上面这个案例，第一印象好坏算作感知器输入量x1，只有当它等于1时，后面输入量才有意义。但也不是它等于1就一定表示最终结果是Yes，还需要分析其它输入量才能得出最终止果。神经网络和深度学习第14页那么，这种经过多层判断，得出最终止果感知器，就叫多层感知器。以下列图所表示，是一个双层感知器，第二层神经元决议是跟第一层决议相关。神经网络和深度学习第15页其实，本质上来讲，多层感知器也一样能够展开成单层感知器，任何一个决议都是能够用标准与或式来表示。而感知器本质恰恰就是逻辑电路。那么感知器和逻辑电路二者区分是什么呢？两个字：学习。感知器能够经过给定数据，经过一定算法来学习各个输入量权重，以及全局偏差值。而这是已经固定成型逻辑电路所做不到。多层感知器存在，也是为了建立一个符合常规思索方式学习模型而存在，展开成单层感知器后，学习目标不显著，学习效果会下降。神经网络和深度学习第16页学习是靠要大量样本积累。每一个样本都有一定数量输入量（考查条件）和一个理想输出值（理应如此），无须给出各输入量权重以及最终偏差值，机器经过不停自我调整寻找这些量，使得尽可能多样本匹配上其理想输出值。（注：有时候样本之间可能会因为各种原因出现矛盾理想输出值，所以不能确保全部样本都匹配）不过这里有一个问题，我们当前决议是非此即彼，非常机械化决议。比如一个数字9，假如下方那一撇写得不弯，变成了一条直线，那是不是这个数字就不是9了呢？我们是不是应该有一个过渡过程呢？神经网络和深度学习第17页不再非此即彼——Sigmoid神经元回想一下我们以前数学考试，一道解答题12分，老师批改时重点看是过程，就算结果错了，只要过程是正确，也绝不会把12分全扣完。不过，现在感知器，因为结果是非此即彼，所以它做就是把12分全扣完事，俗话叫【一棍子打死】。这么话，即使我们知道做错了，我们也并不知道错在哪里，也极难修正错误。神经网络和深度学习第18页Sigmoid神经元处理了这么问题。每一个输入量不再像感知器那样只能是0或1，而能够是0~1之间实数。最终输出结果也一样，不再是斩钉截铁Yes(1)或No(0)，一样也能够是Notsure(between0~1)。我们最终输出结果其实是一个概率，结果为主动概率，通常被叫做Sigmoid函数。它表示式和图像如上图所表示。神经网络和深度学习第19页Sigmoid神经元其实是由如左上所表示感知器函数图像平滑而来。函数图像平滑，当任何一个输入量x只改变了一点点Δx时，最终输出量y也只会改变一点点Δy。任何时候，当Δx→0时，一定有Δy→0，而这是感知器做不到。这使得决议不会产生突变，更有利于学习，如右上图所表示。神经网络和深度学习第20页多层Sigmoid神经元——神经网络神经网络本质就是多层感知器/多层Sigmoid神经元。它一样由输入样本、输入量、对应权重、全局偏差值，以及最终决议组成，只是最左端输入量成为了输入层、最右侧最终决议成为了输出层，中间运算量组成了隐藏层。它并不是那么神秘事物。神经网络和深度学习第21页建立神经网络自学习模型现在，假设我们已经有一个手写体数字图像数据集，而且都已正确归类为0~9中一个。那么我们要让机器对这些模型进行学习，并能对一个未知手写体数字尽可能正确分类。这些样本都是28x28大小黑白图像，也就是说一个样本有28x28=784个输入量，它们非0(黑)即1(白)。输出量一共有10个，分别代表对应输入量数字是0~9各自可能性，各输出量之和必为1。神经网络和深度学习第22页如左图所表示，这就是我们建立手写体数字识别神经网络。它有若干个输入样本，每一个输入样本都有784个输入量，隐藏层有15个隐藏神经元，输出量共10个，表示结果为各自对应数字概率值。最终我们要找就是输出值最大那个输出量所对应数字，这也就是我们神经网络所识别出数字值。神经网络和深度学习第23页成本函数我们知道，评价一个网络最主要是其识别精度。但这里我们引入一个中间量，叫成本函数。假如我们将每个输入量x理想决议值（即已经要求好决议值）设为A，将实际决议值（即经过加权计算出决议值）设为y，这里y能够表示为x函数，即y=y(x)，那么我们能够定义下面这么一个成本函数。这实际上就是均方差。神经网络和深度学习第24页很显著，实际输出值A越靠近理想输出值y(x)，成本（均方差）就越低，网络识别性能就越好。我们学习过程，其实是经过不停微调各权重量和全局偏差值，以至于这么权重和偏差值能够使得成本函数尽可能小，精度尽可能高。当然了，成本函数不只是均方差这一个，还有很多函数能担当起成本函数责任。神经网络和深度学习第25页寻找成本函数极小值——梯度下降算法回归简单，我们将成本函数C简化为和两个自变量相关形式：C=f(v1,v2)。实际上这里v1就是权重向量，v2就是全局偏差值，只是做了简化而已。那么，当我们对v1及v2做了微小改变时，成本函数全微分ΔC能够这么表示：神经网络和深度学习第26页现在定义一个新概念“梯度”，它是一个函数针对全部自变量偏导数所组成矩阵转置。它和自变量改变程度息息相关。我们知道，当C降低时，ΔC及C梯度必定为负，我们也正是要寻找这么一组权重量和全局偏差值，使得ΔC及C梯度为负。我们之前所说“颜色突变”，本意就是那个区域内像素亮度梯度过大。神经网络和深度学习第27页那么怎么才能让梯度不停下降呢？我们不妨设Δv=−η▽C=−η∥▽C∥2，在这里η是一个很小正数，通常称为学习率。然后，因为∥▽C∥2恒为正，C就会不停下降。依这类推，对于我们成本函数，则对应梯度下降规则就应该是下面这么：神经网络和深度学习第28页梯度下降改良——随机梯度下降在深度学习过程中，往往伴伴随大量训练样本出现。梯度下降是针对每一个样本都要做一次对应运算，会浪费掉相当多宝贵时间。现在我们每次只随机取部分样本，然后对这一部分样本统一进行梯度下降，然后再去抓取其它样本。等全部样本都抓取完后，再重头开始。这种方法叫做随机梯度下降。很显著，因为每次都不是全部样本均参加训练，所以最终梯度下降幅度必定是没有完整梯度下降算法要强。但我们只要求网络到达一