深度学习相关知识

1、Inputs WeightsNet input functionActivation function4 outputInputs WeightsNet input functionActivation function4 output神经网络的定义神经网络是一组大致模仿人类大脑构造设计的算法，用于识别模式。神经网络通过机器感知 系统解释传感器数据，对原始输入进行标记或聚类。神经网络所能识别的模式是包含在向量 中的数值形式，因此图像、声音、文本、时间序列等一切现实世界的数据必须转换为数值。 神经网络帮助我们进行聚类和分类。可以将其理解为建立在你所存储和管理的数据之上的一 个聚类与分类层。对于未

2、标记的数据，神经网络可以按照输入样例的相似之处将数据分组; 若能用已标记的数据集定型，神经网络就可以对数据进行系统分类。（更准确地说，神经网 络提取特征，再输入其他算法进行聚类和分类；因此可以将深度神经网络视为更大的机器学 习应用系统的一部分，这个系统中还包括强化学习、分类和回归分析的算法。）神经网络的要素深度学习系统指一系列由多个层堆叠组成的特定神经网络。每一层则由节点构成。运算在节 点中进行，节点的运作模式与人类的神经元大致相似，遇到足够的刺激信息时就会激活并释 放信号。节点将输入数据与一组系数（或称权重）结合，通过放大或抑制输入来指定其在算 法学习任务中的重要性。输入数据与权重的乘积之和

3、将进入节点的激活函数，判定信号是否 继续在网络中传递，以及传递的距离，从而决定信号如何影响网络的最终结果，例如分类动作。output layerhidden layerinput layeroutput layerhidden layerinput layer节点层是一行类似神经元的开关，在输入数据通过网络时开启或关闭。从最初接收数据的第一个输入层开始，每一层的输出同时也是下一层的输入。我们将输入特征与可调整的权重匹配，由此指定这些特征的重要性，即它们对网络的输入分类和聚类方式有多大程度的影响。深度神经网络的重要概念顾名思义，深度学习网络与更常见的单一隐藏层神经网络的区别在于深度，即数据在模式

4、识 别的多步流程中所经过的节点层数。传统机器学习系统主要使用由一个输入层和一个输出层组成的浅层网络，至多在两层之间添 加一个隐藏层。三层以上（包括输入和输出层在内）的系统就可以称为深度”学习。所以， 深度是一个有严格定义的术语，表示一个以上的隐藏层。在深度学习网络中，每一个节点层 在前一层输出的基础上学习识别一组特定的特征。随着神经网络深度增加，节点所能识别的 特征也就越来越复杂，因为每一层会整合并重组前一层的特征。这被称为特征层次结构，复杂度与抽象度逐层递增。这种结构让深度学习网络能处理大规模 高维度数据集，进行数十亿个参数的非线性函数运算。最重要的是，深度学习网络可以发现未标记、非结构化数

5、据中的潜在结构，而现实世界中的 数据绝大多数都属于这一类型。非结构化数据的另一名称是原始媒体，即图片、文本、音视 频文件等。因此，深度神经网络最擅长解决的一类问题就是对现实中各类未标记的原始媒体 进行处理和聚类，在未经人工整理成关系数据库的数据中，甚至是尚未命名的数据中识别出 相似点和异常情况。例如，深度学习网络可以处理一百万张图片，根据其相似之处进行聚类：一个角落是猫的图 片，一个角落是破冰船的图片，还有一个角落都是你祖母的照片。这就是所谓智能相册的基 础。同样的原理还可以应用于其他数据类型:深度学习可以对电子邮件或新闻报道等原始文本进 行聚类。通篇都是愤怒投诉的邮件可以聚集到向量空间的一个

6、角落，而客户的满意评价或者 垃圾邮件则可以聚集到别的角落。这就是各类信息过滤器的基础，也可以用于客户关系管理 （CRM）。这对于语音消息同样适用。如果使用时间序列，数据可以按正常健康行为或异常 /危险行为进行聚类。由智能手机生成的时间序列数据可以用于洞悉用户的健康状况和生活 习惯；而由汽车零部件产生的时间序列数据则可以用来预防严重故障。与多数传统的机器学习算法不同，深度学习网络可以进行自动特征提取，而无需人类干预。 由于特征提取是需要许多数据科学家团队多年时间才能完成的任务，深度学习可以用于缓解 专家人数不足造成的瓶颈。较小的数据科学家团队原本难以实现规模化，而深度学习可以增 强他们的力量。用

7、未标记数据定型时，深度神经网络的每一节点层会自动学习识别特征，方法是反复重构输 入的样本，让网络猜测结果与输入数据自身几率分布之间的差异最小化。例如，受限玻尔兹 曼机就以这种方式进行所谓的重构。深度神经网络通过这一过程学习识别具体相关特征和理想结果之间的关联一它们在特征信 号与特征所代表的含义之间建立联系，可以是完全重构，也可以利用已标记的数据。深度学习网络最终有一个输出层：一个逻辑或softmax分类器，用于指定某一种特定结果或 标签的可能性。我们称之为预测，但这是广义上的预测。比方说，对一个深度学习网络输入 图像形式的原始数据，网络可能会判定输入数据代表一个人的可能性是90%。多元线性回归

8、分析虽然人工神经网络这个名字来源于生物学，但其实质无非是数学运算和程序代码，就像其他 机器学习算法一样。事实上，只要理解线性回归这一统计学中的基本方法，就能理解神经网 络的运作原理。线性回归的最简表示方式是：Y_hat = bX + a其中Y_hat是估测的输出，X是输入，b是斜率，a是一条直线在二维图像平面纵轴上的截 距。（用更具体的例子说明：X可以是辐射照射量，Y可以是癌症风险；X可以是每天做俯卧 撑的次数，Y是你能卧推的总重量；X可以是肥料的使用量，Y可以是农作物的大小。）可以 想象，每当X增加一个单位时，不论在X轴上的距离有多远，应变量Y都会按比例增加。两 个变量同步上下移动的简单关系

9、是起点。下一步是想象多元线性回归，它有多个输入变量，一个输出变量。多元线性回归通常表示为 以下形式：Y_hat = b_1*X_1 + b_2*X_2 + b_3*X_3 + a（借用前文农作物的例子，可以在肥料这一变量之外增加日照、降水量，所有三个变量都会 影响 Y_hat。）这种形式的多元线性回归在神经网络的每个节点发生。对于单个层内的每一节点，上一层内 每个节点的输入都与所有其他节点的输入重新组合。也就是说，输入按照各自的系数以不同 比例混合，而系数在进入下一层的每个节点时会有所改变。网络在减少误差的过程中用这种 方式测试何种输入的组合具有意义。节点输入在相加得到Y_hat之前，还会经过

10、一个非线性函数。其原因在于：如果每个节点都 只进行多元线性回归运算，Y_hat将随X的增加而无限增大，这并不符合我们的目的。每个节点所要实现的功能相当于一个开关（就像神经元一样），其开关状态取决于是否应 当让输入信号通过并对网络的最终判定结果产生影响。每个开关也就是一个分类问题。对于输入的信号，节点应当将其归为足够还是不够，开还是 关？二元判定可以用1和0表示，使用逻辑回归这种非线性函数可以挤压输入，将其转换至 0到1的区间内。每个节点的非线性变换通常使用与逻辑回归相似的S型函数。这类函数被称为sigmoid（希 腊字母“S”的读音）、tanh、hard tanh等，用于调整每个节点的输出。每

11、个节点的输出均被挤 压至0到1之间的s形空间内，随后作为输入传递至前馈神经网络的下一个层，如此不断推 进，直至网络进行判定的最终层逻辑回归对于多层的深度神经网络，最后一个层有着独特的作用。在处理已标记的输入时，输出层会 对每个样例进行分类，添加最有可能与之匹配的标签。输出层上的每个节点都代表一个标签， 节点根据其从上一层输入和参数中接收到的信号强度来决定开关。每个节点都有两种可能的结果，即二进制输出值0或1，因为输入变量要么与标签匹配，要 么不匹配。毕竟，世界上不存在稍微有点怀孕”这种事。处理已标记数据的神经网络生成的是二进制输出，然而网络接收的输入数据通常是连续的。 也就是说，网络接收到的输

12、入信号通常会涵盖较大范围的值，包含许多种指标，具体取决于 网络所要解决的问题。例如，推荐引擎必须决定是否显示一个广告，这是一种二元判定。但是引擎判定所依赖的输 入可能包括客户上周在亚马逊网站上的消费金额，或者客户访问网站的频率等。于是，输出层就必须将花67.59美元购买尿布”、访问网站15次”这样的信号压缩至0到1 的区间内，亦即特定输入应当被标记的概率。用于将连续信号转换为二进制输出的机制称为逻辑回归。逻辑回归名不副实，因为它的用途 是分类，而非大多数人所熟悉的线性回归分析。逻辑回归用于计算一组输入与标签相匹配的 概率。我们看一看这个简单的公式。连续输入如果要用概率的形式表示，就必须输出正的

13、结果，因为不存在负概率。正因为如此， 输入在公式里是分母中e的指数一因为指数后的运算结果必定大于零。接下来再看e的指数 与分数1/1的关系。我们知道，概率的最大值是一，如果超过一，则必然得出荒唐的结果。（对此我们120%肯定。）触发标签的输入x增加时，e的负x次幂会逐渐趋于零，函数的结果则趋向1/1，即100%， 意味着我们越来越接近（但并不会达到）确定标签绝对匹配的状态。与输出负相关的输入作 为e的指数时会被负号转换成正数，所以随着负信号不断增加，e的负x次幂也会增大，使 整个分数更趋向于零。现在试想指数不再是x，而是所有权重与其对应输入的乘积的总和一在网络中传递的信号总 和。这就是输入神经网络分类器输出层的逻辑回归层的数据。我们可以为这个层设置判定的标准，高于标准的样例标记为1，低于标准则不予标记。你可 以按照需要自行设定不同的标准一标准过低会增加取伪错误的数量，标准过高会增加弃真错 误的数量一具体取决于