深度学习基础

深度学习介绍深度学习训练方法深度学习中常用的几种模型和方法卷积神经网络应用卷积神经网络在脑-机接口中的应用编译介绍深度学习、机器学习、机器学习是一门专门研究计算机如何模拟或实现人类学习行为以获取新知识或技能、重组现有知识结构并不断提高自身性能的学科。简而言之，机器学习是一种算法，它使机器能够从大量历史数据中学习规律，从而智能地识别新样本或预测未来。机器学习在图像识别、语音识别、自然语言理解、天气预报、基因表达、内容推荐等许多方面的发展，仍然存在一些尚未解决的问题。特征的自学习和传统的模式识别方法：数据由传感器采集，然后预处理，特征提取，特征选择，然后推断，预测或识别。特征提取和选择的质量对最终算法的确定性起着关键作用。目前，特征模式通常是人工提取的。然而，手动特征选择需要时间和精力，需要专业知识，并且严重依赖经验和运气。机器能自动学习功能吗？深度学习的出现为这个问题提供了解决方案。自2006年以来，深度学习已经成为机器学习研究的一个新兴领域，也就是通常所说的深度结构学习或层次学习。动机在于建立和模拟用于人脑分析和学习的神经网络。它模拟人脑解释数据的机制，如图像、声音和文本。深度学习是一种无监督的学习。深度学习的概念源于人工神经网络的研究。多层隐层多层感知器是一种深度学习结构。深度学习通过结合低级特征形成更抽象的高级表示属性类别或特征。已找到数据的分布式特征表示。人脑的视觉机制，1981年诺贝尔奖获得者大卫胡贝尔和托斯滕威塞尔发现了视觉系统的信息处理机制。他们发现了一种叫做“方向选择性细胞”的神经元细胞。当瞳孔发现他面前物体的边缘，并且这个边缘指向某个方向时，这个神经元细胞就会活跃起来。由此可见，人类视觉系统的信息处理是层次化的，高级特征是低级特征的组合。从低级到高级的特征越来越抽象，越来越能够表达语义或意图。抽象程度越高，存在的猜测越少，越有利于分类。浅学习和深学习、传统的机器学习和信号处理技术探索仅包含单层非线性变换的浅学习结构。浅层模型的一个共同特征是它们只包含一个简单的结构，将原始输入信号转换为特定问题的空间特征。典型的浅层学习结构包括传统的隐马尔可夫模型(HMM)、条件随机场(CRFs)、最大熵模型(MaxEnt)、支持向量机(SVM)、核回归和只有一个隐藏层的多层感知器(MLP)。浅层结构的局限性在于它用有限的样本和计算单元表达复杂函数的能力有限，并且它对复杂分类问题的泛化能力在一定程度上受到限制。受大脑层次结构的启发，神经网络的研究发现，具有多个隐藏层的神经网络具有很好的特征学习能力，学习到的特征能够以更本质的方式描述数据，从而便于可视化或分类。然而，深层神经网络在训练中的困难可以通过“逐步初始化”来有效克服。深度学习可以通过学习深度非线性网络结构来实现对复杂函数的逼近，表征输入数据的分布式表示，并表现出从几个样本中学习数据和本质特征的强大能力。深度学习的本质是通过构造具有许多隐含层和大量训练数据的机器学习模型来学习更多有用的特征，从而最终提高分类或预测的准确性。因此，“深度模型”是深度学习和浅层学习的区别在于强调模型结构的深度，通常有5-10层隐藏层节点；特征学习的重要性得到了明确的强调，通过逐层特征转换，将原始空间中样本的特征表示转换到新的特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据学习特征可以更好地刻画数据丰富的内在信息。深度学习训练方法、与神经网络的异同、深度学习与神经网络的异同、神经网络的深度学习、深度学习与神经网络的异同、相同点都采用分层结构，系统包括由输入层、隐藏层(多层)和输出层组成的多层网络，只有相邻层节点相连，同一层和跨层节点互不相连，每一层都可视为一个逻辑回归模型。不同点：具有不同训练机制的神经网络：用BP算法调整参数，即用迭代算法训练整个网络。随机设置初始值，计算当前网络的输出，然后根据当前输出与样本真实标签的差异改变前一层的参数，直至收敛；深度学习：BP算法不适合深度神经网络。如果同时训练所有层，时间复杂度将会太高。如果一次训练一层，偏差将逐层传递并过度拟合。因此，深度学习作为一个整体是一种分层的训练机制。深度学习、自下而上无监督学习的训练过程：从底层开始，逐层训练到顶层，分别获取每层的参数。使用未标记数据分层训练每一层参数(这可以看作是一个特征学习的过程)。自顶向下的监督学习基于在第一步中获得的每一层的参数进一步调整整个多层模型的参数，这是一个监督训练过程。深度学习的一些常见模型，如自动编码器、稀疏编码、受限数据库、深度信任网络、卷积神经网络。卷积神经网络是一种人工神经网络，已成为语音分析和图像识别领域的研究热点。它的权值共享网络结构使其更类似于生物神经网络，降低了网络模型的复杂性和权值的数量。当网络的输入是多维图像时，这种优势更加明显，因此图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是一种多层感知器，专门用于识别二维形状。这种网络结构对平移、缩放、倾斜或其他形式的变形高度不变。如图所示，输入图像与三个可训练的卷积核和一个加性偏差进行卷积，卷积后在C1层生成三个特征图。然后，在二次采样之后，对C1层中的特征图进行加权、偏置，然后通过Sigmoid函数获得三个S2层的特征图。美国有线电视新闻网的卷积过程，如图所示，原始图像大小为5*5，有25个神经元。使用3*3的卷积来检查卷积，并获得如图所示的卷积要素图。要素地图的大小为3*3。假设卷积核仅提取图像的一个特征，通常需要多个卷积核来提取不同的特征，因此每个层通常会有多个要素图。同一特征图上的神经元共享一个卷积核，这大大减少了网络参数的数量。在美国有线电视新闻网的汇集过程中，如果一个人选择图像中的一个连续范围作为汇集区域，并且只汇集由相同(重复的)隐藏单元生成的特征，那么这些汇集的单元具有平移不变性。这意味着即使在图像经过小的转换之后，相同的(汇集的)特征仍然会产生。图像具有“静态”属性，可以平均(或最大化)图像某个区域的特征。这种聚合操作称为池化。有线电视新闻网的优势，参数减少和重量分担如下图所示。如果我们有一个10001000像素的图像和100万个隐层神经元，那么如果它们都是连接的(每个隐层神经元都连接到图像的每个像素点)，就有一个连接，也就是1012的权重参数。本地连接网络，每个节点都连接到1010窗口附近同一位置的上层节点，那么100万隐层神经元只有108个参数。重量连接件的数量减少了四个数量级。卷积神经网络避免了显式特征采样，并从训练数据中隐式学习。这使得卷积神经网络明显不同于其他基于神经网络的分类器。特征提取功能通过结构重组和重量减轻集成到多层感知器中。它可以直接处理灰度图像，也可以直接用于处理基于图像的分类。与一般神经网络相比，卷积神经网络在图像处理方面具有以下优点：a)输入图像与网络的拓扑结构一致；b)特征提取和模式分类同时进行，并在训练中同时生成；c)权值共享可以减少网络的训练参数，使神经网络的结构更简单，适应性更强。输入图像的大小是32x32，卷积核的大小是5x5，C1层的大小是28x28。有6个不同的C1层，每个C1层的权重是相同的。2.S2层是一个下采样层，从4点到1点进行下采样，即4个数的加权平均值，加权系数也需要学习。这个过程也称为池。我们可以很容易地得到C3层的大小是1010，但是，在C3层有16个1010的网络！我们只需要根据某些规则组合S2特征地图。下表给出了LeNet-5系统的具体组合规则：嘿。4.如上所述，基于C3层对S4层进行下采样。在下面的层中，每层中的节点数量相对较少，并且它们都是完全连接的层，这里不再重复。摘要：经过计算，LeNet-5系统总共需要约13万个参数，这与上述全连通系统每个隐藏层100万个参数相差甚远，大大减少了计算量。在上述识别系统中，每个特征图提取之后是用于局部平均和二次提取的子采样层。这种独特的两次特征提取结构使网络对输入样本具有更高的失真容限。换句话说，卷积神经网络通过局部感受野、共享权重和二次采样来保证图像对位移、缩放和失真的鲁棒性。然而，在P300的几年里，中国政府一直未能全面实施“一国两制”政策。第二类：当信号显示P300波形时，则认为被检测到；否则，无法检测到它。挑战：虽然我们可以从实验中的例子知道P300的预期反应是什么时候，但P300的反应取决于受试者。事实上，即使P300反应可以在特定的时间点预测，受试者也不可能像人造产品一样在正确的时间产生P300反应。输入正则化，原始信号：电极采集的脑电信号输入数据正则化：1。从脑电信号样本中提取子样本，以减小分析数据的大小。这相当于以120赫兹的采样率对信号进行采样。2.用0.1到20HZ的带通滤波器处理输入数据。其中之一是当我们收集脑电信号时所有电极的数量。它是由每个电极收集的脑电信号的归一化长度。我们点的。每个样本代表650毫秒后采集的信号的一部分。神经网络拓扑，网络拓扑是分类器的关键特征。网络由五层组成，每层由一个或多个要素地图组成。一个特征图代表一个层的本质，并且包含一个特殊的语义：1。第一层的隐藏层的每个特征图表示电极通道的特征。2.在第二层的隐藏层时域中对信号进行下采样和变换。在卷积神经网络的学习过程中，前向传播和后向传播两种学习规则主要用于优化权重和学习最优滤波器来提取特征。(1)前向传播如果当前网络层由L表示，则当前网络层的输出是：其中是网络的输出激活函数。输出激活函数通常是sigmoid函数或双曲正切函数。(2)反向传播算法我们假设训练集有N个训练样本，分为两类。对于每个训练样本，我们将给出一个标签，并通过调整网络输出和给定标签之间的误差来训练和改变权重。在成本函数方面，我们选择使用平方误差成本函数。因此，n个训练样本的成本函数如下：2020/6/11。对于n个训练样本中的第n个训练样本，其代价函数表示为：其次，每层的权系数需要根据每个样本的输出误差进行反向调整，即计算卷积神经网络中每个权值对应的代价函数的偏导数：可以看出，误差对偏基B的灵敏度和误差对节点输入U的导数是相等的。对于非输出层，L层的灵敏度可以表示如下：对于输出层L，灵敏度为：2020/6/11。对于L层，每个权重的误差偏导数如下：当前层中神经元的权重更新值如下：(3)当卷积层是紧挨着卷积层的汇集层时，由于汇集层具有下采样，汇集层和卷积层中的神经元不能一一对应。因此，我们对由池层中每个神经元的灵敏度组成的灵敏度图进行了上采样。这样，获得的灵敏度图的大小与卷积层的特征图的大小相同。公式如下：2020/6/11，(4)池图层对于池图层，输入和输出要素地图的数量相等，但不同之处在于每个