深度卷积神经网络.ppt

目录 神经网络简要介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork MIN GoogLeNetResNet深度学习框架及实例深度学习在计算机视觉中的应用 神经网络简要介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork MIN GoogLeNetResNet深度学习框架简介在计算机视觉中的应用 目录 神经网络兴衰史 神经网络简要介绍 第一次兴起 1958年 感知机 由于没有引入非线性 不能求解异或问题 第二次兴起 1986年 将BP BackPropagation 算法用于ANN的训练过程 第三次兴起 2012年 深度卷积神经网络的兴起 一直到现在 BP算法 信号的正向传播和误差的反向传播 4 机器学习 神经网络 深度学习之间的关系 深度卷积神经网络介绍 萌芽期 1940s MP模型阈值加和模型Hebb学习规则 第一次高潮 1960s 第二次高潮 1980s 第三次浪潮 2000s 感知器模型自适应 线性单元 Hopfield网络Boltzman机BP算法 SVMVapnik95BoostingSchapire95 深度网络DBNDBMDeepCNNRNN G E HintonY BengioY LecunAndrewNgRobFergus 人工神经网络发展历程 低谷 CNNLeCun98 低谷 DeepLearning Science2006 vol 313 pp 504 507 Neuralnetworksarecomingback 人工神经网络发展历程 在语音识别取得重大突破 百度 deepspeech 2011年以来 错误率降低20 30 2012年11月 微软在天津的一次活动上公开演示了一个全自动的同声传译系统 讲演者用英文演讲 后台的计算机一气呵成自动完成语音识别 英中机器翻译 以及中文语音合成 效果非常流畅 人工神经网络发展历程 GoogleBrain项目 纽约时报2012年6月报道 2011年开始 GoogleBrain项目采用16000个CPUCore的并行计算平台训练 深层神经网络 在图像识别等领域获取巨大成功 吴恩达 人工神经网络发展历程 100 0战胜Lee版本 89 11战胜Master版本 AlphaGoZero 2017年10月 AlphaZero 最大特点是无需人类棋谱 仅利用围棋规则 Alpha Fan AlphaGo Lee AlphaMaster AlphaZero 人工神经网络发展历程 为什么有效浅层神经网络可以近似任意函数 为何多层 深层网络结构中 高层可以综合应用低层信息 低层关注 局部 高层关注 全局 更具有语义化信息 为自适应地学习非线性处理过程提供了一种可能的简洁 普适的结构模型 特征提取与分类器可以一起学习 人工神经网络发展历程 发展基础 数据爆炸 图像数据 文本数据 语音数据 社交网络数据 科学计算等 计算性能大幅提高 神经网络简要介绍 人类视觉机理 DavidHubel和TorstenWiesel发现了视觉系统的信息处理方式 即视皮层的分级特性 获得1981年诺贝尔生理学或医学奖 Low levelsensing Preprocessing Featureextraction Featureselection Inference prediction recognition 本图取自 Training duringthetrainingphase aneuralnetworkisfedthousandsoflabeledimagesofvariousanimals learningtoclassifythem Input Anunlabeledimageisshowntothepre trainednetwork FirstLayer theneuronsrespondtodifferentsimpleshapes likeedges HighLayer theneuronsrespondtomorecomplexstructures TopLayer theneuronsrespondtohighlycomplex abstractconceptsthatwewouldidentifyasdifferentanimals Output Thenetworkpredictswhattheobjectmostlikelyis basedonitstraining 神经网络简要介绍 人工神经网络 ArtificialNeuralNetworks ANN 通过映射解决分类问题 对网络的训练即对映射函数的学习问题 卷积层 5层 用于特征提取 全连接 3层 人工神经网络 用于分类 神经网络简要介绍 输入层 Input 数据输入 隐含层 Hiddenlayer 空间变换 输出 Output 三层神经网络模型 曲线上的采样点是线性不可分 经空间变换后 曲线上的采样点是线性可分的 神经网络简要介绍 神经元 树突 输入 神经元接收信号 隐含层输入 神经元激活轴突发出信号 隐含层输出 ANN ANN是对大脑神经元信号传输的模拟 神经网络简要介绍 感知机 Perceptron 通过查找超平面解决二类分类问题 通过二值函数解决二类分类问题 公式表达 可看作对输入的空间变换 四种空间变换 维度 缩放 旋转 平移 感知机中的线性映射限制了模型的表达能力 线性变化的组合仍为线性变化 神经网络简要介绍 ANN基本构成 感知机 Perceptron 激活函数 第五种空间变换 扭曲 非线性 ANN每层输出为 其中 为激活函数 原来是阈值函数 常用激活函数 SigmoidTanh 反正切函数 感知机 线性变换激活函数 非线性 引入非线性激活函数 提高网络的非线性表达能力 神经网络简要介绍 输入层 隐含层1 隐含层N 分类输出 多层结构的人工神经网络 多层结构的ANN 从单层到多层的扩展 进一步提升对非线性的表达 得到更加抽象的特征表述 根据问题设计网络深度 一般3 5层 人工神经网络单个节点输出 神经网络简要介绍 ANN训练 前向输出计算 反向梯度传播 BP算法 设网络具有层 为层中第个节点输出 表示从到的连接权重 前向传播 1 计算每层中每个节点的输出 为激活函数 2 在输出层计算损失 为目标参考输出 一般从样本训练中得到 loss 前向传播过程 1 神经网络简要介绍 ANN训练 前向输出计算 反向梯度传播 BP算法 反向传播 3 由输出层开始逐层计算前层误差 4 修正连接权重 梯度反传过程 神经网络简要介绍 ANN训练 前向输出计算 反向梯度传播 BP算法 神经网络简要介绍 深度神经网络 DNN 用神经网络模拟大脑的识别过程 神经网络 全连接or卷积 图 全连接与卷积示意图 深度卷积神经网络介绍 底层提取初级特征高层对低层特征组合与抽象 深度卷积神经网络介绍 卷积神经网络 CNN 卷积 池化 全连接 卷积 局部特征提取训练中进行参数学习每个卷积核提取特定模式的特征 池化 下采样 降低数据维度 避免过拟合增强局部感受野提高平移不变性 全连接 特征提取到分类的桥梁 什么是卷积 24 右图展示了卷积的过程 和信号处理的卷积有所区别卷积降低了网络模型的复杂度 对于很难学习的深层结构来说 这是非常重要的 减少了权值的数量黄色部分是卷积核 深度卷积神经网络介绍 什么是池化 25 池化层主要的作用是下采样 通过去掉FeatureMap中不重要的样本 进一步减少参数数量 池化的方法很多 最常用的是MaxPooling MaxPooling实际上就是在n n的样本中取最大值 作为采样后的样本值 右图是2 2max 深度卷积神经网络介绍 底层特征具有局部特性 因此可以利用卷积窗口进行特征提取 图像中不同区域的底层特征 如边界 具有相似性 可以共享一组滤波器 用卷积代替全连接进行特征提取 对底层特征组合得到更具语义信息的高层特征 深度卷积神经网络 深度卷积神经网络介绍 深度卷积神经网络介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork MIN GoogLeNetResNet深度学习框架在计算机视觉中的应用 目录 网络模型 LeNet AlexNet NIN VGGNet GoogLeNet Inception ResNet InceptionResNet 图3 ILSVRC图像分类竞赛近年结果 网络结构的改进 网络深度的增加 图2 深度卷积神经网络发展图 图4 LeNet网络结构 来源于文献 1 最早的深度卷积神经网络模型 用于字符识别 网络具有如下特点 卷积神经网络使用三个层作为一个系列 卷积 池化 非线性使用卷积提取空间特征使用映射到空间均值的下采样 subsample 双曲线 tanh 或S型 sigmoid 形式的非线性多层神经网络 MLP 作为最后的分类器 1 Y Lecun L Bottou Y BengioandP Haffner Gradient BasedLearningAppliedtoDocumentRecognition ProceedingsoftheIEEE vol 86 no 11 1998 LeNet提供了利用卷积层堆叠进行特征提取的框架 开启了深度卷积神经网络的发展 LeNet AlexNet AlexNet在LeNet基础上进行了更宽更深的网络设计 首次在CNN中引入了ReLU Dropout和LocalResponseNorm LRN 等技巧 网络的技术特点如下 使用ReLU RectifiedLinearUnits 作为CNN的激活函数 并验证其效果在较深的网络超过了Sigmoid 成功解决了Sigmoid在网络较深时的梯度弥散问题 提高了网络的训练速率 为避免过拟合 训练时使用Dropout随机忽略一部分神经元 使用重叠的最大池化 maxpooling 最大池化可以避免平均池化的模糊化效果 而采用重叠技巧可以提升特征的丰富性 提出了LRN层 ReLU后进行归一化处理 对局部神经元的活动创建竞争机制 使得其中响应比较大的值变得相对更大 并抑制其他反馈较小的神经元 增强了模型的泛化能力 利用GPU强大的并行计算能力加速网络训练过程 并采用GPU分块训练的方式解决显存对网络规模的限制 ReLU 数据增强 利用随机裁剪和翻转镜像操作增加训练数据量 降低过拟合 Dropout maxpooling 池化时取最大值 2 AlexKrizhevsky IlyaSutskeverandGeoffreyE Hinton ImageNetClassificationwithDeepConvolutionalNeuralNetworks NIPS 2012 图 AlexNet网络结构 来源于文献 2 网络包含5个卷积层和3个全连接层 最后为有1000个类别输出的Softmax层 网络在两块GPU上并行训练 AlexNet Conv11 11 ReLU 96 LRN Maxpooling3 3 Conv5 5 ReLU 256 LRN Maxpooling3 3 Conv3 3 ReLU 384 Conv3 3 ReLU 384 Conv3 3 ReLU 256 Maxpooling3 3 FC ReLU 4096 FC ReLU 4096 FC ReLU 1000 网络结构 35K 307K 884K 1 3M 442K 37M 16M 4M 参数 图 AlexNet网络配置和参数数量 卷积核大小递减 依次为11 11 5 5和3 3 第一层卷积步长为4 之后保持为1 在前两层卷积之后使用了LRN层 与全连接层相比 卷积层包含较少的参数 因此可通过减少全连接层降低网络参数 提高训练时间 在NetworkinNetwork中利用了这一点 AlexNet在ILSVRC2012图像分类竞赛中将top 5错误率降至16 4 掀起了深度卷积神经网络在各个领域的研究热潮 AlexNet VGGNet 3 KarenSimonyanandAndrewZisserman VeryDeepConvolutionalNetworksforLarge ScaleImageRecognition ComputerScience 2014 结构特点 对卷积核和池化大小进行了统一 网络中进行3 3的卷积操作和2 2的最大池化操作 采用卷积层堆叠的策略 将多个连续的卷积层构成卷积层组 图 两个3 3卷积层堆叠和一个5 5卷积层具有相同的感受野 和单个卷积层相比 卷积组可以提高感受野范围 增强网络的学习能力和特征表达能力 和具有较大核的卷积层相比 采用多个具有小卷积核的卷积层串联的方式能够减少网络参数 另外 在每层卷积之后进行ReLU非线性操作可以进一步提升网络的特征学习能力 优点 图 VGG不同级别的网络结构和相应的参数数量 单位为百万 来源于文献 3 网络包含5组卷积操作 每组包含1 4个连续的卷积层 每两个卷积层之间为ReLU层 每组内的卷积层具有相同的结构 不同级别的网络层数逐渐加深 网络的表达能力也逐渐增强 其中 VGGNet E的网络深度达到了19层 由于网络参数主要集中在全连接层 因此不同级别网络的参数数量相差不大 VGGNet VGGNet训练和测试 多尺度策略 训练阶段 将图像缩放到不同尺寸S 并随机裁剪224 224的训练样本测试阶段 将图像缩放到尺寸Q 并对网络最后的卷积层使用滑动窗口进行分类预测 对不同窗口的分类结果取平均 图9 VGGNet采用多尺度策略的效果提升 来源于文献 3 上方图像为单尺度分类结果 下方为多尺度结果 多尺度训练在ILSVRC2014图像分类的top 5错误率达到7 5 通过进一步融合单尺度和多尺度网络 VGGNet将最终结果提升至7 3 VGGNet NetworkinNetwork NIN 3 MinLin QiangChenandShuichengYan NetworkinNetwork ICLR 2014 研究目的 提高网络对非线性特征的描述能力减小网络参数 研究策略 采用多层感知器 multilayerperceptron MLP 代替传统的线性卷积层 用全局均值池化 globalaveragepooling 代替全连接层 大大减小了网络复杂度 降低了过拟合 MLP卷积 图10 传统卷积层和MLP卷积层示意图 来源于文献 3 和传统卷积相比 Mlpconv在卷积之后增加了两个全连接层 传统的卷积 ReLU可表达为 其中 为点的位置 为通道下标 Mlpconv特征图的计算为 通过在网络中构建微型网络 Mlpconv对conv特征进行了组合 提高了单个卷积的有效性 而Mlpconv中的全连接可以通过1 1卷积快速实现 NetworkinNetwork NIN 全局均值池化 图11 NIN网络结构 来源于文献 3 全连接层提供特征输出到分类的桥梁 占据了绝大多数的网络参数 NIN移除网络中的全连接层 将每幅特征图像池化为单个输出 用以表示该类的特征输出 例如 对于1000类的分类问题 NIN设置网络最后的卷积输出通道为1000 经过全局均值池化并将结果输入Softmax进行最终的分类 NetworkinNetwork NIN GoogLeNet 4 ChristianSzegedy WeiLiu YangqingJia PierreSermanet ScottReed DragomirAnguelov DumitruErhan VincentVanhoucke andAndrewRabinovich GoingDeeperwithConvolutions CVPR 2015 与NetworkinNetwok类似 GoogLeNet采用子网络堆叠的方式搭建 每个子网络为一个Inception模块 图 InceptionModule 来源于文献 4 Inceptionmodule包含四个分支 Shortcut连接 将前一层输入通过1 1卷积多尺度滤波 输入通过1 1卷积之后分别连接卷集核大小为3和5的卷积池化分支 相继连接3 3pooling和1 1卷积 四个分支的输出经过串联恢复到输入通道大小 Inceptionmodule优点一 减少网络参数 降低运算量 Inceptionmodule 对输入输出通道为256的3 3卷积层 需要的操作次数为 假设1 1卷积输出为64 Inception模块的操作次数为 因此 1 1卷积的作用之一是通过降维减少网络开销 GoogLeNet Inceptionmodule优点二 多尺度 多层次滤波 Inceptionmodule 多尺度 对输入特征图像分别在3 3和5 5的卷集核上滤波 提高了所学特征的多样性 增强了网络对不同尺度的鲁棒性 多层次 符合Hebbian原理 即通过1 1卷积把具有高度相关性的不同通道的滤波结果进行组合 构建出合理的稀疏结构 因此 1 1卷积的另一作用是对低层滤波结果进行有效的组合 GoogLeNet的网络参数为AlexNet的1 12 ILSVRC2014top 5错误率降至6 67 GoogLeNet 残差网络ResNet 是否可以通过简单的层数堆叠学习更好的网络 梯度消失和爆炸 通过Normalizedinitialization和Batchnormalization得到解决 网络退化 degradation 随着网络的加深 准确率首先达到饱和 然后快速退化 在训练集上的错误率同样增加 因此并非受过拟合的影响 图 不同深度网络在CIFAR 10上的训练和测试错误率变化 来源于文献 5 简单的层数堆叠不能提升网络性能 如何利用网络加深带来的优势 5 KaimingHe XiangyuZhang ShaoqingRenandJianSun DeepResidualLearningforImageRecognition CVPR 2016 Input Hidden Output 实验表明 通过添加单位映射不能提高网络准确率 因此 网络对单位映射的逼近存在困难 相比于单位映射 网络对单位映射附近扰动的学习更加简单 残差学习 残差网络ResNet Input Hidden Identitymapping Identitymapping Output Input Hidden Residualmapping Residualmapping Output X 图 残差模块 来源于文献 5 残差模块 输入通过shortcut与输出相加 其中 为残差映射 线性映射用于维度匹配 优点 没有带来额外的参数和计算开销 便于和具有相同结构的 平常 网络进行对比 残差网络ResNet 图 由上到下为VGG 19网络 34层的平常网络和残差网络 图像来源于文献 5 残差网络ResNet 图 更深的残差模块 用于更深的网络结构 左图的浅层模块用于构建ResNet 34 右图的深层模块用于构建ResNet 50 101 152 来源于文献 5 更深的残差结构用三层连接代替两层 1 1 3 3 1 1卷积 1 1 降维和升维3 3 具有较小输入输出维度的卷积 利用深度增加带来的优势 同时减小了网络计算开销 结合了GoogLeNet和ResNet的优点 图 18层和34层网络在ImageNet上训练结果 来源于文献 5 残差网络ResNet 图 ResNet在ILSVRC2014ImageNet数据集上的结果 来源于文献 5 残差网络ResNet 图 ResNet在PASCAL和MSCOCO数据集上的目标检测结果 来源于文献 5 残差网络ResNet 深度卷积神经网络介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork MIN GoogLeNetResNet深度学习框架在计算机视觉中的应用 目录 深度学习框架 图 主流深度学习框架在Github上的数据统计和各维度评分 TensorFlow具有最高的关注度和评分 Pytorch与其类似 上手难度更低Caffe在目标识别和目标分割领域应用最广主流框架基本都支持Python BVLC Berkeleyvisionandlearningcenter 贾读博士的实验室 图 2017年3月提交到arXiv上的论文中出现的深度学习框架比例分布 深度学习框架 Caffe TensorFlow MXNet比较 图 Caffe TensorFlow MXNet比较 深度学习框架 Caffe TensorFlow MXNet比较 Caffe Blob将数据存储为 n k h w 的四维数组 blob中包含分别存储原始数据和后向求导数据的空间 在CPU GPU上分配内存 通过数据的访问方式 可改变 不可改变 实现通信 基本数据结构 TensorFlow TensorN维的array或者list 维数可变 数据类型一旦定义不能改变 MXNet NDArray提供支持CPU GPU的矩阵和矢量计算 根据指令评估数据间的依赖关系 自动将数据分配到多台CPU和GPU上并行计算 深度学习框架 Caffe TensorFlow MXNet比较 网络实现 Caffe 功能计算方式 定义layer实现具体功能 继承 首先将功能分类 数据层 损失层 可视化等 对每一类的功能划分为子类并采用继承的方式实现 各个层的连接构成网络 TensorFlow 符号计算方式 利用数据 Tensor 和操作 Operation 构造网络图模型 采用Variable进行参数传递 MXNet 功能计算 符号计算 深度学习框架 Caffe TensorFlow MXNet优缺点比较 Caffe 优点 容易上手 网络结构以配置文件形式定义 不需要用代码设计网络 训练速度快 能够训练state of the art的模型与大规模的数据 且存在大量训练好的经典模型 组件模块化 可以方便地拓展到新的模型和学习任务上 缺点 对递归网络和语言建模的支持很差 基于层的网络结构 扩展性不好 对于新增加的层 需要自己实现 深度学习框架 Caffe TensorFlow MXNet优缺点比较 TensorFlow 优点 理想的RNN 递归神经网络 API和实现 使用了向量运算的符号图方法 使新网络的指定变得相当容易 支持快速开发 支持分布式计算 可移植性强 有功能强大的可视化组件TensorBoard 能可视化网络结构和训练过程 缺点 API发展太快 导致文档和接口不够清晰 内存占用大 默认占用GPU所有内存 深度学习框架 Caffe TensorFlow MXNet优缺点比较 MXNet 优点 训练速度快 占用内存较少 symbolic接口便于快速构建神经网络和自动求导 支持多种语言接口 缺点 平台较小 没有形成科研社区 文档更新慢等 深度学习框架 DCNNs语义分割实例 全卷积网络 Fullyconvolutionalnetworks FCNs 贡献一 首次将DCNNs用于语义分割问题 分类问题 全连接 类别输出 分割问题 全卷积 语义图谱 全卷积网络 Fullyconvolutionalnetworks FCNs 贡献二 上采样与多特征融合 DCNNs下采样之后的输出缺省了大量细节信息 FCNs通过上采样提高特征图像的分辨率 并将不同通道的特征串联 提高特征的丰富性 存在问题 上采样的结果仍然比较模糊和平滑 对图像中的细节不敏感 分割中没有采用空间正则化 spatialregularization 结果缺乏空间一致性 DCNNs语义分割实例 反卷积网络 Deconvolutionalnetworks DeconvNet 目的解决pooling操作带来的特征细节损失 图 反卷积网络结构 DCNNs语义分割实例 解决方法 通过逐层Unpooling和反卷积恢复出目标的精细纹理和准确定位 深度卷积神经网络介绍经典深度神经网络模型LeNetAlexNetVGGNetNetworkinNetwork MIN GoogLeNetResNet深度学习框架在计算机视觉中的应用 目录 深度学习 在计算机视觉中的应用 在计算机视觉领域中的应用目标检测 目标识别 图像分类图像分割目标跟踪图像标注 图像检索图像句子描述特征特征识别 人脸识别 人脸检测 人脸对齐 人脸再验证行人检测 行人再识别 动作分类 事件分类深度估计 立体匹配 场景解析其它图像处理 深度学习 在计算机视觉中的应用 深度学习 在计算机视觉中的应用 深度学习 视觉目标检测 任务 RecognitionWhat car 1 000 dog 0 997 person 0 992 person 0 979 horse 0 993 LocalizationWhere VOC2012 20classes Thetraindatahas11 530imagescontaining27 450ROIannotatedobjects 深度学习 视觉目标检测 Objectdetectionframework SVMCNNAdaboost Image person boat Objectnessestimation Objectdetector Results Objectnessproposals 深度学习 视觉目标检测 Objectdetectionrenaissance Segmentimageintodifferentregionssuchthateachregionhasthesamesemanticmeaning Imagesegmentationisverychallengingtaskincomputervision 深度学习 图像语义分割 FullyConvolutionalnetworksJ Long E ShelhamerandT Darrell FullyConvolutionalnetworksforSemanticSegmentation CVPR 2014 深度学习 图像语义分割 DeconvolutionalNNHyeonwooNoh SeunghoonHong BohyungHan LearningDeconvolutionNetworkforSemanticSegmentation ICCV 2015 深度学习 图像语义分割 深度学习 在计算机视觉中的应用 深度学习 图像句子描述 Imagecaptionisvery verychallengingtaskincomputervision AgroupofpeopleofAsiandescentwatchastreetperformerinawoodedparkarea Alargecrowdofpeoplesurroundacolorfullydressedstreetentertainer Acrowdofpeoplewatchingaballoontwisteronabeautifulday Acrowdofpeoplearegatheredoutsidewatchingaperformer Acrowdisgatheredaroundamanwatchingaperformance O Vinyals A Toshev S Bengio andD Erhan Showandtell Aneuralimagecaptiongenerator CVPR 2015 K Xu J L Ba R Kiros K Cho A Courville R Salakhutdinov R Zemel Y Bengio Show AttendandTell NeuralImageCaptionGenerationwithVisualAttention arXiv 1502 03044v2 2015 ShowandTell GoogleOriolVinyals AlexanderToshev SamyBengio andDumitruErhan Showandtell Aneuralimagecaptiongenerator CVPR 2015 GoogLeNet S Hochreiter andSchmidhuber LongShort TermMemory NeuralComputation 1997 深度学习 图像句子描述 深度学习 图像句子描述 车辆检测城市典型目标语义分割城市道路提取图像增强 在遥感图像处理中的应用 城市遥感高分图像车辆目标检测 G Cheng YingWang ShibiaoXu H Wang ShimingXiangandChunhongPan AutomaticRoadDetectionandCenterlineExtractionviaCascadedEnd to endConvolutionalNeuralNetwork IEEET GRS 55 6 3322 3337 2017 IF 4 942 城市道路及其中心线提取 研究进展 道路分割与中心线提取 3 端到端多任务深度学习模型 难点 遮挡和阴影 同谱异物和同物异谱 不同方法所得道路分割结果对比 城市道路及其中心线提取 不同方法所得道路中心线结果对比 城市道路及其中心线提取 基准方法 真实值 我们的方法 将所提方法应用于北京市道路分割结果示例 城市道路中心线提取 生成式对抗网络在图像增强中的应用 GenerativeAdversarialNets GAN IanGoodfellow JeanPouget Abadiey MwhdiMira BingXu DavidWarde Farley SherjilOzairz AaronCourville YoshuaBengio GenerativeAdversarialNeta InNIPS 2014 在实际场景下 真实样本会满足长尾分布 大多数的个体只拥有比较少的信息 只有一小部分具有较多的信息 如何利用GAN来进行样本迁移 通过学习大量样本的分布生成出少量样本 使得数据集更加均衡是值得关注的问题 生成式对抗网络在图像增强中的应用 GAN 基本知识 希望生成的图像真实 希望判别真伪的能力强 优化D时 与两部分相关 一部分是真实数据 另一部分是FAKE数据 所以要考虑realdataandfakedata 此时G的参数保持不改变 真实数据D X 输出1 FAKE数据D X 输出0 优化G时 D的参数不变 G的输出作为D的输入 此时 按照一般训练D的方式 期望D输出的值为1 从关于G的目标函数极其最小化目标也能看出 这样误差才能传给G所在的网络 仍然按end to end的方式训练 InputImage GAN Auto encoder GroundTruth 生成式对抗网络在图像增强中的应用 生成式对抗网络在图像增强中的应用 谢谢 87 什么是神经网络 人工神经网络 Artificialneuralnetwork ANN 简称神经网络 NN 神经网络其实就是按照一定规则连接起来的多个神经元神经元 每个连接都有一个权值 图1 一个全连接的神经网络 附录 梯度下降算法 88 梯度下降算法是用来求函数最小值的算法每次沿着梯度的反方向 即函数值下降最快的方向 去修改值 就能走到函数的最小值附近 之所以是最小值附近而不是最小值那个点 是因为我们每次移动的步长不会那么恰到好处 有可能最后一次迭代走远了越过了最小值那个点 附录 反向传播算法 BackPropagation 反向传播算法是计算多层复合函数的所有变量的偏导数的利器 上面梯度下降的例子中就是求梯度 简单的理解就是链式法则 89 根据链式法