2023PM全面理解深度学习

强化学习-Reinforcementlearning|DEEPLEARNING|AlphaGo就使用到了深度学习。深度学习是机器学习的一个分支(最重要的分支工智能的第三次浪潮。详情可以看《人工智能的发展史——3AI浪潮》假设深度学习要处理的信息是“水流”，而处理数据的深度学习网络是一个由管道和阀门组成的巨大水管网络。网络的入口是若干管道开口，网络的出口也是若干管道开口。这个水管网络有许多层，每一层由许多个可以控制水流流向与流量的调节阀。根据不同任务的需要，水管网络的层数、每层的调节阀数量可以有不同的变化组合。对复杂任务来说，调节阀的总数可以成千上万甚至更多。水管网络中，每一层的每个调节阀都通过水管与下一层的所有调节阀连接起来，组成一个从前到后，逐层完全连通的水流系统。比如，当计算机看到一张写有“田”字的图片，就简单将组成这张图片的所有数字（在计算机里，图片的每个颜色点都是用“0”和“1”组成的数字来表示的）全都变成信息的水流，从入口灌进水管网络。我们预先在水管网络的每个出口都插一块字牌，对应于每一个我们想让计算机认识的汉字。这时，因为输入的是“田”这个汉字，等水流流过整个水管网络，计算机就会跑到管道出口位置去看一看，是不是标记由“田”字的管道出口流出来的水流最多。如果是这样，就说明这个管道网络符合要求。如果不是这样，就调节水管网络里的每一个流量调节阀，让“田”字出口“流出”的水最多。下一步，学习“申”字时，我们就用类似的方法，把每一张写有“申”字的图片变成一大堆数字组成的水流，灌进水管网络，看一看，是不是写有“申”字的那个管道出口流水最多，如果不是，我们还得再调整所有的阀门。这一次，要既保证刚才学过的“田”字不受影响，也要保证新的“申”字可以被正确处理。如此反复进行，知道所有汉字对应的水流都可以按照期望的方式流过整个水管网络。这时，我们就说，这个水管网络是一个训练好的深度学习模型了。当大量汉字被这个管道网络处理，所有阀门都调节到位后，整套水管网络就可以用来识别汉字了。这时，我们可以把调节好的所有阀门都“焊死”，静候新的水流到来。数据清洗数据标签归一化去噪降维对于数据预处理感兴趣的可以看看《AI数据集最常见的6大问题（附解决方案）深度学习高度依赖数据，数据量越大，他的表现就越好。在图像识别、面部识别、NLP等TensorFlow、Pytorch。这些框架深度学习对算力要求很高，普通的CPU已经无法满足深度学习的要求。主流的算力都是GPUTPU，所以对于硬件的要求很高，成本也很高。由于深度学习依赖数据，并且可解释性不高。在训练数据不平衡的情况下会出现性别歧视、种族歧视等问题。4–能够将大数据量的图片有效的降维成小数据量(并不影响结果了解更多《一文看懂卷积神经网络-CNN（基本原理+独特价值+实际应用）–了“记忆功能”。但是RNN存在严重的短期记忆问题，长期的数据影响很小（哪怕他是重RNN几个典型的应用如下：–了解更多《–GAN？（基本概念+工作原理）–在Flappybird这个游戏中，我们需要简单的点击操作来控制小鸟，躲过各种水管，飞的机器有一个明确的小鸟角色——代理需要控制小鸟飞的更远——目标整个游戏过程中需要躲避各种水管——环境躲避水管的方法是让小鸟用力飞一下——行动飞的越远，就会获得越多的积分——奖励“数据喂养”。了解更多：《一文看懂什么是强化学习？（基本概念+应用场景+主流算法）–CNNCNN有2CNN已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等CNNCNN出现之前，图像对于人工智能来说是一个难题，有21000×1000RGB3个参数来表示1000×1000像素的图片，我们就需要处理3卷积神经网络–CNN解决的第一个问题就是「将复杂问题简化」，把大量参数降维成少更重要的是：我们在大部分场景下，降维并不会影响结果。比如1000而CNN解决了这个问题，他用类似视觉的方式保留了图像的特征，当图像做翻转，旋转那么卷积神经网络是如何实现的呢？在我们了解CNN原理之前，先来看看人类的视觉原1981年的诺贝尔医学奖，颁发给了DavidHubel（出生于加拿大的美国神经生物学家）和TorstenWieselRogerSperry。前两位的主要贡献，是“发现了视觉系统的信息处人类的视觉原理如下：从原始信号摄入开始（瞳孔摄入像素Pixels），那么我们可以很自然的想到：可以不可以模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类呢？卷积神经网络-CNNCNN由3卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级(降维)；全连接层类似传统神经网络的部分，用来输出想要的结果。卷积——在具体应用中，往往有多个卷积核，可以认为，每个卷积核代表了一种图像模式，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。如果我们设计了6个卷积核，可以理解：我们认为这个图像上有6种底层纹理模式，也就是我们用6中基础模式就能描绘出一副图像。以下就是25种不同的卷积核的示例：池化层（下采样）——上图中，我们可以看到，原始图片是20×20的，我们对其进行下采样，采样窗口为10×10，最终将其下采样成为一个2×2全连接层——经过卷积层和池化层降维过的数据，全连接层才能”跑得动”，不然数据量太大，计算成本高，效率低下。典型的CNN并非只是上面提到的3层结构，而是多层结构，例如LeNet-5的结构就如下卷积层池化层卷积层池化层卷积层CNNCNNCNN卷积神经网络–CNN很擅长处理图像。而视频是图像的叠加，所以同样擅长处理视频内一些特定领域的图片，分类的准确率可以达到95%+，已经算是一个可用性很高的应用典型场景：图像搜索典型场景：自动驾驶、安防、医疗典型场景：美图秀秀、视频后期加工、图像生成典型场景：安防、金融、生活CNN能够将大数据量的图片有效的降维成小数据量(并不影响结果–CNN已经很强大的，为什么还需要RNN的独特价值——卷积神经网络–CNN和普通的算法大部分都是输入和输出的一一对应，也就是一个输入RNN之所以能够有效的处理序列数据，主要是基于他的比较特殊的运行原理。下面给大家RNN的基本运行原理。RNN跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层timeisit？”我们需要先对这句话进行分词：RNN“what”RNN的输入，得到输出「01然后，我们按照顺序，将“time”RNN网络，得到输出「02这个过程我们可以看到，输入“time”的时候，前面“what”的输出也产生了影响（隐藏影响就很小（如黑色和绿色区域），RNN存在的短期记忆问题。RNNRNN的优化算法，下面给大家简单介绍一RNN是一种死板的逻辑，越晚的输入影响越大，越早的输入影响越小，且无法改变这个逻LSTM做的最大的改变就是打破了这个死板的逻辑，而改用了一套灵活了逻辑——只保留LSTM类似上面的划重点，他可以保留较长序列数据中的「重要信息」，忽略不重要的信息RNN短期记忆的问题。LSTM的详细介绍《长短期–LSTM》LSTMGatedRecurrentUnit–GRULSTMLSTM划重点，遗忘不重要信息的特点，在long-term传播的时候也不会被丢失。文本生成：类似上面的填空题，给出前后文，然后预测空格中的词是什么。机器翻译语音识别：根据输入音频判断对应的文字是什么。生成图像描述：类似看图说话，给一张图，能够描述出图片中的内容。这个往往是CNN视频标记了“记忆功能”。但是RNN存在严重的短期记忆问题，长期的数据影响很小（哪怕他是重RNN几个典型的应用如下：长短期记忆网络——通常被称为LSTM，是一种特殊的RNN，能够学习长期依赖性。由Hochreiter和Schmidhuber（1997）提出的，并且在接下来的工作中被许多人改进和推广。LSTM在各种各样的问题上表现非常出色，现在被广泛使用。LSTM被明确设计用来避免长期依赖性问题。长时间记住信息实际上是LSTM的默认行所有递归神经网络都具有神经网络的链式重复模块。在标准的RNN中，这个重复模块具tanh层。LSTM也具有这种类似的链式结构，但重复模块具有不同的结构。不是一个单独的神经网LSTM的图解。现在，让我们试着去熟悉我们将使用LSTMLSTM可以通过所谓“门”S01之间，表示有多大比例的信息通过。0值表示“没有信息通过”，1值表示“所有信息通过”。如果对详细的技术原理感兴趣，可以看看这篇文章《IllustratedGuidetoLSTM’sandGRU’s:Astepbystepexplanation》–GANs是最近2年很热门的一种无监督算法，他能生成出非常逼真的本文将详细介绍生成对抗网络–GANs的设计初衷、基本原理、10种典型算法和13GANSGANs的设计动机就是——人工提取特征——人工判断生成结果的好坏——而GANs能自动完成这个过程，且不断的优化，这是一种效率非常高，且成本很低的方GANS生成对抗网络（GANs）由2 第一阶段：固定「判别器D」，训练「生成器G我们使用一个还OK判别器，让一个「生成器G」不断生成“假数据”，然后给这个「判别一开始，「生成器G但是随着不断的训练，「生成器G」技能不断提升，最终骗过了「判别器D第二阶段：固定「生成器G」，训练「判别器D当通过了第一阶段，继续训练「生成器GG」，然后开始训练「判别器D「判别器D」通过不断训练，提高了自己的鉴别能力，最终他可以准确的判断出所有的假图片。到了这个时候，「生成器G」已经无法骗过「判别器D通过不断的循环，「生成器G」和「判别器D最终我们得到了一个效果非常好的「生成器G」，我们就可以用它来生成我们想要的图片了。下面的实际应用部分会展示很多“惊艳”GANs的详细技术原理感兴趣，可以看看下面2《生成性对抗网络（GAN）–附代码《长文解释生成对抗网络GAN的详细原理（20分钟阅读）GANS能更好建模数据分布（图像更锐利、清晰 理论上，GANs能训练任何一种生成器网络。其他的框架需要生成器网络有一些特 无需利用马尔科夫链反复采样，无需在学习过程中进行推断，没有复杂的变分下D收敛，G发散。D/G 模式缺失（ModeCollapse）问题。GANs的学习过程可能出现模式缺失，生成器扩展阅读：《为什么训练生成对抗网络如此困难？10大典型的GANSGANsGANs的研究呈指数级的上涨，目前每个月都有数百GANsGANsGANs动物园」里查看几乎所有的算法。我们为大上面内容整理自《GenerativeAdversarialNetworks–TheStorySoFar》原文中对算法GANS的13GANs看上去不如「语音识别」「文本挖掘」那么直观。不过他的应用已经进入到我们的GANs的实际应用。GANsGANs简单说就是把一种形式的图像转换成另外一种形式的图像，就好像加滤镜一样神奇。例如：把草稿转换成照片把卫星照片转换为Google地图的图片把照片转换成油画把白天转换成黑夜在2016年标题为“StackGAN：使用StackGAN的文本到逼真照片的图像合成”的论文中，演示了使用GAN，特别是他们的StackGAN，从鸟类和花卉等简单对象的文本描述语意图像在2017年标题为“高分辨率图像合成和带条件GAN的语义操纵”的论文中，演示了在语义在2017年标题为“姿势引导人形象生成”的论文中，可以自动生成人体模特，并且使用新照片到GANs可以通过人脸照片自动生成对应的表情（Emojis）使用GANsGANs给GANs假如照片中有一个区域出现了问题（例如被涂上颜色或者被抹去），GANs可以修复这个区域，还原成原始的状态。给出多个不同角度的2D图像，就可以生成一个3D强化学习-REINFORCEMENT|在Flappybird这个游戏中，我们需要简单的点击操作来控制小鸟，躲过各种水管，飞的机器有一个明确的小鸟角色——代理需要控制小鸟飞的更远——目标整个游戏过程中需要躲避各种水管——环境躲避水管的方法是让小鸟用力飞一下——行动飞的越远，就会获得越多的积分——奖励“数据喂养”。2016年：AlphaGoMaster击败李世石，使用强化学习的AlphaGoZero仅花了40天时AlphaGoMaster。《强化学习与推荐系统的强强联合《基于深度强化学习的对话管理中的策略自适应《强化学习在业界的实际应用有模型学习（Model-Based）对环境有提前的认知，可以提前考虑规划，但是缺点是如果模型跟真实世界不一致，那么在实际使用场景下会表现的不好。免模型学习（Model-Free）放弃了模型学习，在效率上不如前者，但是这种方式更加容易实现，也容易在真实场景下调整到很好的状态。所以免模型学习方法更受欢迎，得到更加广泛的开发和测试。这个系列的方法将策略显示表示为 。它们直接对性能目 进行梯度同策略的，也就是说每一步更新只会用最新的策略执行时采集到的数据。策略优化通常还包括学习出，作为的近似，该函数用于确定如何更新策略。A2C/A3C,通过梯度下降直接最大化