第九届机器学习

卷积神经网络邹伟2/76主要内容神经网络与深度学习的历史卷积、Pooling、ReLU、Dropout经典卷积网络模型AlexNetVGGNetGoogLeNetResNet深度网络的发展ResNeXtFractalNetDenseNet3/76历史4/76历史5/76历史1980NeurocognitronSimplecell:线性组合Complexcells：pooling1998Lecun,Bottou,Bengio,HaffnerGradient-basedlearningappliedtodocumentrecognition<LeNet>6/76ML与DL7/76ILSVRCImageNetLargeScaleVisualRecognitionCompetition8/76应用Krizhevsky,Alex,IlyaSutskever,GeoffreyE.Hinton.Imagenetclassificationwithdeepconvolutionalneuralnetworks.Advancesinneuralinformationprocessingsystems.20129/76应用检测–对齐–表达–分类detect–align–represent–classifyTaigman,Yaniv,etal.Deepface:Closingthegaptohuman-levelperformanceinfaceverification.ComputerVisionandPatternRecognition(CVPR),201410/76应用姿态估计Toshev,Alexander,ChristianSzegedy.Deeppose:Humanposeestimationviadeepneuralnetworks.ComputerVisionandPatternRecognition(CVPR),201411/76应用Mnih,Volodymyr,etal.Playingatariwithdeepreinforcementlearning.arXiv:1312.5602,2013.12/76应用Yin,Fei,etal.Icdar2013Chinesehandwritingrecognitioncompetition.DocumentAnalysisandecognition(ICDAR),201313/76ApplicationsatGoogleImageSearchImageLabelingImageSegmentationObjectDetectionObjectTrackingOCRVideoAnnotationRecommendationClassificationRobotperception14/76传统模型FixedFeatures+unsupervisedmid-levelfeatures+simpleclassifierSIFT+VectorQuantization+Pyramidpooling+SVM[Lazebniketal.CVPR2006]SIFT+LocalSparseCodingMacrofeatures+Pyramidpooling+SVM[Boureauetal.ICCV2011]SIFT+FisherVectors+DeformablePartsPooling+SVM[Perroninetal.2012]15/76传统图像分类16/76词袋模型bagofwords17/76词袋模型bagofwords18/76神经网络19/76全连接神经网络20/76卷积网络21/76卷积22/76卷积网络的特点局部连接共享权值kernel/stride/padding23/76卷积24/76激活函数25/76激活函数–sigmoid函数26/76激活函数–tanh函数27/76激活函数–ReLU函数RectifiedLinearUnit收敛速度比sigmoid/tanh快计算高效简单DeadArea中权重不更新28/76权值29/76前向计算30/76正则化手段在原损失函数中增加L1/L2norm项在训练的过程中对样本/权重增加噪声将256*256的图像随机选择224*224的子图作为网络的输入数据Dropout：训练过程中保持部分网络的连接31/76Dropout随机扔掉(drop)一半的单元Randomlyomitsomeperceptronsfromthehiddenlayeroneachtraininginstance在训练数据上防止了单元之间共同起作用隐层的单元不再依赖于其他单元迫使每一个单元学习到有效的特征32/76Dropout的方法和特点对于每一个训练样本，以概率0.5选择隐层的单元是否有效；几乎每一个输入样本的网络都是不同的，但有效单元的权值相同；输入层也可以采用dropout(如以0.2的概率drop)；测试样本下的网络，其实是训练样本得到网络“平均网络”；平均网络保证了比单个网络的精度更高；由于计算中忽略一半的单元，所以计算更加高效；可以配合预处理得到更好的结果33/76对比结果MINIST：60000训练图片/10000测试图片34/76Dropout和朴素贝叶斯NativeBayes是dropout的一个特例。NB的前提是假设各个特征之间相互独立，这样在训练样本比较少的情况下，单独对每个特征进行学习，测试时将所有的特征都相乘，且在实际应用时效果还不错。而Droput每次不是训练一个特征，而是一部分隐含层特征。Dropout类似于性别在生物进化中的角色，物种为了使适应不断变化的环境，性别的出现有效的阻止了过拟合，即避免环境改变时物种可能面临的灭亡。35/76pooling(池化)降低输出规模增加可解释性避免丢失过多信息36/76Maxpooling37/76卷积网络一般架构38/76卷积网络规则化：白化、去均值卷积：维度提升，过完备基非线性映射：稀疏化、边界消除pooling：特征聚集、降维、光滑39/76LeNetLeNet:alayeredmodelcomposedofconvolutionandsubsamplingoperationsfollowedbyaholisticrepresentationandultimatelyaclassifierforhandwrittendigits.[LeNet]40/76AlexNetAlexNet:alayeredmodelcomposedofconvolution,subsampling,andfurtheroperationsfollowedbyaholisticrepresentationandall-in-allalandmarkclassifieronILSVRC2012.41/76ZFNet42/76VGGNetVGG1643/76AlexNet-VGG44/76内存与参数个数45/76GoogLeNetInception结构：LocalNetworkTopologyNetworkwithinaNetwork除最后一层，没有FC有效减少参数个数46/76增加1×1卷积47/76网络间比较48/76更深的卷积层会发生什么？更深的模型效果变差，但并非由于过拟合猜想：可能是由于更深的模型更难优化解决方案：直接将更浅的层拷贝到更深的层49/76ResNetResNetLayers:34,50,101,152,12023.6%的top5错误率，甚至优于人类ResidualBlock50/76ResNet的bottleneckReset50+层使用Bottleneck减少参数已成为当前卷积网络减少模型参数的“通用”方法51/7652/76模型比较大小、速度、准确度53/76深度模型总结54/76NetworkinNetwork：NiN2014Mlpconv层在每个卷积层中使用一个micronetwork计算更加抽象的局部特征。MultiLayerPerceptron55/76ResNetBlock的改进2015在网络传输信息的过程中建立更直接的通路改进后效果更好56/76WideResidualNetworks2016相对于深度，更重要的是残差使用F×k个卷积核，而非F个50层的wideResNet比152层的原始ResNet效果还要好计算效率更高57/76ResNeXt2016通过多个并行通路增加了网络的宽度并行的路径类似于Inception结构58/76随机深度ResNet2016StochasticDepth在训练中通过建立更短的网络，减少训练时间，减轻梯度消失风险。训练中随机扔掉若干层测试时使用全网络个人认为即dropoutResNet59/76FractalNet2017分形结构使得网络结构“既深且浅”x可以通过1层到8层的卷积分别输出到下一层训练中使用dropout，测试时使用全网。残差表示真的有必要么？分形网络FractalNet60/76DenseNet2017并非每层只与相邻层连接减轻梯度消失加强特征传递鼓励特征复用61/76网络家族62/76反卷积Zeiler，Deconvolutionalnetworks，201063/76总结VGG、GoogLeNet、ResNet是目前广泛使用的网络，ResNet的效果略优。如FaceNet、Im2Tx等应用网络层本身的设计和跳过若干层，将是今后一段时间的研究热点。改进特征和梯度的流转路径重点关注网络深度、宽度、残差连接三方面。64/76损失函数Softmax/交叉熵损失SVM/Hinger损失Leastsquares损失65/76损失的计算66/76Code67/76Code68/76支持向量网SVN69/76SVM与CNN决策函数可以被描述为两层的神经网络。核函数选特征，Lagrange乘子选支持向量都是稀疏模型，部分连接！70/76CNNforNLP71/76网络模型并行72/76数据并行73/76模型+数据并行74/76总结与思考如果样本数目不多，如何使用卷积网络？为什么ReLU比Sigmoid/tanh应