神经网络与深度学习 课件21-微课-ResNet的结构

ResNet的结构张杲峰，刘刚，周庆国人民邮电出版社2025神经网络与深度学习(微课)内容概要ResNet简介残差块ResNet的结构神经网络与深度学习2ResNet简介何恺明等于2015年提出的一种深度卷积神经网络模型。旨在解决网络深度增加带来的梯度消失问题。可以包含大量的卷积层，通常在18到152之间，最多可达数千层。神经网络与深度学习3残差块残差块是实现残差计算的功能模块，也是构成ResNet模型的基本模块。残差块是在传统卷积神经网络模型的基础上添加了跨越多个卷积层的直连边来实现的。卷积卷积ReLUxReLUx

恒等函数

f(x)

f(x)+

x

神经网络与深度学习4残差块

卷积卷积ReLUxReLUx

恒等函数

f(x)

f(x)+

x

神经网络与深度学习5残差块残差块定义classBasicBlock(nn.Module):

def__init__(self,in_channels,out_channels,stride=1,expansion=1,downsample=None):super(BasicBlock,self).__init__()

self.expansion=expansion

self.downsample=downsample

self.conv1=nn.Conv2d(in_channels,out_channels,kernel_size=3,stride=stride,padding=1,bias=False)

self.bn1=nn.BatchNorm2d(out_channels)

self.relu=nn.ReLU(inplace=True)

self.conv2=nn.Conv2d(out_channels,out_channels*self.expansion,

kernel_size=3,padding=1,bias=False)

self.bn2=nn.BatchNorm2d(out_channels*self.expansion)神经网络与深度学习6expansion：扩展因子。在BasicBlock中，输入输出通道数相等，所以expansion=1。在更深的Bottleneck块中，它会设置为4。该层不使用偏置项。后面紧接BatchNorm或LayerNorm，避免功能冗余，提高参数效率inplace=True：进行原地操作，直接修改输入张量的值，而不是创建新的张量。残差块残差块定义

defforward(self,x:Tensor):identity=xout=self.conv1(x)out=self.bn1(out)out=self.relu(out)out=self.conv2(out)out=self.bn2(out)

if

self.downsampleis

not

None:identity=self.downsample(x)out+=identityout=self.relu(out)

returnout神经网络与深度学习7downsample：一个可选的下采样函数（通常是一个1x1卷积+BN层）。当输入输出维度不匹配时（stride!=1或in_channels!=out_channels*expansion），用于将快捷连接路径与主路径的维度对齐。ResNet的结构以ResNet18为例，总共有18个带参数的层，从第一个卷积和汇聚层后，每两个卷积层构成一个残差块，总共8个残差块。神经网络与深度学习8ResNet的结构定义classResNet(nn.Module):

def__init__(self,img_channelst,num_layers,

block:Type[BasicBlock],num_classes=1000):super(ResNet,self).__init__()

ifnum_layers==18:#列表layers列出基本块BasicBlock的个数layers=[2,2,2,2]

self.expansion=1

self.in_channels=64

神经网络与深度学习9ResNet的结构定义#所有ResNets(18~152)首先包含Conv2d=>BN=>ReLU等三层，核大小为7

self.conv1=nn.Conv2d(in_channels=img_channels,out_channels=self.in_channels,kernel_size=7,

stride=2,padding=3,bias=False)

self.bn1=nn.BatchNorm2d(self.in_channels)

self.relu=nn.ReLU(inplace=True)

self.maxpool=nn.MaxPool2d(kernel_size=3,stride=2,padding=1)神经网络与深度学习10ResNet的结构定义self.layer1=self._make_layer(block,64,layers[0])

self.layer2=self._make_layer(block,128,layers[1],stride=2)

self.layer3=self._make_layer(block,256,layers[2],stride=2)

self.layer4=self._make_layer(block,512,layers[3],stride=2)

self.avgpool=nn.AdaptiveAvgPool2d((1,1))

self.fc=nn.Linear(512*self.expansion,num_classes)

神经网络与深度学习11nn.AdaptiveAvgPool2d是一个非常有用的层，它允许对于任何输入大小的特征图(featuremap)，输出一个固定大小的H×W的特征图。这个层特别适用于当你需要将特征图的尺寸减小到一个特定的大小时，而不需要你去关心输入特征图的具体尺寸。ResNet的结构定义

def_make_layer(self,block:Type[BasicBlock],out_channels,blocks,stride:int=1):downsample=None

ifstride!=1:downsample=nn.Sequential(nn.Conv2d(self.in_channels,out_channels*self.expansion,

kernel_size=1,stride=stride,

bias=False),nn.BatchNorm2d(out_channels*self.expansion),)layers=[]layers.append(block(self.in_channels,out_channels,stride,self.expansion,downsample))

self.in_channels=out_channels*self.expansion

神经网络与深度学习12ResNet的结构定义

foriinrange(1,blocks):layers.append(block(

self.in_channels,out_channels,expansion=self.expansion))

returnnn.Sequential(*layers)

defforward(self,x:Tensor):x=self.conv1(x)x=self.bn1(x)x=self.relu(x)x=self.maxpool(x)x=self.layer1(x)x=self.layer2(x)x=self.layer3(x)x=self.layer4(x)#对所有ResNets，最后一层的空间维度应为7*7print('Dimensionsofthelastconvolutionalfeaturemap:',x.shape)x=s