计算机视觉应用开发课件：基于VGG-19的图像风格迁移

基于VGG-19的风格迁移了解VGG-19的结构01任务内容层和风格层的抽取02任务损失计算03任务学习目标掌握总损失的计算方法掌握抽取内容和风格的方法1数据加载及预处理1数据加载及预处理数据这里的数据很简单，只有两张图片，一张是内容图片，一张是风格图片。1数据加载及预处理数据预处理规范大小img=img.resize((round(img.size[0]*scale),round(img.size[1]*scale)),Image.ANTIALIAS)归一化标准化x[:,:,0]+=103.939x[:,:,1]+=116.779x[:,:,2]+=123.68x=x[...,::-1]#将BGR转化为RGBx=np.clip(x,0,255).astype('uint8')2内容和风格抽取2内容和风格抽取内容层和风格层的选取VGG-19整体由五个卷积块和和3个全连接层组成，每个卷积块由3x3卷积核构成。如何选取卷积层作为内容和风格的特征值？一般来说，越深的层越能更好的表示图像的内容（原有特征），而对于表示风格的卷积层，我们分别从五个卷积块中选取第一个卷积层作为风格表示层。content_layers=['block5_conv2']style_layers=['block1_conv1','block2_conv1','block3_conv1','block4_conv1','block5_conv1']2内容和风格抽取模型定义defget_model():vgg=VGG19(include_top=False,weights='imagenet')vgg.trainable=Falsecontent_output=[vgg.get_layer(layer).outputforlayerincontent_layers]style_output=[vgg.get_layer(layer).outputforlayerinstyle_layers]output=content_output+style_outputreturnModel(inputs=vgg.inputs,outputs=output)2内容和风格抽取特征提取将内容图和风格图分别传给我们的模型，得到内容特征和风格特征。content_features=[content_layer[0]forcontent_layerincontent_output[:len(style_layers)]]style_features=[style_layer[0]forstyle_layerinstyle_output[len(style_layers):]]3损失计算3损失计算内容损失为了计算出总损失，我们需要分别计算出内容损失和风格损失。我们将真实的内容特征与预测的内容特征作均方误差计算，得到内容损失。defcontent_loss(content,base_img):returntf.reduce_mean(tf.square(content-base_img))3损失计算风格损失我们将真实的风格特征与预测的风格特征分别作gram矩阵运算，并求其均方误差，得到风格损失。defstyle_loss(style,base_img):gram_style=gram_matrix(style)gram_gen=gram_matrix(base_img)returntf.reduce_mean(tf.square(gram_style-gram_gen))3