基于深度卷积网络的图像超分辨率--译文-董超资料

精品文档 1欢迎下载1欢迎下载1欢迎下载 基于深度卷积网络的图像超分辨率基于深度卷积网络的图像超分辨率 摘要 提出一种深度学习方法单一图像超分辨率 SR 我们的方法直接学习一 个端到端的低 高分辨率图像之间的映射 映射表示为卷积神经网络 CNN 的深 处低分辨率图像作为输入和输出的高分辨率 我们进一步证明传统基于稀疏编 码的 SR 方法也可以被视为一个深卷积网络 但与传统方法的是分别处理每个组 件 我们的方法共同优化所有层 我们深 CNN 还一个轻量级的结构 展示了先进 的修复质量 为达到快速的实际在线使用 我们将探讨不同的网络结构和参数设 置来实现性能和速度之间权衡 此外 我们扩展我们的网络同时应对三个颜色通 道 并显示更好的整体重建质量 1 1 介绍介绍 单一图像超分辨率 SR 20 旨 在恢复高分辨率图像从一个低分辨率 图像 是计算机的一个经典问题愿景 这个问题本质上是不适定的因为多样 性存在对于任何给定的低分辨率的解 决方案像素 换句话说 它是一个欠 定的逆问题 并不是唯一的解决方案 这样的通常由约束减轻问题解空间的 先验信息 学习先验 最近主要是采 用最先进的方法基于实例的 46 策略 这些方法要么利用内部相似性的图像 5 13 16 19 47 或者从外 部学习映射函数低收入和高分辨率的 范例对 2 4 6 15 23 25 37 41 42 47 48 50 5 1 外部的基于基于实例的方法可以 制定通用图像超分辨率 或者可以设 计合适领域特定的任务 例如 人脸幻 觉 30 50 根据训练样本提供 基于稀疏编码的方法 49 50 老代表外部基于实例的方法之一 这 涉及几个步骤的解决途径 首先 人 口出现的重叠的块输入图像和预处理 如 减去的意思是和归一化 这 些块然后编码由一个低分辨率的字典 稀疏的系数传入的高分辨率字典重建 高分辨率块 重叠重建块聚合 如 通过加权平均 来产生最终的输出 这个途径通过基于最外部的实例的方 法共享 特别注意学习和优化词典 2 49 50 或构建有效的映射功能 25 41 42 47 然而 其余 的途径已经很少优化或步骤考虑在一 个统一的优化框架 在本文中 我们表明 上述途径相 当于深卷积神经网络 27 更多细节 在 3 2 节 出于这事实上 我们考虑 一个卷积神经网络直接学习一个端到 端的低收入和之间的映射高分辨率图 像 我们的方法从根本上不同于现有 外部基于实例的方法 在我们这没有 明确学习词典 41 49 50 或繁 殖 2 4 为建模的块空间 这些都 是隐式地实现通过隐藏层 此外 块 提取和聚合也制定了卷积层 所以在 优化 在我们的方法中 整个 SR 途径 完全是通过学习 很少的前 后处理 我们命名该模型超分辨率卷积神 经网络 SRCNN 1 被提议的 SRCNN 有 一些吸引人的属性 首先 它的结构 是故意设计简单 然而 相比之下最 精品文档 2欢迎下载2欢迎下载2欢迎下载 先进的基于实例的方法 提供了优越 的准确性 图 1 所示 该超分辨率卷积神经网络 SRCNN 超过双三次的基线通过几个训练迭 代 并优于基于稀疏编码的方法 SC 50 与 温和培训 性能可以进一步提高更多的训 练迭代 提供了更多的细节 4 1 1 节 Set5 数据集和一个升级的因素 3 该方法提供 了视觉吸引力重建图像 图 1 显示了一个例子的比较 第 二 中等数量的滤波器和层 我们的方 法实现速度快为实际在线使用即使在 一个 CPU 我们的方法比基于实例的 数量方法 因为它是完全前馈和不需 要解决优化问题上使用 第三 实验 表明 修复质量网络可以进一步改善 当 i 更大和更多不同的数据集 和 或当 2 一个更大的和更深入的模型 被使用 相反 更大的数据集 模型可 以对现有基于实例方法的挑战 此外 该 网络可以应付三个通道的彩色图像同 时实现超分辨率提高性能 总的来说 本研究的贡献主要是 在三个方面 1 提出了一种完全卷积神经网络 图像超分辨率 网络直接学习一个端 到端的高低分辨率图像之间的映射 除了优化只有很少的前 后处理 2 我们之间建立一个关系基于深 度学习的 SR 法和传统基于稀疏编码 的 SR 方法 这种关系为网络结构的 设计提供了指导 3 我们证明深度学习是有用的经 典计算机视觉的超限分辨问题 质量 好 所能达到的水平速度 提出了一种初步版本的这项工作 早期的 11 目前的工作增加了初始 版本在重要的方面 首先 我们改善 SRCNN 引入大的滤波器大小的非线性 映射通过添加非线性映射层 探索更 深层次的结构层 其次 我们延长 SRCNN 处理三个颜色通道 YCbCr 或 RGB 同时颜色空间 实验中 我们证 明 可以提高性能相比单通道网络 第三 大量的新被添加到分析和直观 的解释最初的结果 我们也扩展原始 实验从 Set5 2 和 Set14 51 测试图 像 BSD200 32 200 个测试图像 此 外 我们与许多最近发表的方法和确 认我们的模型仍然优于现有方法不同 的评价指标 2 2 相关工作相关工作 2 12 1 图像超分辨率图像超分辨率 根据图像先验 单幅图片超分辨 率算法可以分为四种类型 预测模型 基 于边缘的方法 图像统计方法和基于 块 或基于实例 的方法 这些方法已 经彻底研究 评估在杨的工作 46 其中 基于实例的方法实现的最先进 的性能 内部基于实例的方法利用自相似 性特征并生成范例块输入图像 这是 Glasner 首次提出的工作 16 和几个 改进的变异 13 45 提出了加快实 现 外部基于实例方法学习低 高分 辨率块从外部数据集之间的映射 这 些研究不同于如何学习一个紧凑的字 典或多个空间来联系低 高分辨率块 和如何表示计划可以进行在这样的空 间 弗里曼的先驱工作等 14 字 典是直接呈现低 高分辨率块对 最近 邻域 NN 的输入块是发现在低分辨率 的空间 其相应的高分辨率块用于重 建 Chang 等 4 引入流形嵌入技术 替代最近邻域策略 在杨工作 49 50 上述最近邻域通信的进步更复 杂的稀疏编码形成 其他映射等功能 内核回归 简单函数 随机森林和锚定 社区回归提出了进一步提高映射精度 和速度 基于稀疏编码的方法及其几 种改进 41 42 48 等在如今先 进的几种 SR 方法当中 在这些方法 中 块是重点优化 块提取和聚合步骤 视为前 后处理和处理分别 大多数的 SR 算法关注灰度或单 通道图像超分辨率 对于彩色图像 精品文档 3欢迎下载3欢迎下载3欢迎下载 上述方法首先将问题转化到不同的颜 色空间 YCbCr 或 YUV SR 只有在亮度 通道 也有工作同时试图 super resolve 所有渠道 例如 金和 Kwon 25 和 DAI et al 7 应用他们的 模型到每个 RGB 通道和他们相结合生 成最终的结果 然而 没有一个分析 了 SR 性能不同的渠道及恢复所有三 个渠道的必要性 2 22 2 卷积神经网络卷积神经网络 卷积神经网络 CNN 历经几十年 27 和 cnn 部分由于其成功的形象分 类 最近显示出爆炸性流行 18 26 他们也被成功地应用于其他计 算机视觉领域 如对象检测 34 40 52 人脸识别 39 行人检测 35 有几个因素的中央在这个进步重要性 i 有效训练实现在现代强大的 gpu 26 ii 提出的修正的线性单元 ReLU 33 使得收敛更快 同时还提 出了好质量 26 iii 方便地访问大 量的培训数据 如 ImageNet 9 用于 训练更大的模型 我们的方法也受益 于这些进展 2 32 3 图像恢复深度学习图像恢复深度学习 有一些使用深度学习的研究图像 恢复的技术 所有层的多层感知器 MLP 全 卷积 相比 适用于自然图像 去噪 post deblurring 去噪 36 和 3 更多的与我们的工作密切相关 卷积 神经网络应用于自然图像去噪 22 和 消除嘈杂的模式 污垢 雨 12 这 些修复或多或少是 denoising driven 问题 崔等 5 提出将 auto encoder 网络嵌入超分辨概念下途径 内部基于样本方法 16 深度模型不 是特别设计为一个端到端解决方案 因为每一层级联的要求独立的自相似 性搜索过程和 auto encoder 的优化 在相反 该 SRCNN 优化端到端映射 此外 SRCNN 更快的速度 它不仅是一 种定量方法优越 但也实际有用的 3 3 卷积神经网络超分辨率卷积神经网络超分辨率 3 13 1 制定制定 考虑一个低分辨率的图像 我们 第一次使用双立方插值来提升它到所 需的尺寸 是我们唯一 perform 预处 理 让我们表示插值的图像作为 y 我们的目标是恢复从 Y 图像 F Y 尽可 能相似地面真理的高分辨率图像 x 方 便演示 我们仍然叫 Y 低分辨率 形 象 虽然有相同的大小作为 x 我们希 望学习一个映射 F 概念上包括三个操 作 1 块提取和表示 这个操作从低 分辨率图像提取 重叠 块 Y 和代表每 个块高维向量 这些向量组成组特征 图 等于数量向量的维数 2 非线性映射 此操作非线性把 每个高维向量映射到另一个高维向量 每个映射向量是高分辨率的概念上的 表示块 这些向量构成另一组特性地 图 3 重建 此操作集合以上高分辨 率 patch wise 表示来生成最终的高 分辨率图像 这图像将类似于地面真 理 X 我们将显示所有这些操作形成一 个卷积神经网络 网络的概述如图 2 所示 接下来我们详细的定义每个操 作 3 1 13 1 1 块提取和表示块提取和表示 在图像恢复 如一个受欢迎的策 略 1 人口中提取的块 然后由一 组 pre trained 基如 PCA DCT 哈雾 等等代表他们 这个相当于卷积滤波 器的图像由一组 这是一个基础 在 我们的配方中 我们涉及这些基地的 优化的优化网络 在形式上 第一层 表示为一个操作 F1 F1 Y Y max 0 W1 Y Y B1 1 W1 和 B1 分别代表了滤波器和偏 见 和 表示卷积操作 这里 W1 对 应 n1 滤波器的支持 c f1 f1 其中 c 是在输入图像通道的数量 f1 是一个 滤波器的空间大小 直观地说 W1 将 精品文档 4欢迎下载4欢迎下载4欢迎下载 n1 卷积用于图像 每个卷曲内核大小 c f1 f1 输出组成 n1 特征图 B1 是 n1 dimensional 向量的每个元素 与一个滤波器 我们应用修正线性单 元 ReLU 马克斯 0 x 滤波器 33 responses4 3 所示 双立方插值也是一个卷积操作 所以它可 以作为卷积层制定 然而 输出的大小这一层是大 于输入大小 所以有部分的跨步 来利用流行的优 化实现作为 cuda convnet 26 我们排除这 层 学习 图 2 所示 给定一个低分辨率的图像 Y 第 一个卷积层 SRCNN 提取一组特征图 第二 层地图这些特性非线性映射到高分辨率块 表示 最后一层结合预测在一个空间附近 生成最终的高分辨率图像 F Y 3 1 23 1 2 非线性映射非线性映射 第一层每一个块提取一个 n1 dimensional 特性 在第二次手术 我 们每个地图这些 n1 dimensional 向 量 n2 dimensional 一个 这相当于 应用 n2 的滤波器一个简单的空间支 持 1 1 这个解释是只有效期为 1 1 滤波器 但它很容易推广到更大的滤 波器 3 3 或 5 5 在这种情况下 非线 性的映射不是在输入图像的一个块 相反 在一个 3 3 或 5 5 块 地图的 功能 的第二层是操作 F2 Y max 0 W2 F1 Y B2 2 这里 W2 包含 n2 滤波器的大小 n1 f2 f2 和 B2 是 n2 维 每个输出 的 n2 维向量是一个高分辨率的概念 上的表示块 将用于重建 可以添加更多的卷积层增加非线 性 但这可以增加模型的复杂性 n2 f2 f2 n2 参数一层 因此需 要更多的训练时间 我们将探索更深 层次的结构通过引入额外的 4 3 3 节 中非线性映射层 3 1 33 1 3 重建重建 在传统的方法 预测重叠高分辨 率块通常平均生产最后的完整图像 平均可以考虑作为一个预定义的滤波 器在一组特征图 每个职位的 夷为 平地 向量形式 highresolution 块 出于这一点 我们定义一个卷积层产 生最终的高分辨率图片 F Y W3 F2 Y B3 3 W3 对应 c n2 f3 f3 滤波器的 大小 和 B3 c dimensional 向量 如果表示的高分辨率块在图像域 即 我们可以简单地重塑表示形成 的块 我们期望的滤波器的行为像一 个平均滤波器 如果表示在一些其他 领域的高分辨率块 如 系数的一些 基地 我们预计 W3 像首先投射系数 上图像域 然后平均 无论哪种方式 W3 一组线性滤波器 有趣的是 尽管上述三个操作出 于不同的直觉 他们都导致相同的形 式作为一个回旋的层 我们把所有三 个操作结合在一起 形成一个卷积神 经网络 图 2 在这个模型中 所有的 过滤权重和偏见进行了优化 尽管简 洁的整体结构 我们仔细 SRCNN 模型 由绘画丰富的经验了从超分辨率的显 著进展 49 50 在下一节中 我们 详细描述了关系 3 23 2 基于稀疏编码方法的关系基于稀疏编码方法的关系 我们表明 基于稀疏编码的 SR 方 法 49 50 可以视为一个卷积神经 网络 图 3 显示了一个例子 在基于稀疏编码的方法 让我们 考虑一下提取一个 f1 f1 低分辨率 块输入图像 稀疏编码的能手 Feature Sign 29 将第一个项目块 到 低分辨率 字典 如果字典大小是 n1 这相当于应用 n1 线性滤波器 f1 f1 输入图像 平均减法也是线 性的操作也会被吸收 随着中对此 进行了阐述图 3 的左部 精品文档 5欢迎下载5欢迎下载5欢迎下载 稀疏编码解算器将迭代过程 n1 系数 这个解算器的输出是 n2 系数 通常 n2 n1 在稀疏的情况下编码 这些 n2 系数的表示高分辨率块 在 这个意义上 稀疏编码解决者的行为 作为一种特殊的非线性映射运营商的 空间支持 1 1 看到中间图 3 的一部 分 然而 稀疏编码的能手不是前馈 即 它是一种迭代算法 在相反 我 们的非线性算子是完全前馈 可以有 效地计算 如果我们设置 f2 1 那 么我们可以视为 pixel wise 非线性 算子全层 值得注意的是 稀疏 SRCNN 编码解决者 指的是第一个两 层 但不只是第二层或激活功能 ReLU 因此 非线性操作在 SRCNN 也是通过 优化学习过程 图 3 所示 说明基于稀疏编码的卷积神经 网络方法的观点 上面的 n2 系数 稀疏编码后 然 后投射到另一个 高分辨率 字典产生 一个高分辨率块 重叠高分辨率块然 后取平均值 如前所述上图 这相当 于线性运算上 n2 特征图 如果用于 高分辨率块重建的大小 f3 f3 那么 线性滤波器有一个等价的空间大小 f3 f3 的支持 看到正确的图 3 的一 部分 上面的讨论表明 sparse codingbased SR 方法可以被视为一种 卷积神经网络 不同的非线性映射 但并非所有的操作被认为是基于稀疏 编码的 SR 的优化方法 相反 在我们 的卷积神经网络 低分辨率字典 高 分辨率字典 非线性映射 意味着减法 和在一起平均 都参与了滤波器来进 行优化 所以我们的方法优化端到端 映射包括所有操作 上面的比喻也能帮助我们设计 hyperparameters 例如 我们可以设 置滤波器的大小最后一层比第一层的 小 因此我们更加依赖中央部分 highresolution 块 极端 如果 f3 1 使用没有平均的中心像素 我们 也可以设置 n2 n1 因为它是稀疏的 一个典型的和基本的设置是 f1 9 f2 1 f3 5 n1 64 和 n2 32 我们评估更多的设置实验部分 总的来说 估计利用高分辨率的像素 信息的 9 5 1 2 169 像素 显 然 这些信息利用重建相对比用于现 有外部基于实例的方法 如 使用 5 5 1 2 81 pixels5 15 50 这是一个的原因 SRCNN 给性能优越 3 33 3 培训培训 端到端映射函数 F 学习需要网络 参数的估计 fW1 W2 W3 B1 B2 B3g 这是通过重构图像 之间的损失最小化 F Y 和相应的 地面实况 highresolution x 给定一 组高分辨率图像 fXig 及其相应的低 分辨率图像 fYig 图像 我们使用均方 误差 MSE 损失函数 L 1nnX 我 1jjF 易建联 Xijj2 4 其中 n 是训练样本的数量 使用 MSE 损失函数支持高 PSNR 的 PSNR 值为定量评估是一种广泛使用的度量 吗图像恢复质量 至少是部分相关感 知质量 值得注意到的是卷积神经网 络不排除使用其他种类的损失函数 如果失去功能可诱导的 如果一个更 好的感知动机指标培训期间 它是灵 活的网络适应这一指标 相反 这种 灵活性一般是对传统的 手工 方法 难以实现 尽管该模型培训有利于 PSNR 值高 我们还观察到令人满意的 性能评估模型时使用选择评价指标 SSIM MSSIM 见 4 1 1 节 损失最小化使用随机梯度下降法 与标准反向传播 28 特别是 权重 矩阵更新 i 1 0 9 i L W i Wi 1 Wi i 1 5 在 f1 2 3 g 和我的指标层和迭 代 是学习速率 和 W L 我的导 精品文档 6欢迎下载6欢迎下载6欢迎下载 数 每一层的过滤权重通过初始化从 与零均值高斯分布随机和标准偏差 0 001 偏见和 0 的 4 学习速率是打 败第一两层和纯最后一层 我们实证 发现较小的学习率在过去的网络层是 很重要的收敛 类似于去噪情况下 22 在训练阶段 fXig 地面实况图像 准备为 fsub fsub c pixel 子图片 随机从训练图像裁剪 我们通过 子 图片 意味着这些样本被视为 图像 而小比 块 在这个意义上 块 是重叠的 需要一些平均后处理 子 图片 不需要 合成的低分辨率 fYig 样品 我们模糊子图像的高斯内核 业 者进行升级的因素 和高档的通过双 立方插值相同的因素 为了避免边界效应在训练 所有 的卷积层没有填充 和网络产生一个 更小的输出 fsub f1 f2 f3 3 2 c MSE 损失函数是评价的差异习 的中心像素与网络的输出 虽然我们 在训练中使用一个固定的图像大小 卷积神经网络可以应用于图像在测试 期间任意大小的 我们实现我们的模型使用 cuda convnet 包 26 我们也试过咖啡包 24 观察到相似的性能 4 4 实验实验 我们首先研究使用不同的数据集 的影响对模型的性能 接下来 我们 检查滤波器学会了我们的方法 然后 我 们探索不同网络的体系结构设计 研 究超分辨率性能和因素之间的关系像 深度 滤波器 滤波器的大小 随后 我们将我们的方法和最近 state ofthe arts 定量和定性 后 42 超 分辨率只应用于亮度通道 Y 通道 YCbCr 颜色空间 在章节 4 1 4 4 所 以 c 1 在第一 最后一层 和性能 如 PSNR 和 SSIM 评估在 Y 通道 在最后 我们将扩展网络处理彩色图 像和评估的性能在不同的频道 4 14 1 培训数据培训数据 如文献所示 深度学习受益于大 数据训练 为了便于比较 我们使用 一个相对较小的训练集 41 50 由 91 年的图片 和一个大训练集 由 395909 图像 ILSVRC 2013 ImageNet 分区检测培训 培训子图片的大小 fsub 33 因此 91 图像数据集可 以分解到 24800 年子图片 从原始图 像中提取的步幅 14 而 ImageNet 提 供超过 500 万子图片甚至使用了 33 我们用基本的网络设置 即 f1 9 f2 1 f3 5 n1 64 和 n2 32 我们使用 Set5 2 作为验证集 我 们观察到类似的趋势如果我们使用较 大的 Set14 51 升级的因素是 3 我们使用基于稀疏编码的方法 50 基 线 达到平均 PSNR 值为 31 42dB 使用不同的培训测试收敛曲线集 如图 4 所示 培训时间在 ImageNet 差不多在 91 图像数据集反向传播的 数量是一样的 可以观察到 相同数 量的反向传播 即 8 108 SRCNN ImageNet 达到 32 52 分贝 高于 32 39 dB 产生了 91 年的训练图像 积极的结果表明 SRCNN 性能可能进一 步提高使用更大的训练集 但是大数 据的影响并不一样令人印象深刻所示 的高层视力问题 26 这是主要是因 为 91 年的图片已经足够可变性的自 然图像捕获 在另一方面 我们的 SRCNN 是一个相对较小的网络 8032 参数 不能 overfit 91 图像 24800 个样本 尽管如此 我们采用 ImageNet 它包含更多样的数据 作为 默认培训在接下来的实验 4 24 2 学习超分辨率的滤波器 学习超分辨率的滤波器 图 5 显示的例子学习第一层滤波 器训练在 ImageNet 3 升级的因素 请查阅我们发表实现升级 2 和 4 的因 素 有趣的是 每个滤波器其特定的 功能 例如 g 和滤波器 h 就像高斯拉 普拉斯算子 滤波器 滤波器 e 就像 边缘探测器在不同方向 滤波器 f 是 像一个纹理提取器 示例特征图不同 精品文档 7欢迎下载7欢迎下载7欢迎下载 的层如图 6 所示 很明显 特征图的 第一层包含不同的结构 如 在不同 方向的边缘 而的第二层主要是不同 的强度 4 34 3 模型和性能的权衡模型和性能的权衡 基于基本的网络设置 即 f1 9 f2 1 f3 5 n1 64 和 n2 32 我们将逐步修改这些参数调查的 一些最好的性能和速度之间权衡 研 究性能和参数之间的关系 图 4 所示 培训 ImageNet 大得多的 数据集超过 91 张图片的使用提高了 性能 图 5 所示 图中显示的第一层滤波器 训练与一个升级的因素 ImageNet 3 滤波器是组织基于各自的差异 图 6 所示 不同层特征图的示例 4 3 14 3 1 滤波器数量滤波器数量 一般来说 性能将提高如果我们 增加网络 width6 即 添加更多的滤 波器运行时间的成本 具体地说 基 于我们的网络默认设置的 n1 64 和 n2 32 岁 我们的行为两个实验 一 个是与一个更大的网络 n1 128 和 n2 64 2 另一种是较小的网络和 n1 32 和 n2 16 类似于 4 1 节 我们也训练两个模型 ImageNet 和测 试 3 Set5 升级的因素 结果观察到 在 8 108 反向传播如表 1 所示 它 是清楚 优越的性能可以通过增加宽 度 然而 如果一个恢复速度快需要 一个小网络宽度优先 哪个仍然可以 取得更好的性能比 sparsecoding based 方法 31 42 dB 表 1 使用不同的结果在 SRCNN 过滤数 据 培训执行 ImageNet 同时评估是 在 Set5 数据集上进行 4 3 24 3 2 滤波器的大小滤波器的大小 在本节中 我们检查网络灵敏度 不同大小的滤波器 在以前的实验中 我 们设置滤波器尺寸 f1 9 1 f2 和 f3 5 网络可以表示为 9 1 5 首先 是 一致的基于稀疏编码的方法 我们固 定滤波器的大小第二层是 f2 1 并 扩大滤波器的大小其他层 f1 11 和 f3 7 11 1 7 所有其他的设置与 4 1 节保持不变 结果有一个升级的 因素 3 Set5 32 57 dB 这是略高于 32 52 dB 在 4 1 节 这表明相当大的 滤波器大小掌握丰富的结构信息 进 而导致更好的结果 然后我们进一步研究网络与一个 更大的滤波器第二层的大小 具体来 说 我们修复滤波器的大小 f1 9 f3 5 扩大第二个滤波器的大小层 我 f2 3 9 3 5 和 2 f2 5 9 5 5 收敛曲线在图 7 中显示使用一个更大 的滤波器尺寸可以显著提高性能 具 体来说 通过 9 3 平均 PSNR 值 5 和 9 5 5 在 Set5 8 108 反向传播分 别为 32 66 dB 和 32 75 dB 研究结 果显示利用邻域信息的映射阶段是有 益的 然而 部署速度也会降低与一 个更大的滤波器的大小 例如 的数 量参数为 9 1 5 9 3 5 和 9 5 5 是 8032 24416 年分别为 57184 9 5 5 几乎的复杂性 9 3 5 的两倍 但性能 改进边际 因此 网络规模的选择应 该是性能和之间的平衡速度 4 3 34 3 3 层数层数 最近的研究他和太阳 17 表明 CNN 受 益于增加网络的深度吗适度 在这里 我 们试着更深层次的结构通过添加另一 个非线性映射层 n22 16 滤波器的 大小 f22 1 我们进行三个控 制实验 即 9 1 1 5 9 1 1 5 9 5 1 5 添加一个附加层 9 1 5 9 3 5 和 9 5 5 分别 初始化方案和学习速 率的附加层第二层是一样的 从图 13 a 13 8 b 和 c 我们可以观察 到但是网络收敛慢于三层网络 然而 如 果有足够的训练时间 更深层次的网 络将最终赶上和收敛于三层的 超分辨率的深层结构的有效性是 发现明显不如图片所示分类 17 此 外 我们发现更深网络并不总是导致 更好的性能 具体地说 如果我们添 加一个额外的层 n22 32 滤波器在 精品文档 8欢迎下载8欢迎下载8欢迎下载 9 1 5 网络 那么性能就会降低和不能 超过三层网络 见图 9 a 如果我们 通过添加两个非线性映射层更深 n22 32 和 n23 16 滤波器 9 1 5 那么 我们必须设置一个较小的学习速率确 保收敛 但我们仍然不观察优越性能 经过一个星期的培训 见图 9 a 我 们也试图扩大额外的滤波器的大小层 f22 3 探索两个深层结构 9 33 5 和 9 3 3 3 然而 从收敛 曲线如图 9 所示 b 这两个网络没有 显示更好的结果比 9 3 1 5 网络 图 8 所示 对比三层和基础课网络 所有这些实验表明 它不是 越 深 在这个深度模型超分辨率越好 它可能是由于训练的难度 我们的美 国有线电视新闻网网络不包含池层或 接触层 因此 敏感的初始化参数和学 习速度 当我们去更深层次的 如 4 或 5 层 我们发现很难设置合适的 学习速率保证收敛 即使它是收敛的 网 络可能会陷入一个坏局部最小值 学 到了什么滤波器的多样性甚至给予足 够的培训时间 这种现象也在 16 在那里不当增加了深度会导致精度饱 和或退化的图像分类 为什么 更深 不是更好 仍然是一个悬而未决的 问题 这就需要调查 以便更好地理解 渐变和培训动力学在深架构 因此 我们仍然采用三层网络在接下来的实 验 4 44 4 比较先进的比较先进的 在本节中 我们展示了定量和定 性我们的方法的结果相比 最先进的 方法 我们采用该模型具有良好的 performancespeed 权衡 三层网络与 f1 9 f2 5 f3 5 n1 64 和 n2 32 ImageNet 训练 为每个升级因 素 2 f2 3 4 g 我们特定的训练网络 factor7 比较 我们比较我们与先 进 SR 饮片 SRCNN 方法 杨的 SC 稀疏 coding based 方 法等 50 不 米歇尔 邻居嵌入 局部线性 的嵌入方法 4 ANR 固定社区回归方法 41 调整后固定社区回归方法 42 和 KK 25 中描述的方法 实现了 最佳的性能在外部 examplebased 方 法 根据全面在杨等进行评价的工作 46 的 实现都是公开的作者提供的代码 所 有图像 downsampled 使用相同的双三 次的内核 测试集 Set5 2 5 图像 Set14 51 图片 14 日 和 BSD200 32 200 张照片 8 用于评估升级的性能 因素 2 3 和 4 评价指标 除了广泛使用的 PSNR 值和 SSIM 43 指标外 我们还采 用另一个四评价矩阵 即信息保真度 准则 IFC 38 噪声质量测量 NQM 8 加权峰值信噪比 WPSNR 和多尺 度结构相似度指数 MSSSIM 44 获得 高的相关性与人类知觉的分数报道 46 4 4 14 4 1 的定量和定性评估的定量和定性评估 如表 2 所示 3 和 4 拟议中的 SRCNN 收益率最高的分数在大多数 experiments9 评价矩阵 请注意 我 们的 SRCNN 结果基于检查点的 8 108 反向传播 具体来说 升级因子 3 平 均收益在 PSNR 值通过 SRCNN 0 15 dB 0 17 dB 0 13 dB 高于下一个最 好的方法 一个 42 在这三个数据 集 当我们看一看评价指标 我们观 察到 SC 令我们吃惊的是 比双立方插 值得到更低的分数国际金融公司和 NQM 很明显 SC 的结果比双立方插值 的视觉上赏心悦目 这表明这两个指 标可能并不真实揭示了图像质量 因 此 不管这两个指标 SRCNN 之间达到 最佳的性能所有方法和扩展的因素 值得指出的是 SRCNN 超过的双三 次的基线的一开始学习阶段 见图 1 适度训练 SRCNN 优于现有最先进的方 法 见图 4 然而 性能远未收敛 我 精品文档 9欢迎下载9欢迎下载9欢迎下载 们猜想 可以获得更好的结果较长的 训练时间 参见图 10 图 14 15 和 16 显示了超分辨率 的结果一个升级的因素的不同方法 3 是可以被观察到 SRCNN 产生尖锐 的边缘比其他方法没有任何明显的工 件整个图像 此外 我们报告最近的另一个深 刻的学习崔的图像超分辨率方法 DNC 等 艾尔 5 他们采用不同的内核 高 斯模糊滤波器的标准偏差 0 55 我们 训练一个特定的网络 9 5 5 使用相 同的模糊和 DNC 内核公平的定量比较 升级的因素 3 训练集是 91 图像数 据集 从收敛曲线如图 11 所示 我们 观察我们的 SRCNN 超过 DNC 只有 7 107backprops 可以获得更大的利 润较长的训练时间 这也证明了端到 端学习优于 DNC 即使模型已经 深度 10 24 11 运行时间 图 12 显示了运行时间比较的几 个最先进的方法 以及它们的恢复 Set14 性能 所有基线方法得到从相 应的作者的 MATLAB 墨西哥人实现 而我们是在纯 c 我们配置文件所 有算法的运行时间使用相同的机 Intel CPU 3 10 GHz 和 16 GB 的内 存 请注意 我们的方法是高度的处 理时间线性测试图像分辨率 因为所 有图片通过相同数量的旋转 我们的 方法之间总是会有取舍的性能和速度 为了展示这一点 我们的火车三个网 络的比较 9 1 5 9 3 5 9 5 5 很明 显 9 1 5 网络是最快的 而它仍然 达到更好性能比下一个最先进的 A 其他方法是几次甚至数量级相比 9 1 5 网络慢 注意速度差距不是主 要由不同的 MATLAB c 实现 而是 需要解决的其他方法复杂的优化问题 上使用 如 稀疏的编码或嵌入 而 我们的方法是完全前馈 9 5 5 网络 实现最佳性能 但运行时间的成本 的测试时间 CNN 可以进一步加速的速 度在许多方面 例如 近似或简化训练 网络 10 21 31 可能微乎其微 降解性能 4 54 5 实验的颜色通道实验的颜色通道 在之前的实验中 我们遵循传统 super resolve 彩色图像的方法 具 体来说 我们首先将彩色图像转换为 YCbCr 空间 SR 算法只应用于 Y 频道 Cb Cr 通道是高档双立方插值 有趣 的是找出如果超分辨率如果我们共同 考虑所有可以提高性能在这个过程中 三个频道 我们的方法是灵活的接受更多的 渠道在不改变学习机制和网络设计 特别是 它可以很容易地处理三个通 道同时通过设置输入通道 c 3 在 接下来的实验中 我们将探讨不同培 训策略彩色图像超分辨率随后评估他 们的表现不同频道 实现细节 培训的执行 91 图像 数据集 进行了测试 Set5 2 网络设 置 c 3 f1 9 f2 1 f3 5 n1 64 和 n2 32 正如我们已经证明 SRCNN 在不同尺度的有效性 我们只在 这里评估 3 升级的性能因素 比较 我们比较我们的方法与 stateof art 颜色 SR 方法 KK 25 我们也尝试不同学习策略