结构化人脸超分专题讲座PPT.ppt

1 制作 2014 2 25 structuredfacehallucination 结构化的人脸超分 cvpr ieee国际计算机视觉与模式识别会议 2013 2 引言 相关工作 本文算法 算法效果 3 人脸超分 由低分辨率图像 low resolutionimages lr 复原出高分辨率图像 high resolutionimages hr 的技术 图像超分辨率重建vs图像复原 图像插值1 图像复原是在不改变图像尺寸的情况下恢复一幅图像 1 图像插值可以提高图像分辨率 但只是可以增加图像的像素尺寸 改变图像的视觉效果 不能突破原有的信息量 3 图像超分辨率重建能使放大后图像仍能保持原始输入图像的细节部分 它涵盖了图像复原技术和图像插值 4 a 低分辨率图像 b bicubic插值 c 随机样本 d 自适应样本 e 全体样本 f 原始高分辨率图像 a b c d e f 图1不同样本选择方法的sr重建效果比较 5 why放大图像空间尺寸 图像会出现锯齿现象 尤其是原始输入图像中的细节信息 很容易出现过模糊现象 高分辨率图像能提供丰富的细节信息 对客观场景的描述更准确细致 通常在视频监控等情况下获取的人脸图像分辨率较低 不能直接使用 超分辨率技术可以在高分辨率下高质量显示图像 人脸图像超分辨率重建是图像超分辨率技术在人脸上的应用 它还可以应用在很多领域 除了人脸识别 还有人脸视频图像传输 人脸图像恢复 人脸图像表情分析等 6 1 基于重建的方法 采用 重建约束 即高分辨率图像经过变形和下采样 生成低分辨率的输入图像 来复原出高分辨率图像 2 基于学习的方法 通过学习低分辨率图像与高分辨率图像之间的关系 获得高分辨率图像的先验知识 同时结合重建约束来指导对图像的超分辨率 参见 图像超分辨率算法综述 江静 张雪松 红外技术 2012 01 7 1 hallucinationfaces s barker t kanade 2000 通过利用以金字塔形式组织的正面人脸图像的梯度分布先验 在最大后验概率的框架下完成超分辨率重建 由于重建过程是逐像素进行的 因此容易缺失一些人脸的全局性约束 如对称性和亮度的一致性等 他们在定义hr图像的先验分布时 使用的是从训练人脸库中搜索出的最相似像素的水平和竖直梯度 这使得hr图像的先验项是与输入的lr图像相关的 即基于识别的梯度先验 9 facehallucination theoryandpractice c liu h y shum etc 2007 liu等人提出了人脸超分辨率的两步法 首先 在特征脸子空间中 用一个全局参数模型根据低分辨率输入图像估计出高分辨率人脸图像 然后 用一个局部非参数马尔科夫网络模型来补偿第一步中重建的高分辨率图像与原始高分辨率图像间的残差 但是第一步中的全局参数模型需要已知降晰函数 而且第二步中的马尔科夫网络也需要复杂的计算 8 摘要 本文提出一种基于局部图像结构的人脸超分方法 每幅人脸图像可由面部器官 facialcomponents 轮廓 contours 平滑区 smoothregions 三部分表示 1 面部器官 进行图像配准 产生准确的样本 变换高频细节用来保存结构上的一致性 2 轮廓 在高分辨率图像 hr 中学习统计先验 产生显著的结构 3 平滑区 块匹配方法 9 本文算法的主要步骤 10 本文算法的大致描述 11 1 本文算法 关键问题 求 整合 12 即所谓的径向基函数 radialbasisfunction 简称rbf 高斯核函数 其中 为核函数中心 为函数的宽度参数 控制了函数的径向作用范围 高斯函数是单值函数 这表明 高斯滤波器用像素邻域的加权均值来代替该点的像素值 而每一邻域像素点权值是随该点与中心点的距离单调增减的 这一性质是很重要的 因为边缘是一种图像局部特征 如果平滑运算对离算子中心很远的像素点仍然有很大作用 则平滑运算会使图像失真 13 宽高斯核 14 文中所用 15 landmarks 样本库 16 2 1 面部器官的梯度图 gradientmapsforfacialcomponents 1 1样本图像配准 alighingexemplarimages 17 3 针对某一特定器官 如鼻子 嘴巴 眼睛对 眉毛对等 的hr样本图像集 1 2样本图像确定 determiningexemplarimages 通过比较和来确定器官的最佳匹配样本图像 1 3变换各器官的梯度图 transferringgradientsofcomponents 18 4 note 1 2 19 不同的器官来自不同的人的样本图像 note 20 5 2 1方向保持下采样 direction preservingupsampling 2 面部轮廓的梯度图 gradientmapsforfacialcontours 已有算法是基于插值后图像产生边缘 这样产生的边缘会出现缺口 jaggy 而本文通过学习统计先验保存图像边缘结构 恢复边缘锐度 针对中的每一个像素 计算其方向相似度 thedirectionalsimilarity 21 6 从到 并不改变相应的梯度幅度 因此 保留了方向的相似性 求方向保持的hr图像 22 方向保持下采样 图像的边缘虽然clear smooth 但不够sharp 需要恢复边缘锐度 23 7 2 2学习边缘锐度的统计先验 learningstatisticalpriorsforedgesharpness 针对的每个像素 提取特征集合 标记边缘中心点 给定一个hr样本图像 经eq 3 和eq 6 得到 24 建立查询表 lookuptable 2 3生成梯度图 generatinggradientmaps 8 25 边缘锐度恢复 26 利用公式 从匹配的数据集中产生lr样本图像集 1 c barnes e shechtman d b goldman anda finkelstein thegeneralizedpatchmatchcorrespondencealgorithm ineccv 2010 利用块匹配方法 1 寻找最相似lr样本块 减少计算量 2 m iraniands peleg improvingresolutionbyimageregistration cvgip 53 3 231 239 1991 27 9 4 整合梯度图 intergratinggradientmaps 所有hr掩模图的总和 是的梯度