结构化人脸超分专题讲座PPT

1、1 -制作 - 2014.2.25 structured face hallucination 结构化的人脸超分 cvpr（ieee国际计算机视觉与模式识别会议），2013. 2 结构化的 人脸超分 引言 相关工作 本文算法 算法效果 3 引言 相 关 工 作 本文算法 算法效果 人脸超分： 由低分辨率图像（low-resolution images, lr）复原出高分 辨率图像（high-resolution images, hr）的技术。 图像超分辨率重建 vs 图像复原、图像插值 1. 图像复原是在不改变图像尺寸的情况下恢复一幅图像。 1. 图像插值可以提高图像分辨率，但只是可以增加图像

2、的像素尺寸，改变图像的视觉效 果，不能突破原有的信息量。 3. 图像超分辨率重建能使放大后图像仍能保持原始输入图像的细节部分，它涵盖了图像 复原技术和图像插值。 lrhr 超分辨率重建超分辨率重建 降采样降采样 4 引言 相 关 工 作 本文算法 算法效果 (a) 低分辨率图像 (b) bicubic 插值 (c) 随机样本 (d) 自适应样本 (e) 全体样本 (f) 原始高分辨率图像 (a) (b) (c) (d) (e) (f) 图1 不同样本选择方法的 sr重建效果比较： 5 引言 相 关 工 作 本文算法 算法效果 why 放大图像空间尺寸，图像会出现锯齿锯齿现象，尤其是原始输入图像

3、 中的细节信息，很容易出现过模糊过模糊现象。 高分辨率图像能提供丰富的细节信息细节信息，对客观场景的描述更准确 细致。 通常在视频监控等情况下获取的人脸图像分辨率较低，不能直接 使用。超分辨率技术可以在高分辨率下高质量显示图像高质量显示图像。 人脸图像超分辨率重建是图像超分辨率技术在人脸上的应用。它 还可以应用在很多领域，除了人脸识别，还有人脸视频图像传输、 人脸图像恢复、人脸图像表情分析等。 6 引言 相 关 工 作 本文算法 算法效果 1. 基于重建的方法： 采用“重建约束”，即高分辨率图像经过变形和下采样，生 成低分辨率的输入图像，来复原出高分辨率图像。 2. 基于学习的方法： 通过学习

4、低分辨率图像与高分辨率图像之间的关系，获得高 分辨率图像的先验知识，同时结合重建约束来指导对图像的超分 辨率。 参见：参见：图像超分辨率算法综述 江静，张雪松，红外技术，2012-01. 7 引言 相 关 工 作 本文算法 算法效果 1 hallucination faces (s.barker ,t.kanade,2000) 通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验最大后验 概率概率的框架下完成超分辨率重建。由于重建过程是逐像素逐像素进行的，因此容易缺 失一些人脸的全局性约束，如对称性和亮度的一致性等。他们在定义hr图像的 先验分布时，使用的是从训练人脸库中搜索出的最

5、相似像素的水平和竖直梯度， 这使得hr图像的先验项是与输入的lr图像相关的，即基于识别的梯度先验。 9 face hallucination:theory and practice (c.liu ,h.-y.shum.etc,2007) liu 等人提出了人脸超分辨率的两步法两步法：首先,在特征脸子空间中，用一个 全局参数模型根据低分辨率输入图像估计估计出高分辨率人脸图像；然后，用一个 局部非参数马尔科夫网络模型来补偿补偿第一步中重建的高分辨率图像与原始高分 辨率图像间的残差。但是第一步中的全局参数模型需要已知降晰函数，而且第 二步中的马尔科夫网络也需要复杂的计算。 8 结构化的 人脸超分 摘

6、要摘要 本文提出一种基于局部图像结构的人脸超分方法。每 幅人脸图像可由面部器官（facial components）、轮廓 （contours）、平滑区（smooth regions）三部分表示。 1. 面部器官：进行图像配准，产生准确的样本，变换高 频细节用来保存结构上的一致性。 2. 轮廓： 在高分辨率图像（hr）中学习统计先验， 产生显著的结构。 3. 平滑区： 块匹配方法。 9 引言 相 关 工 作 本文算法 算法效果 本文算法的主要步骤本文算法的主要步骤 10 引言 相 关 工 作 本文算法 算法效果 本文算法的大致描述本文算法的大致描述 11 引言 相 关 工 作 本文算法 算法效

7、果 l i h igitsuii)( . .minarg 2 （1） 本文算法本文算法 ：梯度算子 ：卷积 ：宽的高斯核宽的高斯核 ：下采样 g ：使目标函数取最小值时的变量值 minarg note： 关键问题：求关键问题：求 bec uuu, e u c u b u u 整 合 12 即所谓的径向基函数径向基函数 (radial basis function， 简称 rbf)。 高斯核函数高斯核函数 2)*2/(2exp)( cc xxxxk 其中， 为核函数中心， 为函数的宽度参数 ，控制了函数的径 向作用范围。 c x 高斯函数是单值函数单值函数。这表明，高斯滤波器用像素邻域的加权均值

8、来 代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调单调 增减增减的。这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑 运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失 真。 引言 相 关 工 作 本文算法 算法效果 13 0 10 20 30 40 50 0 20 40 60 0 0.05 0.1 0.15 0.2 theta=4.6 6.4 宽高斯核宽高斯核 引言 相 关 工 作 本文算法 算法效果 14 0 10 20 30 40 50 0 20 40 60 0 0.1 0.2 0.3 0.4 theta=1.6 6.1 文中所用文中所用 引言 相

9、 关 工 作 本文算法 算法效果 15 引言 相 关 工 作 本文算法 算法效果 landmarks 样本库样本库 multi-pie dataset （320*240，包含年龄，姿势，表情的变化） 1. 289个人的2184张正面人脸图像 2. 60个人的283张30度角的人脸图像 1). 一个标记关键点标记关键点的文件； 2). two labels: 一个标记姿势标记姿势,一个标记是否存在眼是否存在眼 镜（手动标记）。镜（手动标记）。 two labels用来限制搜索区域 每张人脸图像对应每张人脸图像对应: 16 引言 相 关 工 作 本文算法 算法效果 2 1 , ),(),(mina

10、rg b i b i n i e i e i yx yxyxt （2） 1. 面部器官的梯度图面部器官的梯度图（gradient maps for facial components） 1.1 样本图像配准样本图像配准（alighing exemplar images） c u n i e i e i yx 1 , ：样本图像中标记器官的n个关键点。 n i b i b i yx 1 , ： 中标记器官的n个关键点， 由lr图像 双立方插值得到。 b i b i l i t：非反射对称变换。 note: 17 引言 相 关 工 作 本文算法 算法效果 )(ghl jj （3） j h ：针对某

11、一特定器官 （如鼻子，嘴巴，眼睛对眼睛对，眉毛对眉毛对等）的hr样本图像集。c 1.2 样本图像确定样本图像确定（determining exemplar images） * * 通过比较 和 来确定器官 的最佳匹配样本图像。 j l l i c 1.3 变换各器官的梯度图变换各器官的梯度图（transferring gradients of components） * j l 最佳匹配的lr样本图像 c u * j h 相应的hr原图像 每个器官的梯 度图组合起来 18 引言 相 关 工 作 本文算法 算法效果 2 * )()()(minarg l ip jl sj pvpvpmj （4）

12、note: h m ：hr掩模图，当像素值属于器官 ，其值为1，否则，为0c l m ：通过公式（3），对 降采样得到 h m v： 梯度图 l i j v： 梯度图 j l s:由器官 和眼镜标识确定c 如果某个器官（比如眼睛对）有眼镜遮挡，就可以通过眼镜标识排除 那些不戴眼睛的样本图像。 s 1.2 19 引言 相 关 工 作 本文算法 算法效果 yx ,， 不同的器官来 自不同的人的 样本图像 note: 20 引言 相 关 工 作 本文算法 算法效果 kkqppf kk ,.,1),/exp()( （5） k ：方向 p：以像素 为中心的图像块p k q ：像素 的 方向上的邻近块p

13、k ：一个参数 2.1 2.1 方向保持下采样方向保持下采样（direction-preserving upsampling） 2. 面部轮廓的梯度图面部轮廓的梯度图（gradient maps for facial contours） 已有算法是基于插值后图像产生边缘，这样产生的边缘会出现缺口（jaggy）， 而本文通过学习统计先验统计先验保存图像边缘结构，恢复边缘锐度。 针对 中的每一个像素 ，计算其方向相似度（the directional similarity）： l ip e u 21 引言 相 关 工 作 本文算法 算法效果 lk k k i d igitstifi )( . .)

14、(minarg 2 （6） k s：由 计算得到的 方向上的相似性图 l ik k t ：由lr图像 双线性插值得到的hr图像 k s 从 到 ，并不改变相应的梯度幅度，因此， 保留了方向的相似性。 )(),.,( 1 psps k )(),.,( 1 ptpt k 求方向保持的求方向保持的hr图像图像 d i 22 引言 相 关 工 作 本文算法 算法效果 方向保持下采样方向保持下采样 l i k s k t d i 图像 的边缘虽然clear，smooth，但不够sharp，需要恢复边缘锐度。 d i 23 引言 相 关 工 作 本文算法 算法效果 otherwise mmandmmif

15、pc tpqp 0 1 )( （7） 2.2 2.2 学习边缘锐度的统计先验学习边缘锐度的统计先验（learning statistical priors for edge sharpness） 针对 的每个像素 ，提取特征集合 d i p dmmm cpp , 标记边缘中心点标记边缘中心点 给定一个hr样本图像，经eq.(3)和eq.(6)得到 , d i m ： 的梯度幅度 rq, ：在法线的两个相反方向上，与 相邻 的两个像素。 p m：训练图像 的梯度图的幅度 h i d i 24 引言 相 关 工 作 本文算法 算法效果 建立查询表建立查询表（lookup table） dmm cp

16、 , _ pm 2.3 2.3 生成梯度图生成梯度图（generating gradient maps） )()( _ pu m m pu d p p e （8） d u： 的梯度图 e u：面部轮廓梯度图 d i 25 引言 相 关 工 作 本文算法 算法效果 边缘锐度恢复边缘锐度恢复 26 引言 相 关 工 作 本文算法 算法效果 3. 平滑区的梯度图平滑区的梯度图（gradient maps for smooth regions） b u 利用公式 ，从匹配的数据集中产生lr样本图像集。)(ghl jj 1 c. barnes, e. shechtman, d. b. goldman,

17、and a. finkelstein.the generalized patchmatch correspondence algorithm.in eccv, 2010. 利用块匹配方法1寻找最相似lr样本块，减少计算量。 2 m. irani and s. peleg. improving resolution by image registration.cvgip, 53(3):231239, 1991. lr 块hr 块 后向投影算法2 hr b u 梯度图对应 27 引言 相 关 工 作 本文算法 算法效果 )1 ()(1 ( deeeccc uwuwwuwu（9） 4. 整合梯度图整合梯度图（intergrating gradient maps ）u c w ：所有hr掩模图 的