（应用数学专业论文）基于照片含可调光照效果的人脸非真实感绘制.pdf

浙江大学硕士学位论文 摘要 人脸的非真实感绘制( n o n p h o t o r e a l i s t i cr e n d e r i n go fh u m a nf a c e ) 在卡通动画等领域具 有广泛的应用，其中如何绘制出具有三维立体感，形象生动的各种风格的人脸效果是一个 难点。由于光照能加深人们对场景深度信息的理解和认识，使物体表现出立体感，因此， 光照效果对人脸非真实感绘制具有重要作用。 本文提出了一种基于照片的含可调光照效果的人脸非真实感绘制框架，可以很方便地 改变卡通头像的光照效果：对于一幅输入的人脸照片，我们首先利用基于图像的方法检测 出其五官轮廓以及皱纹等人脸的重要特征，再生成卡通头像；同时把人脸照片分解成光照 图和材质图，并在光照图上进行光照编辑，如非线性增强，阈值化等，然后将编辑过的光 照图添加到矢量图上生成最后的效果图。由于我们的方法分离出了原照片的光照信息，因 此可以对原图像中的光照进行单独的处理，获得不同光照效果的卡通头像。实验表明，本 文的框架可以灵活编辑原图像的光照，从而使得人脸n p r 绘制结果的三维立体感更强，更 生动，具有一定的学术价值和应用前景。 关键词：人脸，非真实感绘制，光照图，光照编辑 浙江大学硕= 卜学位论文 a b s t r a c t n o n p h o t o r e a l i s t i cr e n d e r i n g ( n p r ) o fh u m a nf a c eh a sw i d ea p p l i c a t i o ni nm a n ya s p e c t s s u c ha sc a r t o o nm a k i n g h o wt or e n d e rf a c e so fv a r i o u ss t y l e sw i t ht h r e e - d i m e n s i o n a l ，v i v i d e f f e c ti sad i f f i c u l t y s h a d i n gc a l ls t r e n g t h e no u ru n d e r s t a n d i n gt ot h es c e n ed e p t h ，m a k et h e s c e n es e e m sm o r ev i v i d ，s oi tp l a y sa ni m p o r t a n tr o l ei nt h en p rf o rf a c e i nt h i sp a p e r , w ep r e s e n taf r a m e w o r ko fs h a d i n g a w a r en p ro fh u m a nf a c eb a s e do n p h o t o w h i c hc a l le a s i l yc h a n g et h es h a d i n ge f f e c to ft h ec a r t o o nf a c e g i v e na f a c i a lp h o t o ，w e f i r s td e t e c tt h ec o n t o u lw r i n k l ea n do t h e ri m p o r t a n tf e a t u r e sf r o mt h ei n p u ti m a g e ，t h e n ，g e n e r a t e af a c i a lc a r t o o n m e a n w h i l e ，w ed e c o m p o s et h ei n p u ti m a g ei n t os h a d i n gi m a g ea n dr e f l e c t a n c e i m a g e a f t e rt h a t ，w ep o s en o n - l i n e a re n h a n c e m e n to rt h r e s h o l d i n go nt h es h a d i n gi m a g e ，t h e n ， a d dt h ee d i t e ds h a d i n gi m a g et ot h ev e c t o r i z e di m a g et og e n e r a t et h ef i n a lr e s u l t 、m t ht h e d e c o m p o s i t i o n o u ra l g o r i t h mc a ne d i to nt h es h a d i n gi m a g et og e tv a r i o u sr e s u l tw i t hd i f f e r e n t s h a d i n g e x p e r i m e n t sd e m o n s t r a t et h ef l e x i b i l i t yo fo u ra l g o r i t h mt oe d i tt h es h a d i n go ft h e i m a g e ，w h i c hm a k et h er e n d e rr e s u l tm o r ev i v i d o u ra l g o r i t h mh a sg r e a tp o t e n t i a li na p p l i c a t i o n k e y w o r d s ：f a c e ，n p r ，s h a d i n gi m a g e ，s h a d i n ge d i t 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特另j j ) j n 以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得逝江太堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名翻匕艺 签字日期：加。占年月日 学位论文版权使用授权书 本学位论文作者完全了解浙江太堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝堑太堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 学位论文作者签名：圳b 芝 签字日期：d 湃6 月5 日 导师躲矽野曙 签字日期咖绛易夥日 浙江大学硕士学位论文 第1 章引言 1 1 人脸的非真实感绘制概述 非真实感绘制( n o n p h o t o r e a l i s t i cr e n d e r i n g ) 属于计算机图形学的范畴，主要 用来模拟特定的艺术风格。它依据生活中的具体对象，从其真实外貌、形态特征、 个性风格等方面加以综合、概括、提炼、集中后，以丰富的想象和成熟的艺术技 法表现出来。非真实感绘制能给欣赏者以深刻的印象和审美的享受。 日常生活中，人脸在传达信息方面具有重要作用，因此人脸的非真实感绘制 成为非真实感绘制中的一个重要部分。针对人脸特征进行非真实感绘制技术包括 基于笔划的绘制技术【3 4 】 3 5 】 3 6 】、色调控制 3 5 】【3 6 】等。结合这些技术，开发出了 多种卡通设计和动画系统【3 7 】【3 8 】。 近年来，随着数字技术的发展，人们用真实的照片作为输入，提出了一系列 基于照片的人脸非真实感绘制技术。这些技术利用输入的图像作为原型，绘制出 具有个性化色彩的人脸卡通，在电子贺卡，网络聊天等领域都有广泛的应用。 一般来说，基于照片的人脸非真实感效果可以通过三种方式生成： 一建立视觉亮度感知模型，去除照片中的多余信息，留下完整的线条和 形状，得到漫画效果的头像。 二在人脸照片上检测出人脸的特征，然后利用检测结果a 动生成线条画。 在此基础上还可以添加表情信息，语音信息，制作以语音驱动的动画等。 三对输入照片进行图像的风格化( s t y l i z a t i o n ) 或者抽象( a b s t r a c t i o n ) 等， 获得非真实感效果。 第一种技术模拟人的视觉系统对亮度的感知模型，通过计算人眼对输入照片的亮度感 知，去除多余信息，产生黑白二色调的漫画头像。用这类方法的前提是人脸上没有强的光照。 第二种技术能够保持人脸五官的相对位置及形状，自动生成人脸的线条画。这两类方法在最 后的绘制结果中都没有光照信息，或者在生成的人脸头像后只在相同的部位添加上少量的光 照信息，比如，眼眶处会添加上少量的阴影。但是这种添加是随意的，并不是真实的光照。 第三种技术的特点是直接从图像出发，进行滤波或者量化等等。由于滤波是在图像上直接进 行的，最后的结果是含有光照信息的，但是这类算法没有对图像的光照信息进行单独考虑， 不仅无法进行编辑，而且可能使光照和材质混合在一起。 浙江大学硕士学位论文 事实上，光照在传达信息方面具有重要作用：它能向人们揭示物体的深度信息，看物 体起来更有立体感。因此，在手工绘画中，漫画家一般都会添加上简单的光照，去除单纯卡 通画的平面感，增强场景的三维效果。 1 2 本文研究的目的和贡献 本文的目的是在传统的非真实感绘制效果中加入光照效果，从而使人脸的绘制效果更 为生动。 本文的贡献是提出了一种基于照片的含可调光照效果的人脸非真实感绘制框架： 对于一幅输入的人脸照片，我们首先利用基于图像的方法检测出其五官轮廓以及皱纹等人脸 的重要特征，生成卡通图；然后把人脸照片分解成光照图和材质图，在光照图上对光照信息 进行编辑，增强；最后将编辑过的光照图添加到卡通图上，生成具有光照效果的卡通图。由 于我们的方法可以对原图像中的光照进行单独的处理，因此能生成不同光照效果的图像。 本文方法可以应用到动画制作中。例如，绘制过程中只有光照条件发生变化，那么可 以只对光照进行编辑，从而节省大量繁琐的重复绘制。 1 3 本文结构 本文的章节做如下安排，第二章对已有的人脸的非真实感绘制技术进行较为全面的介 绍。第三章从多幅图像及单幅图像两个角度出发，介绍了典型的从图像提取光照的算法。第 四章是本文的核心，在该章里我们对提出的含可调光照效果的人脸非真实感绘制框架进行了 详细的介绍并给出了实验结果分析。第五章总结全文，展望将来的工作。 一2 一 浙江大学硕十学位论文 第2 章基于照片的人脸非真实感绘制 与一般物体的非真实感绘制技术相比，人脸的非真实感绘制有其鲜明的特性。当输入 的是非人脸的一般照片时，对整幅画的色调、绘制细节，线条放置的具体位置这些高级属性 要求并不高。比如一朵花，花瓣的位置可以有偏差，形状也可以稍有不同。但是人脸却不同， 人的眼睛对脸部非常敏感。也就是说，在进行人脸非真实感绘制中要受到视觉上的约束，五 官的相对位置不能移动，即使进行夸张的绘制，也不是随意进行变形，比如我们眼睛不能一 个大一个小。 因此人脸的非真实感绘制首先要解决如何保持个性化人脸的结构。人脸的结构是一种 个体特征。现实生活中，绝大部分人的脸是不同的，这些不同体现在脸型，眼睛，鼻子，嘴 巴，耳朵上，通过这些部分的特征可以很容易地识别出不同的个体。而其他例如皱纹，伤疤， 胎记也是区分的显著特征。如何选择重要特征，去除不必要的细节是绘制的关键所在。为此 3 0 中建立视觉亮度感知模型，通过人眼对亮度的感知，来判定哪些是多余信息。通过这种 方法绘制出的黑白插画效果比较符合人眼的视觉认知，同时可以通过用户交互对头像整体进 行夸张的变形。 虽然每个人的脸是不同的，但又都可以分成相同的部分：眼，耳，口，鼻等。所以在 人脸检测算法逐渐完善的基础上，可以先进行人脸检测，然后进行模板匹配，最后进行绘制。 这类算法如 3 】 5 】【6 】不需要用户交互，且可以取得较好的效果。 此外，人脸的非真实感效果也可以通过对输入照片进行风格化或者抽象等来获得，这 方面典型的工作包括【7 】【8 。这类工作的特点是直接从图像出发，进行滤波或者量化等等。 因为这些算法没有涉及单独处理脸部轮廓及五官，所以无论人脸和其他类别的图像都可以采 用该方法进行非真实感绘制。 2 1 基于视觉亮度感知模型的人脸非真实感绘制 2 0 0 4 年g o o c h 等人 3 0 提出了一种模拟人眼的亮度感知的方法，用于绘制黑白漫画效 果，同时可以对头像进行夸张的变形。 这个方法通过计算亮度感知模型来去除多余信息。这个模型模拟了认知视网膜细胞的 性质和神经结构的亮度感知。视觉系统最终接受的光照可以看作是人类感知光照的一个度 一3 一 祈江大学硕学位论立 簧。所以可以通过人的视觉亮度感知模型来去除多余的细节。 人的亮度缚知模型觑z ，y ) 可以表示为不同尺度s 的放电频率之和： b ( ) ：釜y ( ，5 ) 其中放电频率v 是用中心四周机制米模拟的： 附一，2 警笋裸掣 z r 1 i x ，n f l k ，k 是人类视觉系统的感受域对应的神经中枢的响应函数 e ( x ，y ，s ) = l ( x ，y ) o 足( z ，y ，s ) f 2 f 2 l2 f 2 13 、 l ( x ，y ) 是照片的亮度t 人类视觉系统的感受域可以用r ( j ，y ，s ) 来模拟。计算得到的 k ，k 即是我们视觉系统的感受域对输八亮度的响应 通过计算亮度感知模型觑x ，y ) ，可以得￥亮度闰。然后将亮度图阈值化，去除多余细 节，如下图： 金鱼 图2 1 ( - ) 输入照片，嘞鲷值化后的亮度圈 脚21 ( b ) 是闽值化后的亮度图占( z ，力。即类似于漫画教果的头像，它也可班作为黑白 插画效果使用。由于对瞎的区域进行填充会使得图像更容易识别，g o o c h 等人还用了1 9 8 5 年p e o n 和r o b l s o n 牡9 中的方法t 将照片的亮度l ( x ，y ) 直接阉值化- 得到上u y ) 。可咀 看到l 协，力中比较暗的区域已经由黑色填充，使得暗的区域很容易被人识别出来如图 2 2 中右图： 新扛人学i 学位论i 冒2 2 对亮度通道进行阈值化的结果 然后将l i 置y ) 乘到原先得到闽值化后的亮度酗占。( f ，y ) 上，就得到了更好的祟向插画 效果的人脸漫画。 2 4 、。 圈2 3 黑白二色调插画效果 在转换成插画后，还可以通过少量的交互，标记出变形的位置得到夸张后的结果( 图 图2 4 对已经得到的插画进行交互，变形得到夸张的效果 可咀看到，利用人的视觉亮度感知模型绘制得到的黑白插画是符合人的视觉认知的。 但是它对输入照片有一定的要求；照片不能有较多的光照信息。在光照强的情况下，得到的 结果较差。因此对这粪照片处理前要先去除阴影，那么绘制出的黑白插画头像不包含照片的 光照信息。 涵 胁 口a四足舟葳q 汉 名f”、文 浙江大学硕士学位论文 2 2 基于人脸检测的非真实感绘制 基于人脸检测的# 通头像生成方法首先由“和k o b a t a k et1 9 9 7 年提出【9 。该方法利 用广义对称算子，矩形滤波以及儿何模板检测出人脸的五官然j 亓生成人脸的线条图。此 后，人脸特征检测技术得到了快速发展。 2 0 0 1 年，h o n g c h e r t 将人脸特征检测算法应用到人脸的n p r 绘制中 3 】。该类方注首先 利用人脸特征检测算法检测出人脸的五官轮廊，然后生成人脸的线条面。简单的线条勾画山 了人脸的整体结构，生成的卡通人脸具有个性化特征，即与照片中的人物相似，此外这种 方；圭的优点还包括可以对人脸的特征进行变形，得到丰富的攫画效果。2 0 0 3 年，作者x 考 虑了头发的n p r 绘制，削非参数化采样的方法提取头发轮廓生成完整的线条画，使得系 统更加鲁棒h 】。 h o a g c h e r t 等人的方法 3 】【卅主要分成两个模块： 一 卡通生成模块。基于输入的正面人脸照片，进行人脸检测，自动生成g - 通头像。 该模块生成的卡通未经过任何夸张变形，可保持原有人脸的特征。根据用户的选择系统可生 成不同线条风格的卡通。卡通生成模块是靛个系统的核心，卡通编辑模块和卡通动画模块都 以它的生成结果为基础。 二卡通编辑模块。主要是提供用户交互式编辑工具用来生成带有各种表情或夸张 效果的卡通。用户可以使用系统预定义的模板产生特定的表情或夸张效果，同时，还提供了 一般的编辑功能，编辑结果可存成模板或作为卡翅动画模块的关键帧。 在基于人脸酗像白动生成线条画时h o n gc h e r t 等人把脸和头发部分分开考虑使用 基于样本学习的方法来获得线条画。如图2 所示，训练样本集包括了一组人脸图像和画家所 画的对应的线条画。日l f 练的样本和测试图像均满足如下假设；原始图像都是简单背景下的正 面人脸图像( 没有帽子和眼镜k 线条画未经过夸张，线条和对应的图像特征是对齐的。 曩厦 图2 5 样车库： 脸和对应的线条面 新大学砸学位论文 该方法假设s ( 线条画集) 和i ( 人验集) 之间的统计关系满足“f 3 点： 局部性假 殳：线条画上每一点s ( g ) 取值的概率分布只与原始闰像中的对应 点周围一小块邻域m ( q ) 相关。u p p q ( s ( q ) l i ) = 凸( s ( g ) l ，( g ) ) ； 非均匀假设：由于人脸的结构性，上述的条件概率与点所处的人舱位置是 相关的。 一致性假设：对于同一组训练集中不同人脸的相同位置，上述条件概率是 一致的。 考虑到非均匀假设，需要建立闰像坐标与人脸特征的对应关系。系统根据训练集中的 数据，首先得到人脸特征点的平均值，称为平均脸( m e a ns h a p e ) 。然后通过图形变形算法 使人脸的特征点与平均脸对齐。这样得到的图像，它们的坐标就是对齐过的。系统中使用 a s m 模型 1 7 】可以自动定位人脸的特征点。 通过训练样本，使用非参数化采样的方法来估计儿( s ( 9 ) _ ，臼) ) 。然后对这 个分布进行积分，得到“期望的线条画”r ，每一点的取值就是该点出现在线 条上的概率。再使用模板匹配就可以得到矢量化的线条面。 相对于人脸，头发的变化很大，根难保证有一致的统计特性。所以在进行头发分割时， 首先使用训练好的a s m 模型搜索到大致的头发轮廓线。然后提取轮廓内的小部分区域 作为头发灰度的样本。这样即可估计出头发和人脸的灰度分布，从而得到它们的最佳闽值。 整个过程可以由下圈得到： 固2 6 流程图 除了上述口 【4 】中的算法外，m s n r l o o 1 1 0 】是现在比较流行的一款基于照片生成p 通人物画的软件，该软件也是采用基于人脸检钡i 的方法来获得卡通头像。在这个软件里 _ h ? 了 h 哆了 斯江大学硕士学位论文 首先通过 脸检测方法检测山人脸的五官轮廓，如f 图 圈2 7 自动检测人脸特征 可以看到，【】卅已经能够准确地检测到人脸特征。用户还可以通过移动圈中黄色的特 征点对检测的结果进行微调，使结果更准确。但是它的五官的形状是唯一的t 例如眉毛- 无论是谁，都是如f 图左边形状： 果剐 k 二 图2 8 检测到的眉毛及绘制结果 然后在眼眶附近添加少髭同定的光照再通过崩户自己指定头发样式生成最后的敏 意鑫 口， q ( c ) 图2 , 9 ( a ) 人脸检测后的绘制结果，( b ) 添加头发样式的结果o ) 眼部放大图 由吲2 9 ( c ) 中可以看到，由于眼眶上；恭加了阴影，眼部的立体效果变得明显。但是这 里的阴影是问定位置的。每个人的服睛添加的阴影都相同。 8 浙江大学硕士学位论文 总结上述两种方法，我们可以得到以下结论：基于人脸检测的绘制方法不需要用户 交互，或者交互非常少，即使普通用户也可以利用它方便地生成个性化的卡通头像。但是， 这类方法存在三个缺点： ( 1 ) 一般情况下，人脸检测方法可自动检测脸的形状和五官，但无法检出入脸的一些 细微的结构特征，例如深刻的皱纹，伤疤等，自然也无法对它们进行绘制。 ( 2 ) 这类方法在绘制时无法表现原图的光照信息，所绘制的人脸只是平面的效果，三 维立体感不强。 ( 3 ) 这类方法对输入人脸有严格的要求，即输入的入脸必须是简单背景下的正面人脸图 像。对于侧面人脸，以及有抬头，低头，或者有眼镜等其他遮挡物时，人脸特征检测就会 失败从而导致进一步的绘制无法进行。因而这类方法无法处理现实生活中大量存在的非正 面照片。 2 3 基于图像的风格化绘制及抽象 2 3 1 风格化绘制( s t y l i z a t i o n ) 以二维图像作为输入，实现非真实感绘制主要有两个环节：一是提取原图像的主要信 息，如边缘，轮廓等；另一个就是在此基础上进行非真实感绘制。 在手工绘画中，提取图像结构是非常简单直接的，漫画家以自己的风格，勾勒出必要的 边界及区域，去除多余的细节，保持原图像的语义信息。但是现在还没有有效的算法可以使 计算机自动获得这些有语义的边界或者线条。所以，多数情况下，基于图像的非真实感绘制 都选择了用户交互的方法，获得必要的线条和完整的轮廓，然后进行绘制。这种方法比较典 型的是【2 1 】【2 2 】【2 3 】【2 5 】【2 6 】，其中第一个环节都是由用户交互完成，它们分别生成了m o s a i c ， 样条画，版画等风格，【2 6 除了由用户标记出轮廓外，还需要对区域内部进行编辑，但可以 生成卡通，水彩画，油画等风格。 也有一些绘制方法由计算机自动生成线条画，如 2 7 2 8 2 9 1 。其中【2 8 】【2 9 】是最具代表 性的两种算法，它们采用两种不同的新方法来获得风格化的线条画。下面我们介绍一下这两 种自动生成线条画的主要算法。 2 3 1 1 基于边的切线流的一致线条画 i 在【2 8 】中提出了e t f ( e d g et a n g e n tf l o w ) 即边切线流的概念，该方法基于边切线流生成 连贯一致线条画。注意到，用边缘检测的方法得到的线条，往往都是间断的，不连贯的。这 一9 一 浙江大学顶学位论文 个算法分成两个步骤：首先生成输入图像的边切线流e t f ，然后基于切线流构造边。 假设输入图像为i ( 对，首先生成边切线流e t f 。由于要生成连贯一致的线条画所毗 对应的e t f 需要满足以下3 个条件：( 1 ) 每一个切向量表示的是邻域内最主要的边的切线方 向。( 2 ) 除了锐角盐邻域内的向量是平滑地排列的。( 3 ) 重要的边必须保持它们的初始方向。 为了满足以上3 十条件，他们基于双边滤波提山新的平滑函数，使得切线的方向变化平滑连 续，服从邻域主要边的切方向。取切向x ) 为： r “扛卜，蚤，即卜尸1 州薯n 味毛力吡五 。3 ” 其中q ( x ) 表示点x 韵邻域t f ( ，) 是指当前归一化后的切向量k 是归一化常数。w ，( z ，y ) 是空间权函数是一个半径为r 的径向对称盘滤波器： ( x ，y ) = i 。1 , ，1 1 其x - 他y 情l l 况r ( 232 ) o ，y ) 和嘞( x ，n 则分别是模长权函数和方向权函数。 通过迭代，就可得到满足条件的边切线流： x 卅霹，舅酚 镉 圈2 1 0 迸代后的e t f 从圄中可以发现，原图像中成锐角的那些边所对应的切线之间仍然保持尖锐，而其他的 边的切线都变得平滑且连贯。 得到图像的e t f 以后，利用d o g ，即差分高斯滤波器，进行轮廓提取： 一1 0 - - 浙江大学琐十学位论文 巾) = 吒( r ) 一w 吒( ，) 其中6 ：p ) 是方著为d 的一维高斯函数： 啪) = 了击e 舌 ( 2 ”) 由于这个滤波器是作用在e t f 上的所以这个滤波器也称作f d o g 。从结果可以看出 得到的线条面是连贯一致的 f b l 图2 i i ，) 为输入图像。( b ) 为线条画 这个方法简单有效，生成线条画非常流畅。 由于对输入照片役有什么特别要求所以这种方法也可以用来绘制人脸的线条画这 种方法得到的线条画没有经过夸张，和原图是对齐的。 浙扛太学砚十学位论文 鬟 图21 2 连贯一致的人脸线条圈 23 12 基于似然函数的线条画 2 0 0 7 年hk 吣等人1 2 9 】提出另一种方法，可以得到不同风格的线条画。对丁一幅 输 图缘，要将其转换成线条面首先就要得到图像中比较重委的边。与其他边缘检测的疗 法不同，这个方法是通过定义一个似然函数，提取出线条画中所需要的边。然后通过曲线拟 合，使得提取的边变得平滑。晟后利用纹理l 映射的方法，获得不同风格的线条画。 首先，由取阈值门限的方法，保留下图像中梯度值较大的点，即特征点。提取的特征 点直口下圉( b 1 ： 监囊 ( )( b ) 图2 1 3 “) 为输入圈像，( b ) 为提取的特征点 这些特征点是图像中比较重要的边上的点。为了由这些特征点得到完整的边，hk 卸g 等人定义了一个似然函数来计算这些特征点的属于同一条边的概率。似然函数的定义如下： 工( x ) = 喜，( 1 一占( b ，砷) 正( 耳 ) ( 235 ) ，2 1 厶( x ，h ) 是局部似然函数： 浙大学碗士学位论立 删嘲”盼 生等逍 。 计算得到似然幽数值，同样使用双阈值门限的方法，保留下圈像中似然概率较大的点 再根据似然概率进行聚类。将特征点分成多个点集： ( a ( b ) 圈2 1 4 ( - ) 为计算得到的相似度，彻聚类结果 从豳2 】4 f b l 中看到，每个点集对应一条边。接r 米，为了得到线条，用最短路释算法 对每个点集进行笔划提取。 图2 1 6 纹理映射的结果 由于绘制中使用了计算得到的模糊度和特征尺度，使得结果的层次更丰富， 前景更突出，去除了线条画单调的感觉。最后使用了纹理映射的方 圭，可以得到不同风格的 一1 3 一 浙江大学硕学位论卫 线条画，如铅笔画，钢笔画。 但是由于人脸的细仃较多，把这种方法用于绘制人脸线条画的散果却不如 2 8 】甲基丁 e t f 的方法。 可性看到圉2 1 7 右中线条不连贯， 殳育保持脸都结构t 尤其是五官部分，给人一种 杂乱的感觉。 2 3 2 图像抽象( a b s t r a c t i o n ) 人脸非真实感触果也可以通过对输入图像进行抽象，然后进行量化获得，如s i g g r a p h 0 6 提出的v i d e o a b s 订a c f i o n 8 1 。 对图像进行抽象可咀用非线性扩散方；击，比如各向异性扩散方法。这类扩散方法的基 本思想是：简化图像视觉，只保持或者强调重要信息。 非线性扩散方法主要是确定非线性扩散滤波嚣。【8 】中用的是一个扩展的非线性扩散滤 波器( 1 ： h ( i ，m ，) = k j ( 挚。( m ) m 冲 殍i 是点的坐标，j 是i 的邻域点。口。块定的是模糊半径，即模糊程度。口，决定对比 度。“) 控制对比度变化的阿域： 州x ，i ，m r ) = ( 1 一州劝w 。( z ，毫卅，) + 卅a ) “( i ) ( 238 ) ，坦删 w y x ，j ，r n , ) = p 2_4 039 ) 在式中，如果肌( ) = 0 ，那么( ) 就变成了双边游波器。所以实际上，双边滤波是 浙人学目l 学位论z 种简单而实川的图像抽取方法 国 恤)( b ) 图2 1 8 ( a 】是原圈，是用双边癌渡抽象的结果 对抽象后的幽像进行量化，可以得到卡通和油画的效果。量化的方法有很多，其中【8 的s o nc o l o r q u a m l z a t o n 对图像的亮度通道进行平滑量化。量化函数为： 烈i m d 。) = + 等t a i l l l 耐g ( ，( i ) 一吼一) ) ( 23l o ) 却是量化等级宽度，9 伽删是离，( ) 最近的量化级，纯是控制不同的量化等级之问过渡 的尖锐程度 q r 佃)( b 图2 1 90 ) 是量化函数，( b ) 量化结果 量化后t 再用d o g 检测原照片的边缘，最后将边缘加到量化回上。 一ue。，毫 y 一，一1 一瞄 新旺大 硕学位论文 懿蠡蠡 雕 一1 6 浙江夫学碰学位论立 第3 章基于图像的光照提取 b a r r o wa n dt c n e n b a u mf 3 3 1 q 1 首次提出材质圈的概念，在假设物体表面是朗伯模酗的情 况下。一幅图像可以用材质斟和光照图的乘积形式来表示 i 虹，n = l t x ，nr x ，n 如幽，输入图像( a ) 可以表示成( b ) 和( c ) 乘积。 图3 i ( b ) 是原圈御分离的材质圈( c ) 光照图 对于一个三维场景来说材质圈和光照图是独立的材质不会随着外界光照的改变而 改变。如图，场景并没有任何改变但是由于光照不同，我们得到的图像也是不同的 扯) 图3 2 不同光照下的同一场景 如何有效地把图像的光照图和材质圜分离出来是计算机视觉的一个难题。迄今为止；一 浙江大学硕士学位论文 已经有许多从多幅图像或者单幅图像提取光照图和材质图的工作如【1 2 ，1 3 ，1 4 ，1 5 。 一般来说，) a i ( x ，y ) 提取三( x ，y ) 和r ( x ，少) 是一个欠约束问题，比较常见的解决方法 是增加新的已知条件，如通过拍摄一系列l 司样物体和场景的不j 司光照图来增加输入图像，也 就是从多幅同场景不同光照的图像提取光照图。或者增加未知量的约束条件如引入图像的先 验模型来解决这个问题。下面我们分别介绍这两种办法。 3 1 多幅图像提取光照 1 2 】描述的就是假设已有多幅同一场景在不同光照下的图像，如何求解光照图和材质 图：即假设有一个由t 个图像组成的图像序列 ，( x ，y ，f ) ) ：l ，其材质图r ( x ，y ) 不变，其光 照图为 三( 石，y ，) ) ：l 。现在需求解月( x ，y ) 和 三( x ，y ，t t ；l ，共t + 1 个未知项。下面来解决 这个问题。 为了方便计算，这里在l o g 域进行分解。假设i ( x ，y ) ，r ( x ，y ) ，l ( x ，少) 分别是i ( x ，少) ， r ( x ，y ) ，l ( x ，y ) 的l o g 函数。现在的问题转化成给定： i ( x ，y ，f ) = r ( x ，y ) + z ( 工，y ，)( 3 。1 1 ) 利用最大相似度估计的方法来恢复r ( x ，y ) 和l ( x ，y ，f ) 。由自然图像的稀疏性可知：导 数滤波与图像卷积后的图像是服从l 印l a c i 锄分布的，尸 ) = 壶p 吨b 1 。 令 z ) 是n 个滤波器的集合，o n ( x ，y ，r ) ，0 ，y ) 分别为输入图像和材质图的滤波结果： ( x ，y ，f ) = i ( x ，y ，) z ( 3 1 2 ) ( x ，y ) = r ( x ，y ) o z ( 3 1 3 ) 下面对( x ，y ) 进行估计。由于 ，y ) 服从l a p l a c i a n 分布，而且材质图和光照图是 独立的，所以估计 ，y ) 就是使得相似函数p ( l ) 取得最大值。其中p ( i ) 为： p ( l ) = 与h p “k 小以小“力l 正。j ，y ，t 一一 0 n ( x 川y ) 一，：，( 训) i = e “ ( 3 1 4 ) 要使得相似度尸( l ) 最大，实际上就是使得与o n ，y ，f ) 偏离的绝对值之和最小。所以 浙江犬学碗学位论文 ( z ，y ) 的估计值矗( z ，y ) 即是“( ，弘f ) 中值 箍个过程如图： 到一豳罾 蓟一圆圜 蒯一豳窿 爿一霜露 图3 3 最大相似度估计图解 上图咀水平方向导数滤波器和垂直方向的导数滤波器为倒，说明通过最大相似度估计 得到 扛，y ) 的过程。 再通过( z ，y ) 求解f ( z ，y ) 。因为= p o 工t 这是一个过约束的线性方程组问题 可得： 抵y ) 2 9 ( w ) 。( ；r 。( n ) ( 3 15 ) 其中片是与相反的滤波器：z ( t y ) = r ( 一暑一y ) ，g ( x ，y ) 是如下方程： g ( x ，y ) o ( ( 片) = 5 ( 3 i6 ) 的一个解。可以看出g ( t y ) 是和图像序列独立的。可以事先计算好。 得到i ( z ，y ) 以后，就可以根据i ( x ，y ，) = ，( y ) + ，( x ，y , t ) t 得到光照图了。下面我 们看f 用这种方法得到的结果。 浙江大学埘+ 学位论文 砸 蜀闷錾 ( c ) a o i = 1 , 2 , 3( 4 3 1 ) 通过设定不同的瓯，我们可以自由地扩大或者缩小光亮区域和暗部区域，改变卡通头 像的局部光照效果。 ( a ) 一3 3 浙江太学硕士学位论文 八 三蔓声 乎卜 弋， ( d ) 圈41 3 固定陋i ，a 2 ，a 】= o9 6 ，o9 3 o9 8 时，设定不同的得到的 不同光亮区0 = 0 9 3 i ( b j = n 9 2 ：( c ) 嘞= 0 j i ：( d ) 玎0 = n 艄 我们可以观察到从( 劬到( d ) t 髓着口0 逐渐减少，脸部的亮部区域逐渐增多，与此同时 暗部区域运渐减少。 增强明暗对比度 我们还可咀通过改变明暗对比度的方法，增强光熙的视觉感受。在式( 431 ) 中，保持“ 的值不变，即不改变亮区的范围，而是调整a 改变光亮区和阴影区的对比度。当n 增加 时，对比度减小：当口减小时，对比度增加。从f 图可以看出随着对比度增加，视觉上 光照增强了。 ( )( b )( c ) 圈41 4 固定“- - 0 9 2 时，设定不同的a 得到不同的对比度 上幽中( a ) ，( b ) ，( c ) 中的陋i ，a 。3 】的值分别为：呻9 6 ，0 9 3 o g g ，f o9 40 8 8o8 9 】 阳8 4 ，07 9 ，o7 6 。圈中的亮部和暗部的区域并没有变化。但是随着的减小，亮部区域日 暗部区域的明暗对比度逐渐增强。 。辞纠j j ( l 一、嗡哟 簿 浙江太学硕士学位论文 4 、非线性增强 我们还可咀对光照图在r ，gb 三个通道分别做非线性变换，获得更丰富的效果 c 删嘏搿翟 若( 。，y ) “ f ：1 2 3 若( z ，y ) x 。 f ( b ) 图41 5 ( d ) 是公式( 4 3 2 ) 的一十示意圈。( b ) 是效果图 其中口= 06 b = 2 - 口= 09 3 与3 不同，通过非线性增强光照图不仅保持原有的层次感，同时对比度也增强了 5 、反向 我们还可以对光照图进行反转表达式如下 嘶加蹬譬 得到的结果是将光源反转后的效果。 “33 ) 图41 6 完全相反的光照情况 我们可以判断出幽左边的光源的八射方向应该是在右上角右边，经过光照的反向衍 浙扛大学硕十学位论文 光源的入射方向变成了左下角 4 4 实验结果与分析 图1 1 ( 对是用嘲的方法即图像抽象得到的效果。在没有将材质和光照分开的情况下， 量化是对整个图像进行的。量化的结果从光照方面看没有明显的意义，而我们采用的方法是 单独改变光照效果。 l 一- 1 ( d )( 时( 0 图41 7 我们的方法与( 8 ) 的效果对比图。 图4 ”本文方法与嘲的效果对比图，其中中( 耐是【8 的效果图t 撬化等级i o ( b ) 是车文在相同量化肄级下的效果圈。( c ) 是本文的量化加非线性增强效果图，其中h = 1 0 口= 0 6 ，b 一2 芦= 09 3 。棚) ( e ) 是量化等级h = 】5 的情况下，嗍的结果和本文的效果 图。( n 是本文的越化加非线性增强效果酗，其中h = 1 5 口= 0 6 ，b = 2 卢= o9 3 。从 ( 砷中可以看到，【8 】的效果看起来比较凌乱。而我们的效果图中两颊部分以及鼻翼的光照与 脸部其他区域的对比强烈，人睑更生动。 越象葭 新大 删十学位论i a )( b )( c ) 图4 1 8 抽) 是输入照片，o ) 是如c a r t o o n 的效果图。0 ) 是本文的光照量化 加非线性增强的结果其中量化等级h # 1 5 ，d = 07 ，b = 14 ，口= o9 。 图41 8 展示了我们算法的效果与t r l s nc a o o t l 1 0 的对比图。( 劬是输入照片，( 坼是t t t s t l g r r t o o r 的效果。( c ) 是本文算法的效果围。从中我们可以看到，女孩脸颊附近明显的光照 并投有表现出来。而在( c ) 图中，由于采用了基于幽像的轮廓提取算法，女孩的脸颊的轮廓 被绘制出来。这是基于人脸特征检测的方法所无法绘制山的。这些轮廓与增强了的光照起 使最终的绘制结果更生动。 h i d c k it o d o 辞 】8 】提出了一种基于三维模型的可编辑局部风格化光照效果的方法。他 h j 选择的原始光照模型是朗伯漫射模型。通过用户在三维模型上标记编辑然后在标记区域 添加一个偏移函数得到新的光照模型，然后重新计算光亮度，再闽值化，最后得到局部光 照改变的效果。这个方法简便地改变了亮部和暗部的区域。 可以看到我们的方法也可以得到类似的效果不同的是，【1 8 】已经给定了三维网格模型， 每个点的法向，坐标都是己知的。而我们的输入是一幅照片。 一 图4 1 9h i d e k it o d o 等人的改变局部光照的效果 一3 7 浙大学硕士学位论文 良 r ( 、 过j l f i i 弋， f 冬 0 之前 j 陋 自圆 图4 2 10 ) 输入照片，( b ) 本文光照量化和增强后的结果 斯江尢学硕士学位论文 o )( b ) 图42 2 抽舶入照片，( b 】本文光照量化和增强后的结果 浙江大学硕士学位论文 第5 章总结与展望 本文提出了一种基于照片的含可调光照效果的人脸非真实感绘制框架。我们首先利用 基于图像的边缘检测方法得到人脸的轮廓，以及脸部的细节，生成卡通图。接着，我们从照 片中提取出光照信息，构建光照图，进而对光照图进行一系列的编辑，把经过编辑后的光照 图加到卡通图上生成了多种具有不同光照效果的人脸n p r 结果。由于对卡通图添加了光照 效果，因此非真实感绘制的人脸更加生动，三维立体感更强。 我们未来的工作集中在： ( 1 ) 如何更为有效的提取图像的光照信息。从图像里提取的光照信息的质量很大程度上 影响着进一步的光照的编辑效果。然而，从单幅图像里提取光照信息至今仍是一个尚未完全 解决的问题。 ( 2 ) 更多的光照编辑操作，以便获得更为丰富、生动的效果。 ( 3 ) 因为我们已经分离出光照和材质，那么可以在材质图上作人脸检测，使得检测结果 更准确。 一4 0 一 浙江大学硕士学位论文 参考文献 【1 】a l a n i t i s ，c j t a y l o r ，a n dt f c o o t e s a u t o m a t i ct r a c k i n g ，c o d i n ga n dr e c o n s t r u c t i o no f h u m a nf a c e s ，u s i n gf l e x i b l ea p p e a r a n c em o d e l s ，i e e ee l e c t r o n l e t - t , 3 0 ：15 7 8 - - - 15 7 9 ，19 9 4 【2 】t f c o o t e s ，g j e d w a r d s ，a n dc j t a y l o r ，a c t i v ea p p e a r a n c em o d e l s ，i np r o c 5 t h e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ，p p 4 8 4 4 9 8 ，19 9 8 【3 h c h e n ，n z h e n g ，l l i a n g ，y l i ，y x u , a n dh s h u m e x a m p l e b a s e df a c i a ls k e t c h g e n e r a t i o nw i t hn o n p a r a m e t r i cs a m p l i n g i np r o c i c c v , 2 0 0 1 【4 】h c h e n , z l i u ，c r o s e ，y x u ，h y s h u m e x a m p l e - b a s e dc o m p o s i t es k e t c h i n go fh u m a n p o r t r a i t s i np r o c t h et h i r di n t e r n a t i o n a ls y m p o s i u mo nn o n - p h o t o r e a l i s t i ca n i m a t i o na n d r e n d e r i n g , p p ：9 5 10 2 ，2 0 0 4 【5 】l l i a n g ，h c h e n ，y q x u , a n dh y s h u m e x a m p l e - b a s e dc a r i c a t u