（信号与信息处理专业论文）基于图像变形的人体动画和人脸夸张.pdf

中文摘要 摘要：随着信息时代的发展，大范围的多媒体交互越来越引起人们广泛的关注， 图像处理技术作为多媒体技术中的关键部分也成为了这几年备受关注的热点研究 方向。图像处理涉及的研究领域非常广泛，图像变形就是图像处理中的一个重要 的研究分支。本文主要是通过研究研究现今图像变形领域的f f d 、m l s 、l a p l a c i a n 坐标变换等多种算法，从中找到适合我们用于人体和人脸的实时变形技术，并在 此基础上对我们选择的合适的图像变形算法( m l s ) 进行改进，提高其算法效果。 之后结合其他算法，将图像变形算法应用于人体和人脸两方面，产生特定的处理 效果和利用价值。 具体的研究成果如下： 1 、实现二维卡通人体图片的变形，生成动画效果。文本从两方面对图片变 形算法进行了改进，通过改变其权值，大幅度减小了图片变形中的失真问题；同 时，改变其算法中的控制点影响范围，提高其运算速度，达到实时的要求。这样 以来，可以使图像变形算法有效的运用在二维卡通图像人体的变形中，实现二维 卡通人体图片实时连续的变形，达到形成连续动画效果的要求，自动生成动画。 该结果可以将一幅图片生成多幅人体动作变形图片序列，然后整合成一个动画序 列，该过程完全自动化，可以为现今仍使用手绘关键帧的卡通制作产业提供一定 的帮助和启发。 2 、实现人脸面部特征的夸张。本文通过运用图像变形技术和人脸特征检测、 稳定区域检测等技术相结合，将其成功应用于人脸的夸张变形上，实现了对人脸 的面部特征的特定方式变形，即实现面部的非失真夸张效果。本文主旨是为了实 现图像变形在人脸夸张方面的实际应用可能性和效果的研究，因而只处理了人脸 变长、下巴变宽和变尖等几种简单的夸张效果。对于现今市场上摄影行业的蓬勃 发展，基本所有摄影照片的后期处理都依靠p h o t os h o p ，而本文的提供了一种更加 自动快捷的新的对人脸面部的处理技术处理。并且避免了原来图像夸张处理过程 中过于繁琐和过多的人机交互的问题，使整个过程简单快捷。 关键词：移动最小二乘图像变形a s mm s e r 分类号：t p 3 9 1 7 a b s t r a c t a b s t r a c t ：a st h ed e v e l o p m e n to ft h ei n f o r m a t i o ns o c i e t y , t h ew i d e l yu s e o f m u l t i m e d i ac o m p u t e rt e c h n o l o g ya r ep a i dm o r ea n dm o r ea t t e n t i o nb yp e o p l e i m a g e p r o c e s s i n gw h i c h i so n eo ft h em o s ts i g n i f i c a n tt e c h n o l o g i e so fm u l t i m e d i ab e c o m e sa h o tr e s e a r c hf i e l di nt h e s ey e a r s m e a n w h i l e ，i m a g ep r o c e s s i n gr e l a t e st om a n yk i n d so f t e c h n o l o g ya n dh a sm a n ys u b d i r e c t i o n s i m a g ed e f o r m a t i o ni s a ni m p o r t a n ts u b f i e l d o u rt h e s i si st or e s e a r c ha n di m p r o v et h ec l a s s i c a li m a g ed e f o r m a t i o na l g o r i t h mf o ra b e t t e rr e a l i s t i ca n dr e a l - t i m er e s u l t a n dc o m b i n i n g 、订mo t h e rt e c h n o l o g i e si ni m a g e p r o c e s s i n g ，w ea p p l yt h ea l g o r i t h mo no u r l i v e sa n de v e ni n d u s t r y t h ed e t a i l sa r el i s t e d b e l o w ： 1 a c h i e v i n gt h ed e f o r m a t i o no f2 dh u m a nb o d yi m a g ea n dg e t t i n g a n a n i m a t i o nr e s u l t o u rt h e s i si m p r o v e st h ei m a g ed e f o r m a t i o na l g o r i t h mi nt w ow a y s o n ei st ou s e av a r i a b l ew e i g h tf u n c t i o n ，i n s t e a do fac o n s t a n tw e i g h t ，w h i c hc a na v o i d t h ed i s t o r t i o ni o nt h ec o u r s eo fd e f o r m a t i o n t h eo t h e ri st oc h a n g et h ei n f l u e n c ea r e ao f t h ec o n t r o lp o i n t si nt h ed e f o r m a t i o na n di n c r e a s et h es p e e do fc a l c u l a t i o nt h a tk e e pt h e d e f o r m a t i o nr e a l t i m e t h i si m p r o v e m e n tw o u l dg i v es o m ea d v i c ef o rt o d a y sc a r t o o n i n d u s t r yw h i c hs t i l lu s e t h eh a n d p a i n t e dk e yf r a m e s 2 a c h i e v i n gt h e f a c ee x a g g e r a t i o n o u rt h e s i sc o m b i n e st h ei m a g e d e f o r m a t i o na l g o r i t h m sw i t hf a c ef e a t u r ed e t e c t i o na n dm a x i m a l l ys t a b l ee x t r e m a l r e g i o n s u s i n gt h e s ea l g o r i t h m s ，w ec a n d e t e c ta n dd e f o r mt h ef e a t u r ei nh u m a nf a c e a n dg i v et h e ma ne x a g g e r a t i o ne f f e c to rab e t t e rl o o k t o d a y , m o r ea n dm o r ep e o p l e d e v o t et op h o t o g r a p h i ci n d u s t r y , a n dw h a tt h e yu s e df o rt h e i rp h o t op r o c e s s i n gi sp h o t o s h o p b u tw eo f f e rt h e m am o r ea u t o m a t i ca n de a s i e rw a yt op r o c e s st h e i rf a c e i m a g e 。 k e y w o r d s ：m l s i m a g ed e f t j i r m a t i o na s m m s e r c l a s s n o ：t p 3 9 1 7 致谢 本论文的工作是在我的导师张树军老师的悉心指导下完成的，张树军老师严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 张树军老师对我的关心和指导。 张树军老师悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向张树军老师表示衷心的谢意。 苗振江教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，王一、申伟等同学对我论文中的图像处理研 究工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢我的家人，他们的理解和支持使我能够在学校专心完成我的学业。 j 匕立銮适太堂亟 堂鱼途窒 绪论 1 绪论 1 1引言 随着信息时代的到来，多媒体技术不断发展。而作为多媒体的一个重要组成 部分，图像在人们的日常生活中的应用也越来越广泛，人们对于图像处理的需求 也愈发强烈。图像处理就是对图像信息进行加工处理，以满足人的视觉心理和实 际应用的要求。人类获取外界信息有视觉、听觉、触觉、嗅觉、味觉等多种方法， 但绝大部分( 约8 0 ) 是来自视觉所接受的图像信息，即所谓“百闻不如见”。 因此，图像处理技术的广泛研究和应用是必然的趋势。同时，图像处理技术在许 多应用领域受到广泛重视并取得了重大的开拓型成就；使图像处理成为一门引人 注目、前景远大的新学科。 从2 0 世纪7 0 年代中期开始，随着计算机技术和人工智能、思维科学研究的 迅速发展，图像处理向更高、更深层次发展。很多国家，特别是发达国家投入更 多的人力、物力研究计算机视觉( 图像理解) 领域，取得了不少重要的研究成果。 图像变形是图像处理中的一个重要分支，在这个过程中也得到了飞速的发展。 图像变形的应用领域十分广泛，下面仅就几个方面的应用举例说明： 1 、动漫产业方面的应用。 现今的二维卡通动画产业基本还是基于传统的动画产业之上而来，分镜图和 场景构图的绘画、着色上色，仍是其主要的环节。而其制作工艺也依赖于美工人 员的大工作量的手工劳动。图像变形技术的发展有望带来卡通制作的革命性发展， 通过关键帧的绘制和图像变形的结合，取代传统大规模的手工绘画，大幅度的减 少了美工人员的工作量，同时加快了卡通动画的制作周期。 2 、生物医学工程方面的应用。 在医学成像中，c t 和m r i 的扫描片可以在同一固定分辨率的水平线上取得。 中间的衍变过程可以通过传统的线性插值函数计算得到，但是这种传统方法忽略 了成像的组织的基本构造。因而，可以通过扫描连续对之间的特征对应关系，运 用图像变形技术生成中间图像，来满足相应的几何对应关系。现今的大部分特征 选择还都是人工完成，而且图像变形技术的发展和完善将带动生物医学相关领域 的发展。同时，基于人工生命的医学图像形状建模与变形研究也是现在比较重要 的一个研究方向。 3 、影视工业方面的应用。 中国影视产业可以算是处在一个初级阶段，可以说相关处理技术的发展缓慢 算是造成此现状的一个重要原因。国外影视产业的发展充分说明数字化已经并将 继续对影视工业产生深远重大的影响：包括前期、后期、发行、从业人员全方位 的影响，d v 时代将逐步推动真正的数字电影时代的到来。而数字图像的处理技术 可以算是其中一个关键环节。需要影视作品的特效处理及后期制作处理都需要大 量的图像变形技术的支持。虽说二维的图像处理一般不会直接应用到影视作品的 处理上，但其核心算法和技术记载三位特效上的推广将是影视处理的主要攻坚力 量。 4 、通信工程方面的应用。 当前通信的主要发展方向是声音、文字、图像和数据结合的多媒体通信，具 体地将是将电话、电视和计算机以三网合1 的方式在数字通信网上传输。其中以 图像通信最为复杂和困难，因图像的数据量十分巨大，如传送彩色电视信号的速 率达l o o m b i t s 以上。图像变形可以将大数据量的图像传输转化为相应的运动数据 传输，节省带宽的占用率，并大幅度减少传输数据量。例如提取传输图像序列中 关键帧的变化参数，在接收端根据变化控制参数来对原始图像进行变形，形成图 像连续的序列帧。 5 、文化艺术方面的应用。 随着现今摄影技术和互联网技术的发展，人们对于各种各样的图片、视频等 数字图像产品的客观要求和标准也越来越高。如电子游戏图像、纺织工艺品设计、 服装设计与制作、发行设计、文物资料、普通照片的美化和修复等等，现在已逐 渐形成了一门新的艺术计算机美术。而图像变形技术这是这领域的主要算法 之一。通过图像变形可以美化人脸照片( 比如让人脸变瘦变尖，眼睛变大) 、进行 发型预测或者生成模拟的服装预览图等。 1 2 研究现状和存在问题 图像变形有着广泛的应用空间，因而很多相关的算法在最近几年也得到了较 多的关注。从最初的对控制变形的操作因子划分，可以分为基于点控制的图片变 形 1 8 1 9 2 0 】、基于线段控制的图片变形 1 6 1 7 】、基于网格控制的图片变形 1 2 1 3 1 4 1 5 】。随着人们在这三种控制因子的研究的不断深入，更多相互问的融 合使用被提出并得以推广。 图像变形比较经典的方法要数自由形式变形( f f d ) 1 】 2 】 3 】，它主要依靠网 格技术，通过在图像上建立网格，利用网格的缩放变形来控制图像的变形。计算 2 速度快，但这种方法需要与现在图像中嵌入网格，而这个网格需要大量的人工手 动操作，越是好的效果，手动标定网格过程越复杂。并且不同的图片需要不同的 网格，因而其适用性有着很大的局限性。 但是鉴于其优良的变形效果，很多图像变形算法都是在此基础上改进得到的。 另一种网格技术是利用s h e p a r d 插值法 4 建立光滑变形，这种方法脱离了网格的 限制，但是需要用一系列的线段来规定变形，虽说减少了很大的手动工作量，但 其效果与f f d 相比存在着一定的差距。 i g a r a s h i 为了克服这个问题，提出了用点来代替网格的思想 5 。为了保持效果， 通过利用刚性变换来限制图像的变形。在此基础上，产生了两种比较不错并受到 广泛认可的算法：基于非线性最小二乘优化法【6 】和移动最d , z - 乘法【7 。前者可以 提供比较不错的结果，并且避免了大工作量的手动过程。但是，由于该算法需要 大量的预处理的计算过程，因而计算速度非常慢，无法满足实时的运算效果。而 其运算量是无法优化的，如果贸然缩短预处理过程将会直接影响之后的变形效果。 它不像f f d ，它是首先得到图像轮廓，在图像中利用m a r c h i n g 方差法插入一系列 的控制点到图像内部区域中，来引导变形。相对而言，移动最小二乘法不存在以 上的问题，它利用控制点来控制变形，因此，简单的手动操作即可完成变形的定 义工作。但是，它也有自己的问题，它的速度虽说比非线性最小二乘优化法快， 但仍无法满足实施的效果，这里本文根据其变形运算速度和运算点成正比的关系， 通过减小需要运算的像素点数量来加快运算速度，最终达到实时的目的。另一方 面，过分的拉伸会导致变形的失真，本文发现造成这一原因的主要因素是因为由 于过度的拉伸会使像素点脱离控制点的范围，基于此问题，本文利用可变的正态 分布权值函数代替原来的静态权值函数，使得控制点的影响范围可以随着变形的 要求而不断变化，消除过度拉伸造成的失真问题。 1 3主要工作 本文主要是通过研究研究现今图像变形领域的f f d 、m l s 、l a p l a c i a n 坐标变 换等多种算法，从中找到适合我们用于人体和人脸的实时变形技术，并在此基础 上对我们选择的合适的图像变形算法( m l s ) 进行改进，提高其算法效果。之后 结合其他算法，将图像变形算法应用于人体和人脸两方面，产生特定的处理效果 和利用价值。 首先，将其应用于人体的图片变形上去，实现快速的人体变形，以卡通人物 模型为例，实现动画效果。该结果可以将一幅图片生成多幅人体动作变形图片序 列，然后整合成一个动画序列，该过程完全自动化，可以为现今仍使用手绘关键 帧的卡通制作产业提供一定的帮助和启发。 其次，通过图像变形算法与人脸特征提取和稳定极值区域检测算法的结合， 将其成功应用于人脸的夸张变形上。本文主旨是为了实现图像变形在人脸夸张方 面的实际应用可能性和效果的研究，因而只处理了人脸变长、下巴变宽和变尖等 几种简单的夸张效果。但可以看出，效果还是比较理想的，对于现在大多图片处 理依赖于p h o t os h o p ，该应用可以说为大家提供了一个新的方法和选择。并且避免 了原来图像美化夸张处理过程中过于繁琐和过多的人机交互的问题，是整个过程 简单快捷。 1 4内容安排 文章大体分为4 个部分：绪论( 第一章) 、算法介绍( 第二四章) 、应用成果 ( 第五、六章) 、总结( 第七章) 。 第一章主要介绍论文的研究背景、意义和主要工作。 第二章主要介绍移动最小二乘法，以及对其算法的两方面改进，包括可变的 正态分布权值函数的应用和实时性运算时间的优化。该算法为我们研究的主要算 法，并在后面的应用中起到主要作用。 第三章主要是介绍基于统计信息的主动形状模型，即a s m 算法，主要利用人 脸的特征检测出人脸6 8 个特征点的位置。 第四章主要介绍最大稳定极值区域算法，即m s e r 算法。该算法主要是寻找 图像中的极值区域，并通过比较找到最稳定的极值区域。我们将其运用在人脸图 像上，其搜索结果一般为人脸的稳定特征区域( 一般为鼻子、眼睛、嘴巴等) 。 第五章主要介绍移动最小二乘法在人体图像变形上的应用，并利用其实时的 优势，对图像进行处理，形成人体运动序列，以卡通人物模型为例，实现动画效 果。 第六章主要利用a s m 算法及最大稳定极值区域算法相结合，通过对人脸特征 的检测、控制，得到人脸变形的约束条件。之后，将移动最小二乘法应用在人脸 变形上，并用约束条件控制变形效果，得到我们需要的变形或夸张效果。 第七章主要介绍论文中采用的算法的不足及下一步的可能的发展方向。 4 2 改进的移动最, j x - - 乘算法 2 1传统移动最小二乘法 首先，我们假设同样以用户操作控制点的方式实现图片变形。我们分别设定 两个点集p 和q ，p 代表原始图片中的控制点位置的集合，g 代表变形后的图片中 控制点位置的集合。 我们建立一个函数厂，使得通过该函数可以得到图片中任何一个点经过变形 后的位置。同时为了是变形最优化，我们引入最小二乘的概念，通过p 和g 两组控 制点控制变形效果，使下式在全局上取得最小值，从而求得厂。 i l ( b ) 一q i l 2 ( 2 - 1 ) 其中，b 和g f 分别为行向量，w g 为权值常量。 w = 1 l i p , 一v r ( 2 2 ) 从公式( 2 2 ) 可以看出，权值函数只与运算的像素点和控制点的距离有关，因 此我们称之为移动最小二乘法。我们可以通过不同的变换关系l a x ) 作用于象素点v 得到不同的变换结果。 我们所定义的变换关系己( 力其实就是在实际变换中的变换法则，因而l ( 功即 可以作为厂的表达函数，即f ( v ) = l ) 。可以发现，当v 无限趋迸于b 时，w 无限 大，若此时我们假设p j = q i ，即变换后控制点的坐标位置不变，那么我们可以看到 使公式( 2 1 ) 取最小值的唯一方法便：f f 三f ( v ) = v 。从中也可以看出变形函数厂在除了 防以外所有区间为连续收敛的。 同时，作为一个仿射变换的表达函数，l ( x ) 必须包含两部分组成：线形变换 矩阵m 和平移转换矩阵r 。 l a x ) = x m + 丁 ( 2 - 3 ) 现在，我们要做的是从公式( 2 3 ) 中除去未知量丁。首先把公式( 2 3 ) 代入公式 ( 2 1 ) 中，为取得最小值，我们对公式( 2 1 ) 求导等零，可以得到丁的表达形式： t = 吼一p m ( 2 - 4 ) 其中，p ；g l 吼分别为控制点加权后的重心 a = ( m b ) ( ) g = ( 嵋吼) ( ) f f 之后，将公式( 2 4 ) 代入公式( 2 2 ) 中，得到乙( 功的更新后的表达形式： 厶( 功= ( x - - a ) m + 吼 ( 2 5 ) j 竖塞童遒厶堂亟堂位途塞邀进的整麴量型! 兰丞簋洼 通过公式( 2 5 ) ，我们可以进一步更新公式( 2 1 ) ，因而最小二乘的问题转化为 求下式最小值。 w j e m 一苏1 2 ( 2 - 6 ) 其中，b = p ，一以和q 。= q 。q 。 黄翁一影 图1 。 经典移动最小二乘算法的实验结果：( a ) 原图( b ) 仿射变换( c 相似变换( d ) 刚性变换 从变换函数l v ( x ) 我们可以看到，移动最小二乘法对于线形变化矩阵m 得要求 是非常宽泛的，对于不同的变形要求我们可以设定不同的线性变换矩阵m 。在这 里，为了介绍我们所选取的刚性变换矩阵m 的由来，我们首先介绍下般的仿射 变换矩阵和相似变换矩阵。 2 1 1仿射变换 为了使公式( 2 6 ) 达到最小值，我们定义变换矩阵m 如下： m ：f 云t w 云1 z w , p j r 芴 q 一) fj 虽然这里需要求矩阵的转置，但对于m 来说，它是一个2 - * 2 的矩阵吗，因为 求其转置k l l 又, j 容易，不会引入新的计算量。将公式( 2 7 ) 带入到公式( 2 5 ) r 1 ，我们 呵以求的变形函数五( v ) 正( v ) ：( v 一从) f 五tw j 五1 w j 荔r 芴+ 吼 2 培 i j 将原图像中的所有点用公式( 2 8 ) 遍历一遍，得到的新的坐标集就是变形后的 像素点所在位置。 对于副新的图片来说，用，- 需要首先选好原图片中的控制点位置。当用户 设定好控制点集p 之后，图片的变形只与用户设定的变形点集q 有关，而在变形过 程中p 将不会发生改变，因此我们可以将公式( 2 8 ) 简化如卜： 丘( v ) = a j q ，+ g + ( 2 - 9 ) 其中彳。为固定的变形系数 ， 、一l 4 = ( v a ) l 屈r 嵋屈i 厚r i 图1 ( b ) 显示了放射变换后的结果，可以看出变形的效果并不理想，在胳膊和头 处发生了明显的拉伸和压缩现象。这是由于在变形过程中变形函数并未有统一的 变形尺度的限制。所以我们需要加入新的限制条件来控制变形函数l a x ) ，这里我 们主要是通过更新变换矩阵m 来限制变形函数l a x ) 。 2 1 2相似变换 通过观察仿射变形的效果图我们可以看出，主要问题产生于无法控制变形的 尺度和角度问题，简单的仿射变换无法满足此条件，因而我们引入了相似变换。 相似变换是一种特殊的仿射变换，它只包括对于矩阵的旋转，平移和缩放。 为了将相似变换的思想加入到我们的变换矩阵m 当中，我们需要对变换矩阵 m 做一定的限制，在这里我们设定变换矩阵m 满足m ，m = 五2 i ，其中a 为变形的 尺度系数。如果矩阵m 为方阵，那么矩阵m 可以表示为 m = ( a t , 坞) 在这里，a t , 和鸩均为长度为2 的列向量。 于是由于矩阵m 满足相似变换的条件，我们可以得至：1 m 1 t m 。= m 2 t m 2 = 旯2 及 m r 鸠= 0 。我们设定符号j _ ，用来表示( x ，少) 上= ( 一少，x ) ，则可以看出鸠= m 上。 将公式( 2 6 ) j 乇jm 来表示，得到所需要求的最小值公式为 莩幅卜1 2 。， 则求公式( 2 1 0 ) 的最小值，可得到最优解m 的表达形式为 肚去军心( 扎芦) 其中心= w f 五云2 。 同样，和仿射变换一样，我们假定输入的原始图片中设定的控制点p 不变， 可以将变形函数公式简化为 丘( v ) = 荔( 4 以) + 吼 其中从和4 至于控制点集露有关， 细酗揣上) r 相似变换的结果如图1 ( c ) 所示，可以看出相似变换很好的保持了原始图像变形 时变形角度和统一的变形尺度，结果看起来也比仿射变换的结果要更为真实。但 是，其中仍然存在问题，图中右胳膊可以看到明显的拉伸，这是由于为了满足变 形时角度不变的特性而牺牲了尺度不变形的原因，因而为了弥补这方面的不足， 我们采用刚性变换来代替相似变换，以达的目标。 2 1 3刚性变换 目前为止，在图片变形方面，为了保持图片的真实性，人们尝试了很多方法， 其中a l e x a 提出的刚性变换的方法 1 0 】得到了比较广泛的认可，他提出不应该一味 的去追求保持图像各部分统一的变形尺度。因为在很大程度上，产生图片变形是 真的一个原因就是因为为了保持图像统一的变换角度而去刻意的满足变形矩阵的 限制条件m r m = i 而忽视其他条件所造成的。h o r n 3 5 在这个问题上将统一的尺 度概念引入到了协方差矩阵的特征值和特征向量上，通过保持协方差矩阵特征值 的统一缩放尺度来代替传统的追求统一的原图像大小的缩放尺度。我们这里将这 个思想引入到我们的变换矩阵中来，通过用刚性矩阵来代替相思矩阵，从而得到 更好的变形效果。 首先，这里我们要引入定理2 1 。 定理2 1 ：假设存在矩阵c 使得下面的相似函数取得晟小值 i 、1 2 m 鸦2 1 y w , p l m - g f l 如果矩阵c 可以写成2 r 的形式，r 为旋转矩阵，见为缩放系数。那么旋转矩 阵r 可以使下面的刚性函数取得最小值。 l 。 一1 2 凛，w , p l m q l l 这个定理对于任意维数空间都是有意义的，但是这里我们只是将其用于二维 空间。利用这个定理，我们可以发现刚性变换的矩阵m 和相似变换时的矩阵m 是 一样的，只是值得注意的是，为了保证矩阵满足m r m = i 的条件，我们需要对常 数。进行改写，这里我们用肛表示。 从2 之后，同相似变换一样，我们得到 万( v ) = 私 i 8 i e 塞童适厶堂亟堂位途塞邀进的整动量型! 三丞簋这 其中4 = w 一萎上 ( 一二：) 上 7 1l 只八、n ， 可以看出向量万( v ) 是由向量v 一从旋转缩放所得到的。为了计算，( v ) 的大小， 我们将向量万( v ) 进行归一化，然后乘以向量v 一只的大小，这样在保证尺度的同 时完成矩阵的刚性旋转，之后我们加上吼，完成矩阵的平移工作。变形函数改写 为下式所示。 斛i 唧i 揣圯 ( 2 1 1 ) 图l ( d ) 即为刚性变换后的变形结果，我们可以看出效果要比仿射变换和相似变 换要好得多，这便要归功于旋转矩阵的旋转时的尺度不变形。 2 2改进移动最, j 、- - 乘法 2 2 1可变的正态分布权值函数 图2 。经典移动最小二乘法的缺陷：( a 原图( b 】好的变形效果( c 】腿部变形失真( d ) 肩部变 形失真 在图片变形过程中，移动最小二乘法可以得到很好的效果，如图2 ( a ) ，但是移 动最小二乘法还是存在着一定的局限性。在算法中，变形函数中的权值对变形的 效果有很大的影响，而对一副图片来说，如果我们要产生不同的变形效果，同样 的权值往往很难得到非常满意的效果，所以我们需要尽可能的使用不同的权值去 满足不同的变形效果。在传统的移动最小二乘算法中，假设我们设定原始图片的 输入控制点集一定，那么对点v 来说，它的权值函数也是一定的。 9 1 w 2 r 可 l b v l 其中口为一常数，通常设为1 。 对某一特定的图片某一特定变形来说，如果我们设定好初始点集，然后通过 变形函数进行计算，可能会得到比较好的效果，如图2 ( b ) 。但是如果不改变初始点 集而将其作用于另一变形可能得到的结果就非常的不理想，可能会产生不必要的 扭曲和失真，如图2 ( c ) ( d ) 。这就是因为在变形过程中，我们没法改变初始点集， 同时也未改变权值函数，这样就好像用同一套规则去约束两个不同的方案，因而 效果往往是不理想的。传统移动最小二乘法【7 】中并未设定一个合适的权值函数， 所以我们在这方面对算法进行了一定的改进。 实际上，权值函数是用来反映控制点到变形像素点的距离对其产生的影响关 系的。当用户用不同的控制点集来控制图像变形时，我们也应该使用不同的权值 函数来约束这种影响关系。所以我4 1 j 弓l 入了一个可变的正态分布的权值函数： ，、 1 一9 - 丁u ) - (212)2 厂f z l = 一p a 2 卜 。4 2 刀o - 在这里，盯即为可变因子，不同的控制点集产生不同的盯值，用来反映控制 点和像素间不同的距离和影响关系。 图片变形主要来源于控制点集，同时权值函数也是用来反映控制点集的相关 信息的。首先，我们知道每个控制点都一定的影响范围，而影响范围的大小是有 控制点中发生位置改变的那些点来决定的。在这里，我们定义控制点中那些发生 位置改变的点为强控制点( c p ) ，那些没发生位置变化的点为弱控制点( n c p ) 。 c t 郅ep 1 3 图3 。一维的线性点地控制范围模拟图：c p 为强控制点，n c p 微弱 控制点，红线为控制范围。 从图3 中我们可以看出强控制点和弱控制点之间的关系。在我们定义一个控 制点的控制范围时，显而易见，a 在c p 的控制范围内，而b 则在c p 的控制范围 外。从这个一维的图中我们就可以假定c p 的控制范围就是从c p 到n c p 的距离。 上面的例子是对一个一维的线性点的控制范围而言。而在2 维的图像空间中， 控制点的影响范围将是一个以控制点为中心的区域。由于各个方向上受到的影响 不同，这个区域的形状无法准确的表达，我们这里近似的用一个圆来表示，如图4 所示。 1 0 = e 塞窒适盔堂亟堂位途塞 邀鲎随蔓动量型! 三丞簋鎏 图4 。 强控制点c p i 控制半径r 【i 】和强弱控制点i 刨的距离d j _ l 控制范围圆的半径为厂 f 暂时未知，但是我们可以通过计算所有强控制点到弱 控制点f 目j 的距离d 来近似表示厂【妇。这里，我们通过求得所有强控制点到弱控制 点的距离的均值，来表示控制点的控制半径的平均值厂( f ) d 】 r ( i ) = 孕( d 阴) = 对每个控制点在一个方向上，它的影响效果也不是线性的，为了表达控制 点对于控制范围内较近的点有很强的作用效果，我们用f 态分析j 函数来近似这种 关系，因而权值函数可以改写为 f1 生 w ( j ) ： 高矿矿蛏1 ( 2 - 1 3 ) lo s 1 其中，s 为独立的比例系数，s = l p ，一1 ，l ，；厂是控制点的平均影响距离。 下一步我们要做的就是解决到底控制点对于离它多近的点会产生多大的影响， 即得到这个正态分布中方差盯的具体表达形式。 首先，我们假设控制点集中共有r 个强控制点，那么所有弱控制点到该强控 制点c p i 的距离集合组成了集合研水扛l 仅p ) ，对一个变形来说，共有，个这 样的集合。我们对每个集合x i 求方差，得到方差盯 刀。 o - i = d ( d 卸 e 立变通太堂亟堂位途塞邀进丝整塾量型! 三丞簋洼 但是这里我们并不是用d j d i 为x i 的样本，而是用s ，】= 马婴作为样本值。 讲刀：研s 如：d 【掣 ( = l 门m p ) o 。 ，l 7 j 得到的这个方差仃 f 】就是c p i 这个强控制点的正态分布函数的方差值。但是 对于一幅图片来说，总共有聊，个控制点，每个控制点都有一个距离集合x i 。因 而，我们如果要求所有控制点的距离影响方差的话，我们应该将所有的距离样本 值放到一个集合中去，求该集合的方差仃。 咿2 【鬻 泸1 h 一r c p = 亭( ( z ) ) = 如( m 】) ) ( b )( c ) 图5 。改进移动r , j , - - 乘法和原算法对比结果： a 原算法腿部失真( b 改进后算法( c 原算法 肩部失真【d 改进后结果 用f 态分布代替原来的静态权值函数之后，变形的通用性和对不同图片不同 变形的通用性提高了很多，效果上也好了很多，如图5 所示。 2 2 2实时性运算时间优化 移动最小二乘在运算时，将变形函数应用到了每一个像素点中去。因此我们 也从这方面入手，通过减少运算点的个数，来提高运算效率。s c h a e f e r 在这方面做 了一定的尝试，他通过f f d 2 】的启示，将图片网格化，分成统一的小矩形。然后 将变形算法应用到矩阵的端点上去。对一张5 0 0 * 5 0 0 的图片来说，他将图片分成 1 0 0 0 0 个5 * 5 的小矩形。因而运算效率也提高了2 5 倍，但是效采上却有一定的损 失，不过在可容忍范围内。但就算如此，还是要运行1 0 0 0 0 次变形函数公式，这 ；e 塞銮迪叁堂亟堂位途塞邀进的整蛰量型! 三丞簋选 个计算量也是不小的。我们的改进正是基于此。 ( a )( b ) 图6 。 绿色区域为图像变形区域： a ) 为原图片( b ) 变形后的图片 如上面所讲，图片变形的运算时间是和参与运算的像素点的数量成线性关系 的。但是对于一张图片来说，在进行某些变形时，并不是所有点都发生了位置改 变，其中很大部分的点在变形前后位置并没发生变化，如图6 所示。因此，本文 的想法就是对于哪些位置没有发生变化的点，我们不对其进行变形函数的运算， 而仅对那些发生位置变化的点进行变形运算。 这里我们要做的就是如何确定某像素点在图片变形中是某发生了位置变化， 换句话说就是这个点是否在控制点的控制范围内，如果该点并不在任何控制点的 控制范围内，那么显然根据公式( 2 1 3 ) ，这个点受到控制点的影响为0 ，其位置是 不会发生变化的。 圃 图7 。强控制点c p 对其影响区域内的点b 和影响区域上的点a 的控制情况。 对于已知的图片和变形，它的控制点集和正态权值函数都是固定的。凶而强 控制点只会对于控制区间内的点造成影响，如图7 所示。 对于像素点b 来说，c p 对它造成的影响可以说已经很弱了。对于像素a ，c p e 宝窒适_ 人堂亟堂位途塞邀遂的整塑量丛! 三丞簋迭 基本上没造成什么影响。这里，为了更好的度量控制点对其控制区间周围像素点 的映像与它们距离之间的关系，我们引入置信区问的概念。通过置信区间来定义 一个合适的计算区域，表达这种影响关系。需要注意的是，这个计算区域是小于 等于影响范围的那个圆的。 华n ( o ，1 ) 其中i 表示计算区域的中心到影响范围区域中心的距离，而在这里，显而易 见为0 。s 眦为计算区域的半径。假设，变形的精确度为1 - a ，则我们通过下式可 以得到s 一的置信区问 尸j ，且e r c e q 扣 焘 u 仕墨) 是+ 。的一个极值区域。 ( 3 ) + ，的所有极值区域不属于( 1 ) 就属于( 2 ) 。 证明：定义心为集合s ( 琏) = 扛a ，：“功，( 吃) ) 的最大连通区域。如果 k k ，那么，( 稚) ，( 薯+ 。) ，s ( r k ) = s + 。( r ) ，并rr 置也是墨+ 。( r k ) 的最大连通区 域。如果k k ，那么s t + 。( r k ) =