基于三维模型与Gabor小波的人脸特征点跟踪方法

1、dcs：: io.1qcbqz3k .2311.01 oc5基于二维模型与gdocr"小波的人脸特征点跟踪方法战江涛刘强3,柴春雷1浙江大学计算机科学与技术学院.浙江杭州31gce7:2.浙江机屯职业技术学院设计艺术系.浙江杭州31qdeb; 3.濟华大学美木学院，北京xbcbo摘要：为了实现人脸特征点跟踪系统的钤棒性和精确性，使用光束平差法校型将莊于三维人脸儿何校型的跟踪 方法与基于小波的特征点跟踪方法结合起來.提出基于三维模型与小波的人脸特征点跟踪方法.这 方法使用基于、波的特征跟嫁方法来得到毎帧的初始特征点，使用基于三维人脸几何模型的整合优化跟嫁 方法來得到每帧的圾终特征点.与

2、3类典型人脸特征点跟踪方法的对比实验结泶表明，该方法克服了以往方法薄 于二维阁像信息來寻找特征点的局限性，可以实现魯棒的、实吋的、人允度的人脸特征点跟踪.关键词：人脸特征小波三维跟踪；光朿平差法文献标志碣：a文章编吁:xubxsk toil«>c«<37rnoohanclzhanjteo 2, lbj gfa，chatchurrk1令.cfcjpofchjtizjjter-sdbrcand te±rdz<» 及与ha*gpbdu31qce7, owna 2.czjartmartizjf /rt»modna'fcsl a

3、nd elslrialhaghou 310083, chwnb j3. aazferr/of/rteand» ajr toocb，china)a3dtrsdt 二 a new tkfci <hdbjrpzmsrtesckisdrorne wee prcfocsadmdfrod aee 1qdfrnpcidts. ttneadrrreouoterneltcfesduqrlcfvavocfrnanazr irtlsrflresazrrpad vatvlbrabcltiafirf mdfrccfe. tlnesdnsriegan becaad'er* icfaudb retb

4、neancl vfeoqfe-fedlblreftraci. kwztcfe:; q±er-vvevfet:tbrasc对视频序列中的人脸特征点进行实吋的im动化 跟踪足计算机视觉研究中一个基础且具科挑战性的 问题.学者们针对该h题提出了很多方法，这些方过 在总体上可以分为2类：自顶句下的方法和自底向 上的方法n 1 .自顶句下的方法基于人脸全部器官ft 像的特征，典型的fl godes等u提出的主动表观模型么八1/1)、1等6提出的直接表观模型<bam).收榀日期：2dtoce<b.浙江大学学报(i:学版网址基金项hl :国家自然科学基金资助项目feconi)沖央萵校基

5、本科研业务费专项资金资助项目to0qna)i4) 你存簡介：战江涛1977 乂男，山东艰州人，时士生，从银人机工程研究.e-m : acfct-brft1163. ocm1 994-20m蓿联原加:激洛慮ml傲)激教拔alen :曲notrf12b.<3=w()us自底向上的方法首先对人脸各个局部器官进行跟 踪，然c结合器宫之间的位置关系对跟踪结果作进 一步优化，典型的有金城等m提出的n底向上的人 脸特征定位方法,=»等&3提出的基于cci-小汲 网络的人脸特征跟踪方法.以往的各类人脸特征跟踪方法0 d只使用二维 的人脸阁像信息，比如主动形状模型j使用 二维人脸全局形状

6、信息和特征点局部纹理信息； aam模型u使用二维人脸的全局形状信息和纹理 信息迦丁 小波的各类方法均利川人脸 特征点周围的纹理信息.实际上，除了眼睛和嘴巴附 近，人脸上各个特征点的运动近似等于三维刚体点 的运动，并且这些点之w的相互约朿关系保持不 变.人脸特征点之间的三维约束关系可以用来解决 当人头旋转角度过人吋特征点跟踪丢失的问题.基 丁上述考虑，本文借鉴70=11等&提出的基丁脱 机和联机倍息的三维跟踪算法思想，提出一种基于 三维模型与小波的人脸特征点跟踪方法.该 h'法针对人脸实吋跟踪的特点，在逐帧跟踪方而采 川基于小波的跟踪算法b人在三维模型辅助 跟踪方而采用提出的算法

7、，最后采用 光來法平差税型将两者结合起来得到ii后的跟踪结 果，1跟踪算法流程图跟踪算法流程如图1所示，可以看出，本文算法 主要由3个部分构成狗造初始欠键帧、基t gasa- 小波的逐帧跟踪、基于三维模型的整合跟踪.构造初始化关键帧步骤根裾第1帧检测到的人 脸特征点分布信息，将一个通川的三维人脸模型作 相应的变形，使得二维人脸特征点集p与三维人脸 特征点集p 一对应，基于该对应关系求解三维人 脸的姿态参数fk,将和民均作为关键帧信息 k存储卜來.基于c3cr"小波的逐帧跟踪不考虑人脸三维 信息，根据ml和训练好的小波jte库，通过 小波变换来佔计m1 ,计算速度快，但结果屮 会存在一

8、些误差.基于三维模型的整合跟踪步骤，利用k、m和 m1來估计当前帧的rt .基tk中包含的p和， 可以得到当前的二维特征点集rs，ri即为优化后 的、最终的当前帧二维人脸特征点集合.im-i跟踪箱法流程图2构造初始关键巾贞设计的特征点集合如阁2 g）所示，共14个特 征点，这些特征点都楚人脸上具有明显特征的点，付 用训练好的小波对以很好地匹配到没 些特征点的位置人脸模型m格简单，m 格中的三维顶点具存明丛的儿何意义，因此使用人脸模型m格作为通用三维人脸模型r在f三维顶点与人脸二维特征点之间讨以直观地 建立起 对应关系，如图2 g）所示.（a）二维人脸特征点（b）三维人脸特征点阁2二维人脸和三维

9、人脸特征点对应关系f.2bdh/voarvtwocfttsnrdl为了得到当前帧屮人脸的宽高比r-，采用vfcfa 等003提出的人脸检测方法来快速地得到人脸k域.基于-值，对f执行全局缩放变换，使得三维人脸模 型f的整体宽萵比与当前帧屮被跟踪对象的宽 比相同.以p为fi标，使用分块仿射变形fctowfee作将f变形为三维人脸器官分布，与 当前帧中二维人脸器官分布一致.经过上述变形，f变为与当前帧中二维人脸结 构非常相似的三维人脸校型.基于p和p，采用cfe rribcn等& 1 提出的算法，可以很容易地求出当前 人脸的三维姿态参数，即ft=与之间的关系如下：r = a=y=>6

10、 ）式中g表示p中的第i个点，p表示f>中的第i个 点，a为摄像机的内部参数矩阵.不失一般性，假设 a已经通过事先的定标过程得到，并且在整个跟路 过程屮不变.p、p、fu以及变形后的f这4者共同 构成了 k.3基于cocr-小波的逐巾贞跟踪函数具有生物学上的明显意义523 :函数被广泛地应用丁计算机视觉领域函数实际 上是一个三角函数和一个商斯函数的乘积.一维的qdjcr-函数农达式力 wc-crfc<£>)2p h对应的小波变换足义为快计算：a sir+ k_d.fe)式屮白和是第i帧上特征点p的的幅值与相 角i和是评价点fs的幅值与相角d为p与ps之 间的距离矢m

11、，k为一个与c3cr函数同方向、幅值 等于三角函数频率的矢量，4-ooc= j'xtw fcto.cofct 6)oo在小波特征表示屮，采川式红)所定义的二 维的(30-阑数作为小波变换的付函数：fe)w q，y©，入xp<j，y) =肪+<p)：x = >xeb0= +w)xfr©+vcebe.式中e为二维cjcr"的朝向，入为二维ge长$为二维的波的相位o为髙斯函数的半径为二维gdacr"的妖觉比.o-a.'qjo'v这5个参数的不同组合构成不同的二维小波.文献fe的实验结果表明o和入的不m组合敁能表达人脸的

12、 二维特征点倍息，因此e取8个方向入取5个频率，组合成4d个不冋的30-小波函数來对阁像上的 特征点作小波变换.于足，对应一个图像点，变换一 次可以得到4d个fi数，即8d个系数.这8d个系数 即为，它可以很好地描述一个阁像点 的特征.针对人脸特征点初始定位fi ll题，在训练阶段，计 算t4个人脸特征点中每一个点在各种典型惜况下 的vjbt集合s.在跟踪视频的第1巾贞，即构造初始失 键帧步骤中，使用vfcfe等的方法川以将到人脸 区域.在该区域根据人脸器官分布经验可以大致 知道每个特征点的分布区域r.对r内每一个点计 算一个jbt使用该dbt与训练阶段建立的s比较， 最匹配的点即为人脸特征点

13、最可能的位置.假设已知第i帧屮人脸特征点的位置，根据文 献fe吋知，使相位相关的ja：相似性公式取值最大 的2个点最有可能是连续2帧上的同一个特征 点.若要在i+1帧上杏找某个人脸特征点的位置， 则只需在以第i帧该人脸特征点所处位置为中心， 8个像素为半径的圆形区域r内，查找与上一帧u t最相似的那个点.在岡形区域内的査找策略有很多利，实验表明， 穷举策略的误差最小，w此采用穷举的策略.然而穷4基于三维模型的整合跟踪采川基于小波的逐帧跟踪方法，可以根 据第i帧特征点集来预测第i+1帧上的特征点集.以管基于小波的逐帧跟踪方法可以克服光 照变化、姿态变换等影响，但逐帧跟踪方法只使用待 跟踪帧上一帧

14、的信息，没杏利用人脸的全局三维鈐 束倍息.根据等53的研究结论，只利用连紐 帧之间吋空连续性信息的跟踪结果往往会泞致误差 累积，从而逐渐偏离貫.正的跟踪点.这个问题可以通 过整合待跟踪点的关键帧特征信息来解决.本文使厅 在构造初始关键帧阶段存储卜*來的关键帧倍息.假设己经跟踪到了第i帧，第i帧之前每一帧的二维人脸特征点信息、三维人脸姿态参数均已知. 记第i1帧人脸姿态参数为fvi =ti-n .基i ' 与 pk，n 以定义变换 h .使用h可以将关键帧人脸二维图像变换为与第 i 一 1帧上人脸二维阁像较相似的人脸阁像，即与第i 帧人脸二维图像较相似的人脸图像.h矩阵的廷 义如f :平

15、法的时问开销较大，为了实现实时跟踪，当计算r式屮：3 = r-irt» dt = fftk+ti-i，r»t = rri- ci =d丁：白n).fe)取关键帧人脸图像中每个特征点周围3d 像素x 3d像素的图像区域为变换前的图像块，不屈 于任何特征点周围3像素x 3像素区域闪的像素 点记为无值，统一设置为纯黑色，记该阁像为i.使 用h将图像屮的每一个像索变换之后得到新图 像直m i h实际上由14个3像素x 3d像素的i冬i 像子区域构成，每个子区域对应一个人脸特征点.记© 1994-2013 china academic journal electronic

16、publis 内每个点的小波系数吋，采用如下的近似公忒來加x5-,=与j=1,2,，14，在待跟踪的第i帧上,以r的屮心岑屮命，大小为33像索x3像索的区 域内，找与4 g相似的子区域r柯的中心点徵繼繼.wltwoubiishinghouffe.8:nki.n图4人脸上下转动r.4 fdbri阁5人脸前后移动阁6人脸在平而内兄动hg.6 fobskar-g hi pfene阌7人脸表怡变化f."7 fcidnerrg即为基于关键帧信息定位到的第j个人脸特征点. 炅体的子区域相似性计算方法为采用标准互相欠相 似函数作力相似性度量准则的w像相似性匹配方法.将使川基于k定位到的14个人脸特

17、征点集记 为ft,f=j ) ;_j=1,2，14.fe)pf包含了三维人脸的约束信息，接卜*來将ft和基t- <30-小波逐帧跟踪到的人脸特征点集fy结合起來，去掉m:屮的错误数据，从而使得跟踪结果平沿 且无误差累积.对于整合2个点集的问题，采用在三维重建领 域中使用频繁的光束平差法cfaurrfe artrfz rrort51.针对本文的问题，以第i帧人脸三维姿态 参数p：作为待求解变鲎，求解®映射误差最小问 题.记®映射误差为n,定义如下：n = £pruk <11 m!-色，m0)|2). fe)式屮mi g ttuff)为与mi对应的f上的

18、三维顶点，fj)=pnjk 函数力ft棒 tt 计 器)，使川prxjk函数可以去棹错误匹配的点；为将 mfj>使用p:映射到二维特征点的映射函数.考虑连续帧之间的时空连续性，设计y标优 化函数：邑令i，pi-i ) = min +rs_n ).)p5 .p对丁式如)所示的1£问题，采用 »±算法56可以快速得到最优化函数的触 pi.基于pi o和p，可以直接求得在第i帧上优tt 人1的ps .5实验结果在训练小波#库时使川1oo张具冇不 m的肤色、光线情、姿态属性情况的人脸图像库.在跟踪速度方而，木文方法讨以实现芯 的跟踪速度.在跟踪效果方而，阁35给出了

19、在人 脸左右、上下转动及前后移动情况下的跟踪结果， 图6给出了人脸在平而内晃动情况下的跟踪结果， 阁7给出了在人脸衣情变换情况下的跟踪结果.在普通的实验室光照环境屮，针对5种典型的 人脸运动类型，采集5个不同的人在每类运动惜况文跟踪7/法的跟踪结果与理想位置之间的平均误差 统计如图8所示.图屮,x为14个人脸特征点索引，每个点的具体位置如阁2)所示e为每个特征点 相对丁人脸大小的平均定位误差.可以看出，本文力 法的定位误差较小，在大部分情况下可以很好地® 踪到正确的人脸特征点.阁8逐点定位误差(b)戴眼镜(c)留胡须(d)跟踪失败图9特殊怙况下的跟踪结釆除上述实验之外，为了证明木文方

20、法的可行性， 从ucsdhcrcfe人脸视频数据库573中挑选1o个 典型的视频数裾來验证本文算法的跟踪效果.对戴 眼镜、留胡须、少许头发遮挡等特殊情况不的跟踪结 果关键帧序列如阁9所示.可以肴出，在规眼镜、留 胡须、少许头发遮捫等怡况下本文方法可以较准确 地跟踪到各个特征点.阁9 展示了跟踪失败的例 子截图，主耍是人脸旋转角度过大、表情变化过快 等情形.由于ucaxlhcrcfe数据库没有手工标定的逐 帧aocru 丁dhi人脸特征点数据，本文对跟踪效果的评价方法采用太刚等683建议的人工主观评判方 法.通过一个简单的辅助评分接口，测试人员根据主 观感受接受或拒绝每一帧的定位结果，芯当前帧没

21、 冇跟t,则直接拒绝.实验结果如表1所示，表中，n 为总帧数，a为接受帧数,t为接受率.所有人脸特征点跟踪万法的重点均在如何对山表1人脸序跟踪结來统计表rao.1 fajtean uc3zx1honcfec3ebb视频名称nahrvotrithbd.avi3b4-351ob_nsb.evi jjp31422d"73333235"73btcbl3kmm329arz万r.sviaaostg5o.avi437s39b cferry.ev29123d刃39b3d5s339033595hodfcr-.sviqs4-391a419314姿态变化和表情变化所引起的人脸特征点运动的非 线性

22、性质的建模方而.具体而言，这些方法w以分为 3类用局部线性模型的集合来表达整体的hi 线性，典型代表为gate等593提出的基于视角fk aam方法；2地川从阁像序列屮提取的三维人脸特征來表达人脸特征的非线性，典型代农为丁erg 等提出的多m次、多状态、姿态相欠的跟踪方法； 3)过接使川非线性税型来表达人脸特征的非线性， 典型代表为等提出的使川 fca的跟踪方法.在5个人作5类不同运动的数据 集合&33o帧)上，将本文方法与3个典型方法作对 比实验，实验结果如阁1o所示.1冬i屮，匕为像素位移 量，pt为特征点跟踪误差.对以看出，在跟踪误差方而，本文方法比 goctes 法减少了 8%

23、，比"tizrg z/ 法和 rzrrchoi 方法均增加了 6%左右.在计算吋问效率方而，在相 同的汁算环境屮4"* ca dlo itfcsxjx本文方 法甸秒可以处理25帧数据，方法每秒处理7 帧，ffcrnzm方法每秒只可以处理2帧.尽管在跟 踪误差方面，本文方法比丁erg方法和rzrrc±«"i方 法人60/0，但在计算时间效率方而却有着明丛优势.0246810阁1o 4种方法跟踪误差对比阁hg. to brctcfefcrtoctfcri cf=fedhl>o'lrarirg ewaortrndfroefe6结语本文提

24、出一种结合基于小波的人脸特 征点跟踪算法与基于三维模型的跟踪算法的人脸特 征点跟踪力*法.该力*法既利用了帧与帧之间的吋空 连续性，乂利用了人脸的3维全局约束倍息，从而同 时避免了跟踪漂移现象和跟踪丢失现象的发生.实 验结果表明，木文方法对于人脸人角度的姿态变换 具有很好的跟踪精度，可以容忍的人脸p/v运动和 pjfcjri运动在正、负zj5度范围内，k=运动在正、负 6度范m内.山t本文方法可以高质量、实吋地跟踪到人脸 特征点的位®，本文方法为三维人脸实时识别、基丁 人脸的智能人机交互提供了很好的基础.木文方袪 还讨以推广应用丁 非人脸的刚体类物体的特征点实 时跟踪.参考文献b金城

25、，卜佳俊，陈华，等.自底向上的人脸特征点定位d1浙江人学学报江学版23c8- 42 fe)jnbuchhi hear tl. humanaecfebgdfcm and -felte-lracki hi a bctfcm-vpd. jhttrcf:37brlhjoq<shb3iscfena& 23cb. 42 g):刃ftsd.tfart grerdd ftonrfn: b i t-t 2<i>：227-232.&oootst，axm_kb k> taylcr c. x/fevtaeaada&lfe hou x, us，zhan g h,改翩.rr

26、oohfe fo / frznaaefr cp b-he carpvtbr sbc<cvffol). haz«i: ebe, 23d1 :«33.&rogtwlo s，卜tbosa，roebto m，tracies caoraaebtndhacrfrs fc/ o edr| cf xhul rt - "m xtpcalrn on gtnxkibr* (rdrissbandlhnraasaa. oarbot> : m h，2300 :22-27.fe李英，赖剑煌，阮邦志.多模板/xsm方法及其在人脸特 征点检测屮的应用u1计算机研究与发展.23d

27、7. 41liyb，ruanmkjfrter>- plfe zsm arj teki ckipcidks cj=farti-n l). jhlrrdgfcrrpvlaffeearhanci efeu- cjcrngrfc 2307, 41 令)：133-vt).fe段鸿，程义民，王以孝，等.基于kotfeuuctcn 算法的人脸特征点跟踪方法d1计算机辅助设计与阁形学学报,23c», 16):2283.du/mmcheng y5-rrin. wangi. ttaci-fedapertskanbcfeto- mea yjc»ch 01 dhtrndi dqzrrpvta

28、afcbd cfas n and qzrrpvteqzhb& 2304- 16 白：279283.& 颜蒋国，潘立登.越于cxt-小波的人脸特征点跟踪方法 d1 计算机应用,2301, 24：33s1. yanuas o panttocki-fedyi-fedhli aah qdocrwei4=ul ll.23ot，2):33s1.fe wb<ott l_ fh_kous j m, kruger n,攻a i.berrinli. !llltiarsadfcinqn flam anjsbercj machhel rdh1207, t9: /aar /a3.v/m3chtl

29、ijl l_> ljzptlxi v» fua p.tirne 3dcatg cr®ne and cjflb <=01 !bbetr«dfoon 抽marfre2304 35 o)： t39&1391.bovkdlap，udns m.berated gesd3cfeclt|zferfeltes r?/ rooaaefrpdf 23d1 jtt 七i 二 qrpjbr-socfe< gcr-feonason gcrrpjbr xaonand ffam feghkcino1 ) haaj» ：fi-f, 23d1 :s11-518.

30、blzldementthon df, daxzbls. mochesadcdt pxse in 5 rnescfceefe j. xdterrtioni kjblrrd cf gcrnjxzri 1se5, 15: 123-141.62 daugmanug. txaoc&reraadhacf ccrti raodtiuectl |jrb.cj. yfeon faaatdh， t9bd. 2dto)：8?7s®.53 va3chettil, lbfettt v, fua p. fl»cr* arxjczhrne 5fcrrfcin-cr-zfe3dliacwrg; b

31、n tdh 1 ire fc/ fkaaaacfr-cfaocb mi gfcrrpjbrsbdb gcrfeonoeon gcrrpjbr-/sdnand ftero feqfcjn tx/acb). wfeacr :1=ff，23cb ：241-28.eklzlocabceitfcr'i ibboiji. http v/on. vvibejaci a#4kt>csb<e>tizin# nzrmagd ocsb<gjicizti=>.&3cdc&311b5 ihaggs 巳，mcluchln p, hartuev r,&5sbun

32、cteafcm3rt:amocfe»rirlbefe fc/ rtex c esc#- cjf x farrtij aj wzhnqo on afcm ar ri *rrs facx/sd).：1rff, 1sbd56 wbjjam h p. brian pf- sajjlat，攻或.c 数 偵算法ik/ll傅祖芸，赵梅娜，丁岩石，译.2版.北京: 电了工业出版社，23cn： 121-128.&71 rf k c, hoj, yang m h.x/falraigand raacqfcm cekg p，i，i 卜ti、ppgarsra mari- -i fcfe cl. qzr

33、rpd-/fetin andlhobandrg23c5, sd fe) ：333-331.bs宋刚，艾海舟，徐光仿.纹理约束下的人脸特征点跟踪d1 软件学院，23cm, 151)： 1qd7-1615. 9dng fe rr ai ha-hou. xu qar/au. "fe<ltepewztee cj1 dhlrrnrf cfsrjh 230 4, 151)：1qd7-t615.b9oootst f，whbblb g v, walker k n，攻 zfearteaad adftue cpsasnoe mooyfe 01 irr vteon cfcrrpjfrtgt 23cr

34、，2d :6t>7-q34.&d tong 丫扔 wang 丫zhu改.i. rdomyllfau <allgr|kacixs iuxr-ver5rg"feosp <3"cj $3aazm d. flatn feqsfcm- 23 7,4d1)：31s&33cb.bmx3. nzuinernsssromdhanis. gongs, psarrou a. mclfruiaa ncnfenoaradsuote mocyi cargpca ic/ f怨怨怨怨從怨盘怨怨怨怨怨怨盘怨怨盘怨怨怨怨怨怨怨怨怨怨怨怨怨怨怨怨怨怨怨怨從怨怨怨怨從怨盘怨怨怨怨

35、4*4汗不冲承不不不不4*>r*汗不冲4;不不冲4;不不不不4*>r*汗不不不不不汗不汗不冲4汗不汗不汗不汗不汗不汗不不承汗不汗不4*4汗不不不不不汗不不不汗不冲承不不不不冲不汗不冲4;不不不不不不（h接第19页）参考文献备xeb)bwu 丫，shcxj l hu t,glos<*doaa*/: bi jnj alitaandijextii asstcin orjghe fc/ raasscfcfhte 23cb xardasnd qxonoeon qlaer- v ofcfe hru:eee. 23cb :42s427.efoa21mston b e. cybhm<o g. htwcir»yfcfetezvdo qj gfcrrixfahbote 2300 33) :22. fe erewington b e, cyeenko g. kdrmo vsah ibecba-g vdo 03. all.2300- 33 fe):ob.&cmvtc» bbsj so. ix/facafe