（计算机应用技术专业论文）面瘫客观评估及统计形状模型自动建立方法研究.pdf

上海交通大学博士学位论文 面瘫客观评估及统计形状模型自动建立方法研究 摘要 面瘫是由控制面部肌肉运动的面神经损伤所带来的面部运动肌群的功能和 张力障碍所引起。面神经的损伤往往导致面瘫患者表情的异常，不但影响面部情 感的表达，而且会降低患者信息交流和会话的能力，从而带来很大的心理障碍。临 床上准确评估面神经损伤所导敏的面瘫严重程度，对判断面神经功能、面瘫患者 预后和疗效的评价都非常重要。理想的砥瘫评估方法应该具有经济、容易掌握和 能敏感检测到面瘫临床变化的特点。多年来，许多临床医生一直在设计和完善面 瘫的评估和分类体系，以期找到科学，完善和容易接受的方法。但是到目前为止， i 艋床上的面瘫病人主要都是由受过专业训练的医生凭经验来进行主观评估。评估 结果建立在个人判断上，主观差异性很大。 在上海市科学技术发展基金支持下，本文提出了不同于现存的主观和手工 面瘫评估方法( 例如h o u s e , - b r a c k m a n n ) 的计算机辅助客观评估方法。首先利用 主动形状模型的方法，在人脸表情图像中提取出感兴趣的人脸区域和面部特征。 然后利用医学图像分析的方法使用光流和p f h 对面瘫时具有的特殊面部表情 进行评价。研究工作旨在建立一套客观、较为准确和容易被医生和患者接受的面 瘫客观评估方法，以代替现存的传统主观评估方法 为了使用主动形状模型对医学图像进行分割，需要建立统计形状模型，因此 需要一系列标记好标志点的训练图像。这些标志点定义了训练样本集中相同结构 的对应关系。由于统计形状模型中的标志点手工获取方法工作量大而且容易导致 获得的模型精度不高，并且对于特定的医学图像，还需要标记者具有相应的专业 解剖知识。为了提高相同标志点之问对应的精确程度，提高统计形状模型的精确 度，在国家自然科学基金2 的支持下，本文针对形变模型中的统计形状模型自动 建立这一热点问题，提出了改进的最小描述长度方法( m i n i m u md e s c r i p t i o n l e n g t h ：m d l ) 。 l i 4 0 0 1 4 1 1 9 0 7 9 ：面神经损伤客观评价系统研究该项目已面过上海市科委科技成果项目的验收 2 n o , 6 0 2 7 1 0 3 3 ：立体脑图像可变形配准的全自动方法研究；n o 6 0 0 7 2 0 2 9 ：视频分新应用与理论研究 上海交通大学博士学位论文面瘫客观评估及统计形状模型自动建立方法研究 论文主要工作和创新点包括： 1 ) 提出了基于特征光流( e i g e n f l o w ) 的面瘫客观评估方法。通过建立人脸 统计形状模型，用它来获取人脸轮廓以实现人脸背景的去除。然后再 通过它获取眼睛轮廓中心和鼻尖的位置，进行人脸图像的规一化。在得 到标准的人脸图像后，利用光流的方法对正常表情的运动特点进行分析， 使用主分量分析的方法建立对应的表情特征光流空闻。面瘫病人和正常 群体之间的表情差异程度可以用对应光流在特征光流空间的重建误差来 衡量，残差的大小可以用来衡量面瘫的严重程度。 2 ) 提出了基于p 和特征光流的面瘫客观评估方法。从基于人脸认证的d f 。 图像得到能衡量单由面瘫所导致的人脸左右不对称性的量度( p ) ，它主 要反映面瘫人脸异常状态侧与正常状态侧的差异，不但能够利用它来衡量 面瘫的严重程度，而且还可以用于面瘫人脸特定局部区域的康复监控。从 e i g e n f l o w 和p f h 分别得到反映个体与正常群体的差异和反映个体内部左 右侧脸的差异后，本文使用支持向量机( s v m ) 的方法将这两个方面的 因素综合起来考虑，得到综合的量度值( ) 。当它的值大于0 时，可 以判断人脸处于面瘫状态，而且其值大小与面瘫严重程度成正比。 3 ) 提出了基于笛卡尔差分不变量的m d l 统计形状模型建立方法。目前的 m d l 方法建立的统计形状模型仅仅对目标对象的形状加以研究，没有考 虑到形状上的标志点在图像上的局部图像结构信息，因此得到的标志点 位置往往不太理想。本文对m d l 统计模型的目标函数进行修正，加入反 映局部图像结构信息的因子考虑待分割目标的灰度分布特点，计算每 个训练样本上的标志点在不同尺度下的笛卡尔差分不变量，以反映标志 点的图像局部结构信息。通过在m d l 目标函数中增加反映各个标志点的 局部图像结构信息对应关系的因子( c d l c 0 3 , t ) ，给m d l 统计形状模型的 建立增加了新的约束，使得m d l 目标函数更加收敛，从而得到更加紧致 和专一的统计形状模型。 4 ) 提出了基于椭圆傅立叶变换( e f t ) 的m d l 统计形状模型建立方法。本 文使用椭圆傅立叶分解得到的系数来代替笛卡尔坐标系来对形状进行描 述，用一系列e f t 系数组成的向量来表示训练样本的形状。在对训练样 上海交通大学睁士学位论文 本集e f t 系数组成的向量矩阵进行p c a 分析后，建立基于e f p c a 的 m d l 目标函数。通过e f p c a 可以得到比原来基r 笛 尔坐标的形状向 量更加优化的标志点对应关系，从而得到更加理想的统计形状模型， 关键词：面瘫，面瘫评估，面部表情，光流，型变模型，主动形状模型，统计形状模 型，最小描述长度，点对应问题 上海交通大学博士学位论文a b s l x a c t s t u d y o no b j e c t i v ee v a l u a t i o no ff a c i a lp a r a l y s i sa n d a u t o - b u i l d i n go fs t a t i s t i c a ls h a p em o d e l a b s t r a c t f a c i a lp a r a l y s i si sc a u s e dw h e nt h ef a c i a ln e r v e , w h i c hg i v e sn e r v ei m p u l s e st o t h em u s c l e so ft h ef a c e ，l o s e sf u n c t i o n f a c i a lu e l t e i n j u r yu s u a l l yr e s u l t si n s i g n i f i c a n tp s y c h o l o g i c a la n df u n c t i o n a ld i s a b i l i t yf r o mt h ei m p a i r m e n to ff a c i a l e x p r e s s i o n ，c o m m u n i c a t i o na n d o r a lc o m p e t e n c e t h ec o r r e c te v a l u a t i o no f t h ed e g r e e o f f a c i a lp a r a l y s i si sv e r yi m p o r t a n tt ot h ea s s e s s m e n to ff a c i a ln e r v ea b i l i t y , p r o g n o s i s a n de v a l u a t i o no fc u r a t i v ee f f e c t t h ei d e ae v a l u a t i o nm o h o do ff a c i a lp a r a l y s i s w o u l db ee c o n o m i c a l ，e a s i l yu s e da n ds e n s i t i v e i nr e c e n ty e a r s , m a n yc l i n i c i a n sh a v e d e s i g n e da n dd e v e l o p e dm a n yf a c i a lp a r a l y s i se v a l u a t i o na n dg r a d i n gs c a l e st of i n da s c i e n t i f i c ，p e r f e c ta n dr e l i a b l em e t h o d u pt on o w ) t h ef a c i a lp a r a l y s i sp a t i e n t sa r c m a i n l ys u b j e c t i v e l ye v a l u a t e db yt r a i n e dc l i n i c i a n s t h er e s u l t sr r eb a s e do nt h e i n d i v i d u a le x p e d e n c e sa n dt h el a r g ei n t e r o b s e r v e rd i s a g r e e m e n tl i m i t st h ec l i n i c a l u t i l i t y s u p p o n e db yt h es c i e n c e t e c m o l o g yd e v e l o p i n gf o u n d a t i o no fs h a n g h a i ， t h ed i s s e r t a t i o np r o p o s e dac o m p u t e ra i d e do b j e c t i v ee v a l u a t i o nm e t h o do ff a c i a l p a r a l y s i sw h i c hi sd i f f e r e n tf r o mt h ee x i s t i n gs u b j e c t i v ea n dm a n u a le v a l u a t i o n m e t h o d s ( s u c h h o u s e - b r d c k m a r m ) f i r s t l y , t h ea c t i v es h a p em o d e li sb u i l tt o e x t r a c t i o nt h ef a c er e g i o na n df a c ef e a t u r e s s e c o n d l y , t h em e t h o d so fe i g e n f l o wa n d p f ha r eu s e dt oe v a l u a t et h es p e c i a lf a c i a lp a r a l y s i se x p r e s s i o n sa n de s t a b l i s ha n o b j e c t i v e ，r e l i a b l e ，s e n s i t i v ea n dn o i n v a s i v eg r a d i n gs y s t e mt oc o m p e n s a t ef o rt h e d i s a d v a n t a g e so f s u b j e c t i v em a h o d s i n o 0 1 4 1 1 9 0 7 9 ：r e s e a r c h 锄o b j m l v c e v a l u a t i o ns y s t e mo f f a d a l i 删| m j m y t 抽p r o j e c t 删t h e 吐e d 【i 雌 a t u l a c c e p t i n g o f s d c o m m i t t l * o f s h a n e 蛐i 2 n o 6 0 2 7 1 0 3 3 ta u t o m a t e d d e f o n a a b l cr c g i s t m l i n a o f s t u c c o i r a i n i m a g e s ) n o 6 0 0 7 2 0 2 9 ：t h e a p p l l e a t i ( ma n d t 岫m 岫o f v i d e o # e s m e a t a t l o e h i 上海交通大学博士学位论室面瘫客观评估及统计形状模型自动建立方法研究 i no r d e rt ou s ea c t i v es h a p em o d et os e g m e n tt h em e d i c a li m a g e , s e t so f l a b e l e d t r a i n i n gi m a g e sa r er e q u i r e dt oc o n s t r u c t e dt h ec o r r e s p o n d i n gs t a t i s t i c a ls h a p em o d e l t h el a b e l sc o n s i s to fl a n d m a r kp o i n t sd e f i n i n gt h ec o r r e s p o n d e n c e sb e t w e e ns i m i l a r s t r e o t u r e si ne a c hi m a g ea c r o s st h es e t m a n u a l l yp l a c i n gh u n d r e d so fl a n d m a r k so n e v e r yi m a g ei sb o t ht e d i o u sa n de r r o rp r o n e s u p p o r t e db yt h en a t i o n a ln a t u r a l s c i e n c ef o u n d a t i o no f c h i n a 2 ，t h ed i s s e r t a t i o ni sf o c u s e do nt h em e t h o d so f a u t o m a t i c b u i l d i n go f s t a t i s t i c a ls h a p em o d e la n dp r o p o s e dan o v e lm i n i m u md e s c r i p t i o nl e n g t h m e t h o d m a j o rw o r ko f t h i sd i s s e r t a t i o ni sa sf o l l o w ： 1 ) a no b j e c t i v ef a c i a l p a r a l y s i se v a l u a t i o nm e t h o db a s e d0 1 1e i g e n f i o wi s p r o p o s e d t h ef a c ea c t i v es h a p em o d e li sb u i l tt oe x t r a c tt h ec o n t o u r so f f a c i a l c h e e k 、e y e sa n dn o s e f a c eb a c k g r o u n di sc r o p p e db yt h ec o n t o u ro ff a c i a l c h e e ka n df a c ei m a g ei sn o r m a l i z e db yt h ec e n t e r so f c y e sc o n t o u r sa n dn o s e c o n t o u r a f t e ro b t a i n i n gt h en o r m a l i z e df a c ei m a g e s ，t h eo p t i cf l o wi su s e dt o a n a l y s i st h ec h a r a c t e r i s t i c so fn o r m a lf a c i a lm o v e m e n t s ，a n dt h ep r i n c i p a l c o m p o n e n ta n a l y s i si sa p p l i e dt oc o n s t r u c tt h ec o r r e s p o n d i n ge x p r e s s i o n e i g e n f l o ws p a c e t h ee x p r e s s i o nv a r i a t i o n sb e t w e e nap a t i e n ta n dn o r m a l s u b j e c t sc a nb em e a s u r e db yt h er e c o n s t r u c t i o ne r r o ri nt h ee i g e n f l o ws p a c e a n dt h ev a l u eo f r e c o n s t r u c t i o ne f f o ri su s e dt of a c i a lp a r a l y s i sg r a d i n g ， 2 ) a no b j e c t i v ef a c i a lp a r a l y s i se v a l u a t i o nm e t h o db a s e do np f ka n de i g e n f l o wi s p r o p o s e d ，p h c c w h i c hs t e m sf r o md h i sd e f i n e dt om e a s u r et h ea s y m m e t r y c a u s e db yf a c i a lp a r a l y s i sb e t w e e nt w os i d e so ft h el a c e i ts h o w sas u b j e c t s i n n e rv a r i a t i o nb e t w e e nn o r m a lf a c i a ls i d ea n da b n o r m a ls i d e m o r e o v e r , p m o f s p e c i f i cf a c ea r e a sc a bb eu s e di ns u p e r v i s i o no f t h er e h a b i l i t a t i o np r o c e s s t h er e s u l t sf r o mp ba n de i g e n f l o wa r et h e nc o m b i n e db ys u p p o r tv e c t o r m a c h i n e ( s v m ) t ob eav a l u e 妒衄由t h ee x p e r i m e n t sr e v e a l e dt h a t c o u l dd i f f e r e n t i a t et h ep a r a l y s i ss t a t s ( 群五0 ) a n dn o r m a ls t a t s ( p 姆h 。) 的剖面： q = 【，a t j 2 , - - , j “r ( 2 2 2 ) 微分后的搜索剖面为巩一1 个像素长度的向量： d 墨= ( 一2 一一i ) ，( s a 一2 ) ，( f 旭一s j o , , - i ) ) 】7 ( 2 2 3 ) 上海交通大学博士学位论文第2 章相关研究综述 标准化后的结果为： 驴蠡 晓2 4 ) 对搜索剖面y 时进行搜索找到其中某一长度为的区间使其匹配与训练集 中得到的标准化的微分灰度剖面的均值只。对于的一个子区间。假设它是以 y , i 的第d 个像素为中心的，记这个区问为 ( d ) 定义函数： ，( ( ，) ；( ( d ) 一歹，曰( ( d ) 一z ) ( 2 2 5 ) 找出每个标志点满足，q ) 最小时的子区问，即可以得到每个标志点的新的位置， 进一步得到形状所做的改变。记为d x ，- 第三、计算形状和姿态参数； 为了改变z ，使得其与x ，+ 出。更加接近，就应该适当调整姿态参数( 包括尺 度参数，旋转角度参数，位移参数) ，以及形状参数( 主成分的加权值) ，当然 同时还要加上适当的约束限制以便所得到的新的形状是可以接受的或可容许的。 m ( ( 1 + 西) ， + d 口 【x ，1 + ( + d o 斗毛+ d t 求出出，d 日和出后，接下来还需要调整形状参数b 。期望结合得到的尺度、旋转 和位移参数计算出使得i 尽可能接近x ，+ 豳的斑值由 m ( 焉( 1 + 出) ，+ d e ) i x j + d x 】+ + 击罱x j + a x l 可以得出出为： d l = f ( ( 气( 1 + 西) ) ，一( 只+ d 口) ) 【 f ( ，a , ) l x ，l + a x , - d t - x ，( 2 2 6 ) 这里所得到的向量出是位于2 n 维空间的，因为在统计形状模型中只需要描 述前t 个特征值对应的模式的变化，所以只需耍寻找位于t 维空间中最接近出的 向量，出在t 维空间的投影矗： d x l - a d x( 2 2 7 ) 其中a 为投影矩阵：a = r ( p 7 p ) 4 p ；p t p 垃可以简化为；d i = p * p d x 上海交通大学博士学位论文面瘫客观评估及统计形状模型自动建立方法研究 于是可以将x j 移至x ，+ 矗改为移至i ，+ 如，其中： 矗2 p d b ( 2 2 8 ) 西= p 1 d x 第四步、形状和姿态参数的更新 根据前面求出的形状和姿态参数值，可以得到一个新的估计值x ! ： x ：”= m ( s , o + f 妨，( 日+ d 一) ) x + p d b 】+ + d r ( 2 2 9 ) 接着可以开始对这个估计值像前面对x ，所做的变换一样处理，类似地得到对应的 z 2 # ”，直到形状的变换不大，可认为此时的形状即为待匹配图像的形状。 该过程的流程图如下； 圈2 - 2 图像匹配搜索流程 f i 9 2 - 2 t h e f l o wc h a r t o f i m a g e m a t c h i n g 目标图像匹配算法的过程可以总结为如下5 步： 1 ) 誊先- 绘出初始形状的估诗值：l j = m b l ，e t 、十t j 。其中 z ，= i + p b t ，p 月宜掰茆，俨主谨分。 2 ) 寻找晚需要豹位移量h jr 使标志点能够位移蓟更佳曲位置。 上海交通大学博士学位论文第2 章相关研究综述 3 ) 求出姿态参数的改变量q + d s 囊9 d t 、使得x 。尽可能地接近 x ，+ 出， 4 ) 求出形状参数的改变量西其中蕊= p t a i d x ? = p 1 y 娃。 s ) 更勃作用于k 上韵形状参数萄姿态参数褥孰旗的形状。并量继续 以蕊的形状作为 矗计值重复以上过程直勤形状的改变小瓠司以忽 略不计为止。 2 2 面瘫评估的研究现状 面瘫是由于控制面部肌肉运动的面神经损伤和失去功能所带来的面部运动 肌群的功能和张力障碍引起的表情失常。它不受年龄和性别的影响，通常以渐变 和突然的形式发生在面部区域面神经的损伤往往影响面部情感的表达，出现面 部运动肌群的功能及张力障碍，导致表情的异常( 如：眼睑不能闭合或闭合不全、 示齿口角偏斜、额纹消失、说话或咀嚼困难等) 。由于鼻翼肌力缺失尚町引起鼻 翼塌陷造成呼吸不畅。而人类交流很大程度依赖于面部表情，y a m a d a 和r u s s e l l 的研究表明在人们进行面对面交流的时候，仅仅7 依靠语言言语信息，3 8 经 过交互言语信息，而面部表情的交流占了5 5 嘣“蛔。因此，面神经损伤的患者往 往有很大的心理障碍。临床上准确评估面神经损伤所致的面瘫严重程度，对判断 面神经功能、面瘫患者的预后以及疗效的评价都非常重要。 理想的评价系统应该具有经济、容易掌握，能敏感检测到面瘫临床变化的特 点。多年来，许多临床医生一直在不断设计和完善面瘫的评估及分类体系以期 寻找到一种更完善、更科学并被普遍接受的评价体系脚1 到目前为止，尚未有一 种对面神经损伤后对面部功能评价的公认标准，现存的评价标准主要分为主观和 客观两种方法。 2 2 1 主观评估法 临床上以观察患者面部运动并作出主观判断的方法大体上可分成以下几类： 上海空通大学博士学位论文 面瘫客观评估及统计形状横型自动建立方法研究 2 2 1 1 总体状况的评价； b o t m a n 和j o n g k e e s 等人提出的5 级分类法h 7 】。他们将面部麻痹从正常到全 瘫分为5 级，并分别详述每级特征其缺点在于仅考虑到面部静止状态和运动时 是否协调对称，未考虑到不同区域面部疾患轻重的不同以及继发性损伤如联动的 问题。m a y 于1 9 7 0 年提出l o 区分类法1 4 8 1 ，对面神经麻痹的治疗进行评价。但 他在1 9 8 1 年却简化为3 级分类法 4 9 1 ，即：一级正常、二级中度异常和三级重度 异常。此后他又提出5 级分类法。除与上述b o t m a n 等人分类相似外，还考虑到 继发的面神经损害( 如联动) 。但总的来讲，m a y 分类临床上可操作性差。p e i t e r s e n 则首先考虑了运动功能障碍并据此分类印】：1 无面瘫；面肌功能正常：2 搬瘫： 只在扮相时出现面肌障碍；3 冲度麻痹：微笑时可观察到4 重度麻癣：收缩时 仅见肌肉轮廓；5 全瘫：没有功能。他考虑到了收缩程度和痉挛现象并提出联动 现象与面瘫的严重程度相关。但h o u s e 等则认为其忽略了泪液分泌减少、味觉障 碍等相关现象。尽管如此，h o u s e 等仍然把主观检测方法作为临床操作的主要方 法。 2 2 12 度量法 为了将面瘫程度评分，f i s c h 提出3 种不同评分体系口1 1 ：一、分析对比患者 恢复的程度( 此法需获得患者原始图像) 。二、特定表情评分：安静2 0 ；缎前 额1 0 ；紧闭眼3 0 ；微笑3 0 ；吹口哨1 0 ；总分按每2 5 为一级共分5 级。三、上述按百分比直接评分，按照得出总分数直接判断结果。其优点在于考 虑到了不同的面部表情在面瘫评估中权重的不同。 2 2 1 3 区域评价 s m i t h ，a d o u r 和y a n a g i h a r a 也以不同的表述方式对面瘫患者评分分类 2 4 4 1 1 5 5 1 。s m i t h 提倡的无权重区域体系仅注重运动功能；a d o u r 主张权重评价体系， 即对面神经分支不同区域以百分比计算得出面瘫恢复系数，从中减去后遗症，如 联动和面肌痉挛等，最后据此得出量化结果。虽然这种方法比较其他的主观方法 精确有效，但是由于评价时问过长并且需要特殊的设各，不利于临床接受。 h o u s e 和b r a c k m a n n 观察面部表情运动时候的五种状态，然后按照这些状态 变化的轻重将面瘫分为6 级，其特点在于考虑了许多主观评价方法未能描述的联 2 6 上海交通大学博士学位论文第2 章相关研宄综述 动和面肌痉挛现象 5 6 1 。而且对此评价体系作了补充说明，增加了量化方法。但是 由于增加了i 临床操作的复杂性故未被广泛接受。h o u s e 用1 5 位耳鼻咽喉科医 生用8 种不同的主观评估系统对1 2 位面瘫患者的录像结果进行对比评估，结果 表明所有系统在对正常人和完全面瘫者准确率一致j 而度量评分法虽然可靠性 高，但不同系统之间仍有很大差异。总体分类系统之间差异较小 早在1 9 6 7 年j o n g k e e s 即提出评估面神经的方法必须具有可比性，必须遵循 一种被普遍接受的标准，但多年来各种体系各自表述。一直到1 9 8 4 年9 月由全 美耳鼻咽喉科和头颈外科学会面神经障碍委员会推荐h o u s e b r a c k m a n n 评估系 统，它才成为临床上最为普遍应用的系统。e v a n s 对此系统进行了可靠性分析9 ； 研究采用三位不同观测者在同一天对4 0 位不同原因引起的不同程度面瘫患者用 h - - b 系统评估，经统计学可信度分析为9 3 。据此认为h b 系统简单，易行 并适用于所有面瘫患者，尤其对中度不同功能损伤的分类描述较清晰，便于l 临床i 操作。r o s s 等认为作为总体评估的h b 系统仅根据患者大体的情况将患者分 级，却没有反映详细而特异的面神经功能状况【5 目。尽管分类项目少而易于掌握， 但其不能很好判断治疗的效果以及患者之间的差异。因而其提出了不同于h b 系统的新的面部功能评价系统一t f g s 法( t o r o n t of a c i a lg r a d i n gs y s t e m ) 。本法 判定基于三个重要参数：安静时面肌的对称性、特定的面部最大主动运动程度以 j 及与之相关的联动运动程度，最后结果为主动运动得分减去静态对称分及联动 分。1 0 0 分为正常，0 分为全瘫。k a y h a n 将既往几种总体评估体系与之比较后认 为，虽然h b 系统已被广为应用于临床。但其结果在可信度和一致性上变异较 大( 4 3 - - 9 3 ) ，其他几种系统则存在更大的缺陷1 5 9 l ，因此k a y h a n 认为t f g s 简便、清晰、可重复性佳，比l m 法更快。 2 2 2 客观评估法 2 2 2 1 简单测量法 随着对面神经的治疗和研究的不断发展和深入，要求面神经评估体系更客观 和量化。h - - b 在其6 级分类标准的补充解释中试图引入量化概念，即应用- 4 , 尺测量眼眉和口角的角度并与正常侧比较，相差0 2 5 c m 为1 分；二个区域相加 共8 分；再与前述6 级对应以使标准量化。s m i t h 和m u r r a y 等将图像观测法与 2 7 上海交通大学博士学帝溏文 面露客观评估及统计形状模型自动建立方；嗑研究 既往8 种分类体系进行统计学相关性比较1 5 3 1 # 前者利用录像带、幻灯片以及二者 的结合分析。结果发现当测试者试图根据患者的表象进行特定分级时，往往产生 一些差异。分类越复杂，差异越大。研究还发现临床分类系统与幻灯片之间的相 关性最大，而录像带则不甚可靠。w o o d 运用录像带对患者表相进行图像处理后， 直接用摄像微标尺测量，其测量思路仍依据h b 系统 6 0 l 。在对1 1 位受试者进 行二日重复检测并对面部双侧对称比较后发现，平均变量的变化不大；但在某些 正常受试者中，二日测量值及双侧比较值变异较大。因此他认为单独应用测量分 级评估面神经的运动功能不可靠；而摄像微标尺可以获得满意的结果。 2 2 2 2 线性测量法 b u r r e s 结合以往一些主观面神经分级系统如；a d o u r 的特定点问距、m a y 模 仿表情分级、s t e n n e t 特殊的解剖位点以及f i s c h 特殊表情的分类，提出利用面部 坐标标记的线性测量( l m ) 结合面部肌电图对面部生物机械特性进行研究。首 先在面部选点标记并测量记录安静时点间距离，继之记录7 种不同面部表情时点 间距的变化，并建立了正常人最大面部运动时的数值一线性测量指数( l m i ) 。 但l m i 在测定轻度面瘫时显得力不从心，因为尽管这类患者面部表情运动不协 调，但由于位差极小以至于难以判定是属正常范围的误差( 正常人双侧对比，9 5 的可信区间仍有1 4 5 的变异) 还是异常。由于面肌运动总体力量相当固定， 引起面部表情距离的变化关系与之相对应，所以l m i 同样也可代表是大面部力 量的生理指数。 2 2 2 3 计算机辅助灰度对比法 n e e l y 等首次用计算机辅助的图像灰度对比系统对5 位正常人、1 7 位不同病 因引起的不同程度面瘫患者进行研究分析 6 l 】。患者首先参照h b 系统分级并用 m a y 法对病情发展过程分类和联动分级，面部按功能分成不同区域，对不同表相 行黑白摄像然后经微处理器传至计算机进行数字化处理、图像提取以及影像增强 等三个过程；然后将不同区域的灰度值进行增强前后的比较、与正常侧比较、静 态与动态比较；最后将所得数值进行统计学分析。试验结果表明，计算机影像对 比处理系统与h b 系统、联动临床分级标准相关度高，其所得数值很近似人面 部运动并可以在相等时问段不断传输面部运动时空变化的量化数值。m o r a n 将灰 上海交通大学博士学位论文 第2 章相关研究综述 度对比应用于联动的研究中，使灰度对比在研究面神经功能及后遗症方向有了更 广泛的应崩 6 2 1 对于现存的面瘫主观评估方法，般由受过训练的临床医生按照一定标准凭 主观经验判断得出其优点是简单易行，无需任何辅助设备。但是评估结果是建 立在个人判断之上，主观差异性很大，有因人而异的缺点。同时各评价标准的分 类原则只有专长面神经诊断的临床医生才能准确熟练地应用，而且临床医生会根 据自己的经验和对疾病的理解不同而作出不同的判断，从而给面瘫的诊断造成一 定的误差。目前存在的些简单的客观评价方法由于各实验者选用的实验设备和 临床条件的不同，参照的研究标准不一，有些研究选用的设备和方法过于繁杂和 耗时，因此目前对客蕊评价的方法还处于摸索阶段。 本文期望利用形变模型的方法，提取出感兴趣的人脸区域，定位人脸左右眼 睛和鼻子的位置；然后利用获得的人脸特征对人脸做规一化处理，去掉与人脸无 关的背景部分，得到充分反映面部表情变化的区域；最后利用光流对人脸表情的 运动特征进行分析，使用p e a 的方法建立反映正常表情下面部运动特点的特征 光流空间。面瘫具有特殊性的面部表情对应的光流可以在对应表情的正常特征光 流空间中进行重建，重建的误差可以反映出面瘫的等级。同时，还利用人脸的特 殊性，在人脸左右脸差分图像的基础上去掉个体人脸灰度分布的特征，提出了 p f a c e 的量度方法，并对单独由面瘫导致的人脸左右不对称性进行评价。本文的目 的是结合目前较为普遍应用的面瘫主观评价体系，旨在建立一套客观的、较为准 确的、容易被临床医生和患者接受的无创性客观评估方法，以克服传统主观评估 方法的不足。 盖 上海交通大学博士学位论文面瘴客观评估及统计形状模型自动建立方法研究 第3 章基于主动形状模型的人脸特征提取 人的面部，如眼，口和鼻等周围分布着许多大大小小的肌肉。这些肌肉有 环形的、有条块形的，在面部交错地排列着。正是这些肌肉彼此问协调地收缩与 舒张，才使人能够自由地闭眼、睁眼、张口和闭口，并且牵动面部的皮肤运动， 显示出喜怒哀乐等各种丰富的表情。然而，面部肌肉的协调运动是受面神经所支 配的。一旦面神经受到损伤，如受感染、肿瘤压迫和外伤等，则使面肌失去指挥 而处于瘫痪状态，导致出现不能闭眼或闭口不严。面瘫病人不能自如地作各种表 情表达喜怒哀乐等情绪。精神上受到很大的痛苦。表情不对称影响美观，给患 者工作和生活带来很大的不便。面瘫的治疗是神经外科的一个分支内容，患者在 经过一个阶段的治疗后面瘫程度变化是后续治疗的重要依据，故面瘫的评估是患 者每隔一段时间必须接受的钡4 试。 在面瘫的客观识别中，要求对正常个体的表情进行研究，并和面瘫个体进行 比较。这需要在人脸表情图像中提取出感兴趣的人脸区域，定位人脸左右眼睛和 鼻子的位置，利用得到的人脸特征对人脸做规一化处理，去掉与人脸无关的背景 部分，得到充分反映面部表情变化的区域，最后进行后续的分析。因此，找到合 适的方法对人脸面部特征进行定位，是进行面部表情分析和识别的关键技术之 一 基于统计信息的人脸主动形状模型正是解决这一问题较为理想的方法。可以 利用统计的方法对人脸图像进行处理，得到反映人脸图像二维形状变化规律的统 计形状模型和反映标志点局部区域的灰度变化规律的局部灰度模型。在人脸特征 搜索的过程中利用先验知识进行模型初始定位，然后利用局部灰度模型进行标志 点搜索，并利用统计形状模型进行合理近似的调整，最后得到眼睛、鼻了：和人脸 的轮廓，最终用它们实现人脸的规一化以及背景去除。 3 1 人脸主动形状模型 为了实现待搜索的人脸图像的形状建模，首先，要对其进行合理的数学表述， 可以通过在人脸特征目标的边缘和内部选取一系列的标志点，并利用其位置坐标 来对人脸目标进行描述。 上海交通大学博士学位论文第3 章基于主动形状模型的人脸特征提取 图3 1 为对人脸图像进行标志点标定的结果。标志点总共选取了5 8 个，标 志点确定的轮廓e7 段，包括：人脸轮廓( 1 3 个标志点) 、片眼轮廓( 8 个标志 点) 、右眼轮廓( 8 个标志点) 、左眉轮廓( 5 个标志点) 、右眉轮廓( 5 个标志点) 、 嘴巴外轮廓( 8 个标志点) 和鼻子轮廓( 1 1 个标志点) 。标志点选取方法为：首 先，要考虑用肉眼能直接分辨出来的关键点，如眼角和嘴角；其次，在这些关键 点之间要尽量均匀分布其他的标志点；最后，标志点的分布密度要考虑实际的应 用需求，密度过大会增加标志点标定的工作量和降低运算速度，而密度过小会无 法达到理想的效果。 圉3 - 1 手i 标定的人脸 f i g 3 0 lt h em n o t a t c df a c eb yh a n d 为了，建立理想的统计模型，标定的训练集应该包括不同变抉类型的人脸图 像，例如：不同性别和年龄、不同长相、不同表情和不同姿态 对于一幅标定好的人脸图像x 。，可以用5 3 个标志点的x 和y 坐标位置来对 其进行形状的表示： x j 皇【毛t ，以i ，薯2 ，咒z ，妒m 卵】r ( 3 1 ) 其中，人脸轮廓部分为 h ，只i _ “，一。，1 r ；左眼轮廓为k ，只，。而：。，只：，r ； 右眼轮廓为【薯砼，只n ，薯嚣，】斗r ；左眉轮廓为【钟，片如，t 辩，只珥】r ；右眉轮廓 为【鼍抄 ，t 剪，只，r ；嘴巴轮廓为【薯柚，只柚，葺i ”一盯r ；鼻子轮廓为 “# ，乃n ，t ”，只，。r 。这样n 幅用于训练的已标定图像的形状就可以用训练集 x ，：f = l ，) 来表示。图3 2 为部分的人脸形状训练样本。 上海交通大学博士学论文面瘫客观评估及统计形状模型自动建立方法研究 3 1 1 人脸形状的对齐 图3 - 2 人脸形状训练样奉 f i g 3 - 2e x a m p l es h a p e sf r o mt r a i n i n gs e to f f a c e s 对于标定好的人脸形状，由于存在3 个差异：1 ) 其所处人脸图像的绝对位 置差异：2 ) 人脸图像尺寸的差异；3 ) 方向的差异。因此，直接对训练形状建立 统计形状模型不能真实反映人脸形状变换的规律，需要将训练形状在近似的意义 上进行形状对齐( s h a p ea l i g n m e n t ) 。对每个人脸形状选择合适的平移、缩放和旋 转，让训练形状位于同一可比的笛卡尔坐标系中，使得对齐后的形状与平均形状 之问的差别最小( 在最小二乘意义下) ，其中平均形状可以从整个训练样本集中 计算得到。 形状对齐的过程为：首先，选取一个较为理想的形状作为初始样本，使其他 所有的形状都与之对齐；然后，对计算得到的对齐后的平均形状进行规一化处理， 并将规一化后的平均形状作为初始样本；最后，将其他在此之前对齐好的形状与 新的初始样本对齐。重复这一对齐过程，直到相邻两次的平均形状差别小于一阈 值。 将某一人脸形状向量x 2 和另一形状向量x l 对齐的具体实现，就是对x ：在 二维平面内进行旋转、平移和缩放得到形状向量x ：，使得x ：和x 。之间的加权 葛酉葛葛酉葛苜葛葛西西葛 上海空通大学博士学位论文 第3 章基于主动形状模型的人脸特征提取 距离d ( x ，x ：) 最小。其中，x 2 由x ：经过旋转、平移和缩放的数学表达为 其中a = 毛- 一胁l 10 n i 而l 01 x 2 t y h 10 儿。毛。0 1 x ：= m ( s ，口) 【x 2 l + t = a z ( 3 2 ) z = 口，s 0 0 分别为旋转角度、缩放比例以及x 和y 轴方向上的平移值x ：和x 之 问的加权距离d ( x ，x ：) 可以表示为： d ( x x ；) = m ( 毛一 。) 2 + 订( 五。一 。广+ + ，e ( 一毛) 2 + 以( 五。一咒。) 2 l ” 其中，w t ，为每个标志点对应的权重，它的大小由对应标志点的稳定性 决定 标志点的稳定性由在不同人脸形状中其相对于其他标志点距离变化的大小 来衡量；距离变化越小说明这个标志点的稳定性就越大，权值也越大；距离变化 越大说明这个标志点的稳定性越小，其权值也越小因此可以得到权值的表达方 法： m = ( 喜屹) - 1 ， 其中：= 两1 善n ( 一一) ，石= 专喜，为第i 个形状中第k 点和 第j 点的距离。 通过最小二乘法来最小化d ( x 。，x ：) ，可以得到对应的只毋，f y ，用它们来进 行形状的对齐，即由z ；ha y ，r = ( a 7 w 7 w a ) “a 7 w 7 w x 。可以得到； j = 耳、o = a r c t a i i 、和。 c o s ( a r c 协i l 生) 以 q 在人脸形状的对齐过程中，为了肪止每一循环