（计算机软件与理论专业论文）基于分区的颅面统计重建算法研究与实现.pdf

摘要 颅骨面貌复原是刑侦、考古等领域的研究热点和难点。本文提出了一种基于分区统 计模型的颅骨面貌复原算法，可降低小样本问题带来的复原误差。将颅面模型按照生理 结构划分为眼睛、鼻子等区域，以分区为单位进行面貌复原，减小了小样本问题的影响。 将复原的各个分区光滑拼接得到误差较低的复原结果。主要研究工作如下： 1 ) 统计样本预处理：将原始c t 数据处理为参与统计的颅面模型。首先将原始c t 通 过改进s n a k e 进行三维重建，再采用i c p 算法配准去除仿射变换误差，最后建立模型的点 对应关系。 2 ) 颅面三维模型分割和光滑拼接：提出一种针对颅面模型的几何模板分割算法。通 过特征点构造辅助几何模板，对颅面三维模型进行符合生理结构的分割。同时提出一种 将面皮各个分区拼接成整体的光滑拼接算法。 3 ) 分区统计模型的建立：提出了将颅面模型区域分割后建立分区统计模型，该算法 在样本个数不变的情况下降低了统计维数，提高了统计模型的表示能力。 4 ) 基于分区统计模型的颅面复原：提出了基于分区统计模型的颅面复原算法，通过 分区统计模型独立复原各个面皮分区，再应用光滑拼接算法得到比基于整体统计模型误 差更低的面貌复原结果。 5 ) 面貌复原系统的设计和实现。v c 方便的界面功能和m a t l a b 强大的数值计算能力 有机结合，将颅面模型配准、模型点对应、颅面分区、统计模型训练、面貌复原等相关 算法集成应用，设计并实现y r e c f a c e 面貌复原系统。 本研究得到国家自然科学基金重点项目“颅面形态学和颅面重构的研究” ( 6 0 7 3 6 0 0 8 ) 的支持。 关键词：颅面复原，模型分区，分区统计模型，分区拼接 r e s e a r c ha n di m p l e m e n t a t i o no ff a c i a lr e c o n s t r u c t i o nb a s e d o nar e g i o n a ls t a t i s t i c a lc r a n i o f a c i a lm o d e l a bs t r a c t r e c o n s t r u c t i o no ff a c i a ls o f tt i s s u ei sa l le s s e n t i a lp r o c e s s i n gp h a s ei nf o r e n s i c s ， a n t h r o p o l o g ya sw e l la sm a x i l l o f a c i a ls u r g e r y i nt h i sp a p e r ，w ep r o p o s eaf a c ea p p e a r a n c e r e c o n s t r u c t i o na l g o r i t h mb a s e do nar e g i o n a ls t a t i s t i c a lc r a n i o f a c i a lm o d e lc a l l e dr s c m ， w h i c hc a nc u td o w nt h er e c o n s t r u c t i o ne r r o rc a u s e db yt h es m a l ls a m p l es i z ep r o b l e m a f t e r t h es h a p eo ft h ec r a n i o f a c i a lm o d e li sd e c o m p o s e di n t oaf e wo fs e g m e n t s ，s u c ha st h ee y e s ， t h en o s ea n dt h em o u t hr e g i o n s ，t h ej o i n ts t a t i s t i c a lm o d e l so fd i f f e r e n tr e g i o n sa r ec o n s t r u c t e d i n d e p e n d e n t l y t h e nt h ef a c er e c o n s t r u c t i o nt a s ki sf o r m u l a t e da sam i s sd a t ap r o b l e m ，a n di s a l s of u l f i l l e dr e g i o nb yr e g i o nr e s p e c t i v e l y f i n a l l y ，t h er e c o v e r e df a c ei sa s s e m b l e db yl e s s e r r o rr e g i o n s t h em a i nc o n t e n t so ft h i sp a p e ra r el i s t e da sf o l l o w ： ( 1 ) 3 dc r a n i o f a c i a lp r e p r o c e s s i n g ：3 dc r a n i o f a c i a l m o d e l si s a c q u i r e dt h r o u g ha d e v e l o p e ds n a k ea l g o r i t h m ，t h e n i c pr e g i s t r a t i o ni s a p p l i e d o ne a c h o n e ，f i n a l l y c o r r e s p o n d e n c ei se s t a b l i s h e db ym i n i m u m d i s t a n c em e t h o d ( 2 ) p r o p o s e dad e c o m p o s i t i o na n da s s e m b l ea l g o r i t h m o nc r a n i o f a c i a l ：t h e d e c o m p o s i t i o ni se x e c u t e dt h r o u g ha na s s i s t a n tg e o m e t r i ct e m p l a t ed e f i n e db yt h el a n d m a r k s o nf a c ea n ds k u l lm o d e l o nt h ec o n t r a r y ，a s s e m b l i n gm e t h o di sp r o p o s e df o rs o l v i n gt h en o t s m o o t ha s s e m b l e df a c em a ya p p e a ro nr e g i o n se d g e ，m a d et h er e s u l tf a c em o r en a t u r e ( 3 ) r e g i o n a ls t a t i s t i c a lc r a n i o f a c i a lm o d e l ( r s c m ) ：u s i n gr e g i o n a lf a c ea n ds k u l ld a t a ， t h es t a t i s t i c a lm o d e li sc o n s t r u c t e dr e s p e c t i v e l yf o re a c hr e g i o n s i n c et h en u m b e ro fv e r t i c e s i ne a c hr e g i o ni ss m a l l e rt h a nt h ew h o l em o d e l ，r s c mi sm o r ef l e x i b l et h a ni n t e g r a t e d s t a t i s t i c a lc r a n i o f a c i a lm o d e l ( 4 ) r e g i o n a ls t a t i s t i c a lc r a n i o f a c i a lm o d e lb a s e df a c i a lr e c o n s t r u c t i o n ：t h er e g i o n so f r e c o v e r e df a c e sa r ea c q u i r e dr e s p e c t i v e l yb ys o l v i n gaf o r m u l a t e dm i s s i n gd a t ap r o b l e m t h e n a s s e m b l i n ga l g o r i t h mi sa p p l i e do nt h o s e t oa c h i e v ea c o m p l e t e ds m o o t hf a c em o d e l a n dt h e r e s u l ti sp r o v e db e t t e rt h a ni n t e g r a t e ds t a t i s t i c a lm o d e l ( 5 ) f a c i a l r e c o n s t r u c t i o ns y s t e md e v e l o p m e n t ：as t a t i s t i c a lb a s e dc r a n i o f a c i a l r e c o n s t r u c t i o ns y s t e mi sd e s i g n e da n di m p l e m e n tt oc a t e rt h ed e m a n do fp r a c t i c e k e yw o r d s ：c r a n i o f a c i a lr e c o n s t r u c t i o n ，3 dm o d e ld e c o m p o s i t i o n ，r e g i o n a ls t a t i s t i c a lm o d e l ， r e g i o n sa s s e m b l i n g 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。学 校有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人 允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。同时授权中国科学技术信息研究所等机构 将本学位论文收录到中国学位论文全文数据库或其它相关数据库。 学位论文作者签名：j 塑过指导教师签名：啦 土。卯年歹月2 弓日 二o j 6 年6 月z1 日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，本论文不包含其他人已经发表或撰写过的研究成果，也 不包含为获得西北大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作 了明确的说明并表示谢意。 学位论文作者签名：密岛仪 o ，d 年月) 弓同 西北大学硕：l 学位论文 第一章绪论 1 1 研究背景 世界上不存在完全相同的两个人类颅骨，颅骨被近代科学家当作是人体的一种生物 特征。颅骨面貌复原是根据某个未知面皮的人类颅骨特征和颅面的形态统计知识来推断 出该颅骨的原有面貌。该技术在法医学、考古学、医学整形等领域都有重要的研究意义 和实用价值【。 在法医学应用中，颅骨面貌复原属于身份鉴定技术的一种。在案件侦破中，颅骨面 貌复原的目标是对未知身份颅骨的面部关键特征的恢复，以达到能够辨认的目标，进而 确定死者的身份。传统的身份鉴定技术包括d n a 鉴定，牙齿鉴定，指纹鉴定，颅相重合 【2 1 等技术。而当实际应用往往需要面对的是有效生物特征都已毁掉的场合，比如空难或 者火灾现场等，大部分传统的身份鉴定技术便失去了作用。相比其它人体特征，颅骨具 有坚固性，极强的抗腐性等不容易被破坏的优点，因此基于颅骨的身份鉴定技术具有最 广泛的应用场合，是身份鉴定技术中的一张王牌。 在考古学应用中，古人类学的专家们总是有兴趣致力于对古代著名人物的容貌的复 原，还原历史人物形象。另外对古人的颅面复原也有助于人类认清自身的进化过程以及 其它一些人类学相关研究。在国内，对古人容貌复原的应用有明王妃马王堆辛追夫人、 楼兰美女等。在国外，有曼切斯特大学对古埃及大约3 0 0 0 年前第1 9 世法老的木乃伊的面 貌复原。德国著名作曲家巴赫遗骨的确认、弗里吉亚国王迈达斯( 弗里吉亚是一个古国， 位于今天的土耳其中部) 、帖木儿帝国的开国皇帝帖木儿、马其顿国王菲力普二世( 亚 力山大大帝的父亲) 、苏格兰国王罗伯特布鲁斯三世、英国国王奥立弗克伦威尔等历史 名人面相的重建。在考古界，颅骨面相复原技术立下了赫赫战功。 在医学整形应用中，颅骨面貌复原技术主要用于医疗手术和美容手术。在医疗手术 后，往往造成原始面部软组织的损坏，需要进行面皮的重建。在现代美容中，美容师会 对病人的面部的骨骼进行切除或者是填补，进而得到美观的脸型。在这些应用中，颅骨 面貌复原技术用来辅助预测术后效果。 本文主要的研究内容就是通过使用现代计算机技术，将计算机强大的计算能力，丰 富的可视化表示手段引入到颅骨面貌复原中，探讨有效利用计算机获取颅骨和面貌之自j 的联系的方法，并将这种联系应用到数字化的三维颅骨上，在计算机中快速得出颅骨的 复原相貌。 第一章绪论 1 2 研究意义 在我国的刑侦案件中每年都有许多无名尸骨需要进行身份确认。但是由于到目前为 止基于计算机的颅骨面貌复原技术尚未成熟，广泛采用的方式仍然是手工复原方法。由 于手工复原操作的局限性，大部分尸骨身份不能得到及时的身份确认，耽误了案件侦破 的进度。 另外，近些年我国考古领域对颅骨面貌复原技术的需求也日益迫切。传统手工的手 工复原无法满足数目庞大的古代颅骨的面貌复原要求，目前发掘出的许多历史人物的头 骨无法进行及时的面貌复原工作，无法发挥考古工作的最大价值。 因此目前在我国，基于计算机的颅骨面貌复原技术的迫切需要更为深入地开展。本 文得到了国家自然科学基金的大力支持( 基金编号：6 0 7 3 6 0 0 8 ) 。该项目的主要目的是 通过建立一个中国人的颅骨面貌的大型三维数据库，对中国人的颅骨面貌形态学和颅面 复原进行研究。其中面貌复原研究路线主要包括基于知识模型、基于模板变形模型和基 于统计模型等三种。本文基于统计模型技术路线对颅骨面貌复原相关技术展开研究。 1 3 国内外研究现状 颅骨面貌复原从1 9 世纪术发展到现在已经经过了一个多世纪，到目前有很多复原方 法和许多成功的复原案例。从起步上看，欧美国家研究较早展开这方面的研究，在技术 和方法上都占据着绝对的优势。但近些年来，在我国国内的西北大学【2 1 1 、北京大学等高 校和公安部等相关单位也都进行了大量的研究工作，并且取得了丰硕的成果。 现有的复原方法从采用的技术手段上，可以为手工复原和计算机复原。其中计算机 复原法中根据采取的方法不同，又大致可以分为软组织厚度法、参考模板法和统计模型 法。 1 3 1 手工复原 最早在1 8 7 7 年的时候，解剖学家s c h a f f h a s e n 提出了颅骨复原面貌的设想。世界上第 一次成功的颅骨面貌复原是在1 8 9 5 年，解剖学教授h i s 和雕塑家s e f f n e r 通过颅骨复原技 术对著名音乐家巴赫遗骸的确认【3 1 。在1 9 8 4 年对巴赫所埋葬的教堂附近的发掘中发现了 许多具遗骨，不能确定那具是属于巴赫。s e f f n e r 在h i s 的帮助下，根据颅骨的解剖学特 征以及其它信息，对其中的某个颅骨雕刻了一具半身像，如图1 1 。这具半身像和巴赫 生前画像非常相似，因此确定出了巴赫的遗骸。从此，颅骨面貌复原技术的广泛应用和 研究便拉开了序幕。 2 西北 学磺i 。学位论立 国1 1 世界首例颅面复原雕像 到了2 0 世纪二、三十年代，继基于解剖学的雕刘法颅面复原技术以后，人们丌始片j 泥塑面貌法取代了雕刻复原法。在1 9 2 7 年，苏联法医学教授g r i g o p d e v ”利用在j 作中 搜集的大量的尸体的头颅上软组织厚度数据，在其考古工作中为帖术儿( 帖木儿帝幽的 开国挈帝1 3 3 6 1 4 0 5 ) 复原相貌时，将这些软组织厚度数据应用了进去。其过程是， 首先为头骨制作一个石膏模型。然后在模型上打下许多洞，在每个洞中插入根木条， 术条外在长度和浚处的软组织厚度一致。最后，在眼睛处用塑料眼球填充，面部的肌肉 用陶土表示，直到所有木条恰被覆盖为止。整个过程是从颈部和下巴丌始，依次向上进 行覆盖最后佴进行i 。些修饰，复原过程如图1 - 2 。 图1 2 传统手工泥塑面貌复原过程 到了1 9 4 6 年，k r o g m a n ”恸该方法进行了改进除了使用面部特征点处的平均软 组织厚度信息还加入待复原颅骨性别、死亡年龄等人类学信息的考虑。到了1 9 9 3 年人 们开始分别考虑到各个人类种族之l 旬的面部特征的差异，丌始区分种族的进行软组织厚 度信息的测量56 。 雕刻法和泥塑法是手工复原中的两种方法。相比雕刻法，泥塑法小需蔓操作者具有 解剖学的专业知识，更为简单容易操作。因此泥塑手工复原法一直沿用至今，是手工复 原中虽经典的方法。但无论是雕刻法还是泥塑法，都有以下缺陷：第一，对操作技术 人员的经验要求很高，而且还需要具备一定的艺术基础，因此只有少数经验丰富的专家 第一章绪论 j 能承担此项工作。第二，操作过程耗时，从制作颅骨模型，特征点定位，定长木桩接 入等一套完整的复原过程可能长达数月。第三，复原的结果不可避免地会受到操作人员 的主观因素的影响。 i 3 2 计算机复原 近代计算机技术的迅猛发展给颅面复原技术提供了新的发展空间。通过将计算机强 大的计算能力，高效的可视化能力引入到颅骨面貌复原工作中，使颅骨面貌复原技术发 生了质的飞跃。基于计算机的颅骨复原技术具体涉及到法医学、人类学、解剖学、计算 机图形学、计算机图像处理、计算机视觉、模式识别、美术学等许多学科的知识。 相比手工复原，计算机复原方法具有很大的优势。第一，短的复原周期，可以大大 节省复原所需的时间，而且还可以按照年龄、性别、胖瘦等进行多次复原，以求取得最 相似结果。第二，优秀的可视化能力，复原出面貌结果后，可以通过计算机方便地添加 肤色、皱纹、甚至是人脸表情动画等等手工复原所不能及的处理。第三，更具客观性， 手工复原结果很难摆脱操作人员的主观猜测，计算机则完全根据客观数据进行处理。 当前计算机复原主要包括如下步骤：颅骨面貌的某种量化联系的建立、颅骨3 d 数字 化、面貌复原、五官修饰、纹理修饰( 肤色、皱纹、毛发等等) 。根据复原思想的不同， 大致可以将基于计算机的颅骨面貌复原方法划分为三类：第一类是仍然利用软组织厚度 数据作为颅骨和面貌的量化联系，但采用计算机图形学的方法来代替手工复原中的泥塑 过程；第二种采用计算机模板变形的办法；最后一种是基于统计模型的复原方法。 ( 1 ) 软组织厚度相关方法：目前计算机的复原算法中，相当大部分仍然采用特征 点处软组织厚度信息作为颅骨和面皮的量化关系。现今软组织的厚度测量有多种方法【6 7 】 可供选择。根据测量借助的工具【4 】分为：针刺法，x 放射照片，c t ( c o m p u t e d t o m o g r a p h y ) ， m r i ( m a g n e t i cr e s o n a n c ei m a g i n g ) 等。 长时i 日j 的技术发展中积累了大量的软组织厚度的数据。根据对c a r ln s t e p h a n 和e l l i e k s i m p s o n l 6 l 对6 0 多篇软组织厚度研究文献得出，目前全世界共有6 7 0 0 多套软组织厚度 数据。被研究对象总数约达1 0 3 1 0 0 。测量时间从1 8 8 3 年至今。测量对象包括尸体和活人。 测量种族包括中国人、印度人【8 】、美国人、葡萄牙人9 1 、澳大利亚人、日本人【4 1 等，每 个种族中测量个体平均约4 0 。有了软组织厚度数据的支撑，一些学者将这些数据应用到 计算机颅骨面貌复原中来。 a r c h e r i o 将b 样条曲面表示的人脸模型变形到插有虚拟木桩的数字化的颅骨上，其 中虚拟木桩的长度等于该特征点处的软组织厚度。 4 西北大学硕卜学位论文 v a n e z i s 等【l l 】事先建立了一个模板库，在开展一次复原时根据待复原颅骨的人类学信 息比如种族、b m i 指数、性别和年龄等从库中选择一个最接近的模板。最后，根据软组 织厚度信息将模板套到颅骨上，得出复原面皮。 k a h l e r 等【1 2 1 建立了一个通用的模板，和他人不同的是该模板不光包括一个通用面 皮，而且还包括肌肉模型。其变形过程仍然使用特征点处软组织厚度作为变形约束，这 样产生的复原结果可以方便进行表情动画处理。 中国北京大学p e i 等指出仅仅使用少数的特征点出的软组织厚度不能充分地表现人 脸的细节信息，并于2 0 0 8 年在文【l3 】中提出了一种使用深度图来表示人脸和颅骨的全部软 组织厚度信息。 基于软组织厚度的计算机复原算法的优点是可以利用手工复原法中建立的软组织 厚度数据库。但同时也存在缺陷，首先是复原过程采用软组织厚度均值使得复原结果缺 乏个性：其次是大部分该类方法使用仅仅几十个特征点的厚度信息来复原面貌，这样的 结果并不能很好地对面部细节复原，使得复原结果和真实人脸相差较大。 ( 2 ) 参考模板变形法：基于计算机图形学的模板变形方法基本的复原过程是选取 一个和待复原颅骨相似的参考颅骨模型和相应的面皮模型。然后根据待复原颅骨和参考 颅骨上的某种关系进行变形，通过将模板中的颅骨变形到和待复原颅骨一致，同时将变 形同步到模板中的面皮上。通过这种办法来得到待复原颅骨对应的面皮。 在变形控制上，q u a t r e h o m m ei j 4 】通过峰线( c r e s tl i n e s ) 来控制模板中颅骨和面皮的变 形过程。n e l s o n 等t 1 5 1 使用控制点集( c o n 仃o id a t as e t s ) ，而j o n e s 等【1 6 】使用的是特征点。这 种方法的优点是后期的纹理、表情的处理容易实现，但其缺点首先是变形函数参数的确 定需要大量的手工参与。其次复原结果受参考颅骨的选择的影响，由于只有一套模板作 为支撑，因此复原结果必然具有偏向性。 ( 3 ) 统计模型复原法：基于统计模型的可变形模型复原方法是最新的一种复原方 法。m a x i m eb e r a r 1 7 】最早提出该算法，他在2 0 0 5 年创新地将统计模型应用到颅骨面貌复 原中来，通过建立颅骨与面皮的联合统计模型，得出颅骨和面皮的在高维空i 日j 的特征向 量和特征值，其中特征向量控制着模型的变形趋势，特征值控制着变形范围。然后再根 据待复原颅骨的形状和统计模型联合求解，从而恢复出待复原颅骨对应的面皮。p e t e r 等人1 1 9 1 在2 0 0 6 年也提出了一种类似的复原方法，所不同之处是他将颅骨特征点和整体面 皮进行联合统计通过待复原颅骨特征点来复原出面皮结果。 该类方法的优点是：第一，不再使用少数特征点来代替颅面特征，而是将所有的顶 第一章绪论 点均参与到复原过程中，因此复原结果在细节上具有更强的表示能力。第二，统计变形 更符合人脸形状变化规律。统计可变形模型根据许多真实人脸形状进行统计，其优点是 模型的形变是在人脸形状空间范围内进行变形，这样使得复原结果的细节更为符合人脸 的生理结构。但是其缺点是精确人脸可变形模型的建立需要海量的样本，而数据的获取 需要耗费大量的人力，物力，实践中往往只能获得少量的样本。这也是三维统计模型中 经常会遇到的小样本问题【2 0 1 。 1 4 本研究技术路线和难点 本文主要基于统计模型路线对颅骨面貌复原相关技术进行研究。近几年基于统计模 型的颅骨面貌复原方法开始兴起，由于有同类面貌样本的先验知识作为支撑，因此基于 统计的复原结果要优于其它计算机复原方法，具有更高的科学性、客观性。但是目前该 类方法存在的障碍是，三维统计模型的顶点数目往往非常多，对于颅骨和面皮三维模型， 顶点个数一般在数千至数万之间。但是相对来说，实践中可以参与统计的样本数目往往 只有数十顶多上百个，相对模型顶点个数显得过少。因此样本个数限制了颅面统计模型 的表示能力。本文的研究工作是从降低统计模型的维数入手，研究思路是首先将颅骨和 面皮分别按照人体生理结构划分为若干区域，然后分别针对每个分区建立颅面统计模 型，然后分别复原单个面皮分区，最后光滑拼接得到复原结果。该算法的主要优势在于， 在相同样本个数的情况下，可以提高统计模型的表示能力，降低面皮复原结果的误差。 本次研究工作的主要难点和关键问题在于： ( 1 ) 大规模三维模型点对应关系的建立：在传统的二维统计模型应用中，往往点对 应关系是通过手工标定的方式建立。但是对于三维模型来说手工标记太过于耗时，且过 多的特征点必然导致其特征的模糊性，容易造成标定误差。因此，如何能够建立一种自 动化的方法对大规模的三维模型进行点对应关系的建立是首先要解决的一个难题。 ( 2 ) 符合生理结构的颅骨面貌模型分区：由于颅骨和面貌三维模型的区域之间没有 明显的区分特征。传统的三维模型分割算法并不能很好地应用于本项目。因此研究如何 对人类颅面模型进行符合生理结构的分区是研究中的另外一个需要解决的难题。 ( 3 ) 颅面分区的光滑拼接问题：在对颅面三维模型进行分区处理后的另外一个问题 就是如何将各个分区拼接成一个连续的、光滑的整体模型。这也是研究中的一个关键点。 ( 4 ) 分区统计模型的建立以及复原问题：通过使用在分区颅骨面貌模型，如何建立 统计模型使得统计模型的表达能力更强，更有效描述颅骨面貌模型的形态变化规律；如 何构建分区面皮复原数学模型，能有效地降低复原面貌结果的误差是本次研究工作中的 6 西北大学硕t 学位论文 重点。 1 5 本研究的内容和创新点 本文研究主要内容如下： 1 ) 颅面数据预处理：研究颅骨面貌数据的重建、配准和点对应算法。通过采用基于 s n a k e 算和轮廓线提取的方法得出单层、不包含杂质的三维颅骨和面皮模型，然后使用 i c p 配准算法去除仿射变换，最后采用最近点的方法建立点对应关系。 2 ) 区域划分：研究适用于颅骨和面皮的三维模型分区算法。传统的三维模型分割算 法很难应用到颅骨面貌模型的分区上，本文提出了一种基于特征点的几何模板的颅骨面 貌模型区域划分算法。 3 ) 区域拼接：研究将面部各个分区光滑拼接算法。当面皮各个分区直接拼接到一起 的时候，会出现边界不光滑的情况，本文基于分区曲面变形约束实现了将各个面皮分区 光滑拼接成整体面皮。 4 ) 基于整体统计模型面貌复原：研究颅面统计模型的建立，以及面貌复原算法。通 过主成分分析的方法对颅骨和面貌的整体模型建立联合统计模型，将面皮复原问题转化 为方程组求解的数学模型，并使用该算法得出了误差较低的面貌复原结果。 5 ) 分区统计模型的建立：将已经分区处理过的颅骨和面皮按照各个对应的分区分别 建立统计模型。使得在样本个数相同的情况下，可以建立具有更高表示能力的统计模型。 6 ) 基于分区统计模型面貌复原：将基于分区的统计模型应用到颅骨面貌复原中。分 别通过各个分区的联合统计模型，依次复原出面皮的各个分区，最后使用本文提出的分 区光滑拼接算法拼接得到一个整体复原面貌结果。并通过实验证明了在相同样本个数的 情况下，基于分区统计模型相比整体统计模型能够有效降低复原误差。 本文的主要创新点如下： 1 ) 颅面分区统计模型的建立：提出了将整体颅面模型划分成若干个分区，对各个分 区建立独立的统计模型。使得在相同样本个数情况下，建立起表达能力更强的统计模型。 2 ) 基于分区统计模型的面貌复原：提出将基于分区的统计模型应用到颅骨面貌复原 中来，将颅骨与面皮有直接联系的分区进行联合统计，各个分区进行独立复原。该算法 降低了小样本问题对整体统计模型复原的影响，使得在同等样本个数的情况下，提高了 复原结果的准确度。 3 ) 颅面模型分区和拼接算法：提出了一种基于特征点的几何模板分区算法，对颅面 三维模型进行区域划分。与之相对应，还提出了一种将各个面皮分区拼接成一个光滑、 7 第一章绪论 真实的整体面皮模型的算法。 1 6 文章的组织结构 本文的组织结构如下： 第一章，绪论。分析了颅骨面貌复原技术的研究背景、研究意义及其应用领域，总 结了该领域的国内外研究现状。在此基础上，给出了本文的研究路线及研究内容。 第二章，颅面数据预处理。提出了颅面模型分区和分区拼接等算法，并对采集的原 始c t 数据进行了一系列的预处理。具体步骤包括：三维重建、杂质剔除、模型配准和点 对应关系建立。 第三章，颅骨面貌模型分区和拼接算法。提出了一种针对三维颅骨和面皮的新模型 分区算法，分别将颅骨和面皮模型划分成左眼、右眼、鼻子和嘴巴等区域。针对分区的 模型拼接可能存在一些不光滑问题，本章介绍了一种针对统计模型的面皮光滑拼接算 法。 第四章，颅面整体统计模型及面皮重建。研究了三维颅面模型统计训练过程，以及 根据统计模型和待复原颅骨求解复原面皮的算法。最后分别使用5 0 套面皮和2 0 套颅面数 据进行了面皮重建，通过实验证明了统计模型的修复能力。 第五章，颅面分区统计模型及面皮重建。本章将颅面样本进行了区域划分之后，然 后分别将颅骨面皮的对应分区建立联合统计模型。然后根据待复原颅骨分区模型分别复 原出各个面皮分区，最后将所有面皮分区光滑拼接到一起，得出最终的面皮复原结果。 第六章，颅骨面貌复原系统的设计和实现。根据国家自然科学基金项目需要，设计 并实现了颅骨面貌复原系统。 第七章，总结和展望。对本文所做的研究工作进行了总结，并对目前研究中存在的 问题进行了叙述，为后续的研究指引了方向。 8 北太学硕i 岸位论女 第二章颅面数据预处理 基于统计模型的颅骨面貌复原技术正在兴起，相比其它计算机颅骨面貌复原方法， 统计模型法有着显著的优势。基于统计模型的复原方法将所有的颅面样本作为先验知识 指导面皮复原过程，避免了参考样本单一性对结果的影响；其次统计变形过程约束着模 型的变形在样本集的形状空间中进行使得复原结果面皮形状更为客观。因此基于统计 模型的计算机颅骨面貌技术具有巨大的优势。 但是相对其它复原算法，统计模型对颅面样本有更高要求具体有以下三点： 1 ) 所有的模型是三维空间上的点分旬模型 2 ) 所有的模型都配准到同一位置，消除仿射变换的影响 3 ) 所有的模型之间必须具有点对应的关系。具体要求是：首先所有的模型的顶 点个数必颁相同：其次，各个模型同序号顶点具有位置对应的关系。 为了将统计的方法应用到颅骨面貌复原的研究工作中，需要对采集的原始c t 数据进 行许多的预处理工作，这些预处理结果的好坏将直接影响i 后续研究步骤。 本文中，对原始c t 数据的处理步骤如下：第一步，将c t 处理成无杂质的光滑的 三维颅骨和面皮模型。第二步，将所有的数据进行配准，去除模型之间的仿射变换对后 续统计工作的影响。第三步，将所有配准过的数据建立点对应的关系。经过这些步骤处 理后的数掂才可以开展统计训练。 2 i 三维颅面数据获取 1 ) 原始c t 数据获取 本项目中采用的太部分数据是从医院中获得的真实c t 数据，符合颅而复原实验的客 观性要求。所有原始c t 数据均由螺旋c t ( c o m p u t e r t o m o g r a p h y ) , t t l 采集得到。c t 机对人 的头部每隔15 r a m 进行一次扫描，最终根据每个人头部的大小得到约2 0 0 - 3 0 0 张c t n 像。 图2 i 琢始头部c t 图 c t 机将这些图像保存成计算机可以识别的d i c o m ( d i g i t a li m a g i n g a n d 第_ 二章颅面数据预处理 c o m m u n i c a t i o ni nm e d i c i n e ) 格式1 2 2 1 的文件，该标准由美国放射学会( a c r ) 和全美电子 厂商联合会( n e m a ) 组成的联合委员会联合制定。目前普遍采用的是该联合委员会于 1 9 9 3 年发布的d i c o m 3 0 标准。在该标准中不仅仅规定了医学图像的存储格式，还涵盖 了医学图像的采集、归档、通信、显示及查询等几乎所有信息交换的协议。d i c o m 标 准使得医学影像相关的工作大大得到了简化。 2 ) 颅骨和面皮的三维重建 原始c t 数据仅仅是二维断层图像的集合，而三维统计模型数据要求所有的样本是点 分布模型。需要将原始c t 数据转化为三维的颅骨和面皮三角面片模型，其中面片的顶点 等同于点分布模型中的顶点。将c t 数据转化成三维模型需要经过以下两步： 步骤l ：轮廓提取。轮廓提取是三维重建的基础，首先需要对c t 图像进行颅骨或者 面皮轮廓的提取。目前比较常用的轮廓提取有以下方法1 2 4 l ：r o b e r t s 边缘检测，p r e w i t t 边缘算法，s o b e l 边缘算法，c a n n y 边缘算法。接下来，需要通过设定轮廓提取阈值来将 骨质部分和表皮部分分离开来。l o r e n s e n 等人于1 9 8 7 年提出了经典的m c ( m a r c h i n gc u b e ) 算法【2 9 l 直接通过阈值来重建三维模型。但其问题有两个：一是在重建表皮的时候，由于 颅内的耳廓和鼻腔等位置处的颜色灰度和面皮基本接近，因此重建出来的模型包含了了 耳廓和鼻腔等杂质；其二是对于颅骨，内层和外层阈值也相同，因此重建出的颅骨并不 是单层数据，而是有厚度的颅骨模型。 k a s s 等人于1 9 8 7 年提出s n a k e 模型( 又称活动轮廓模型) ，是一种新的轮廓提取算 法。活动轮廓模型又分为参数轮廓模型和几何活动轮廓模型。几何活动轮廓模型基于曲 线演进理论和水平集方法【3 9 j 。参数活动轮廓模型( s n a k e 模型) ，有效融合了人的主观 对图像认识的外形轮廓1 4 0 1 。其优点是可以通过轮廓的整体信息的指导来自动修复间断的 边缘，但其无法提取凹陷的目标轮廓。 在本文中采用基于改进s n a k e 算法与射线法相结合的思想，通过s n a k e 算法提取颅骨 和面皮的轮廓之后，又采用了一种中心射线算法【3 8 4 1 1 进行杂质剔除和轮廓线进行单层 化。其过程是由中心发射出射线，该射线和轮廓线有多处相交点。则每次只保留最外层 的交点。如果最外层的交点是杂质点，则手工去除掉。从而结果得出的轮廓是不包含杂 质并且是单层轮廓。 步骤2 ：相邻轮廓拼接。常用算法有最小表面积法【2 5 1 、最大体积法【2 6 】、最小对角线 法【2 刀、最小角度法等。但以上算法在执行的时候，求最值较为耗时。因此本文采用 g a n a p a t h y l 2 8 l 算法，该算法使得连接操作在两条轮廓上同时进行，因此时间复杂度仅为 l o 口北 学坝i 举怔培史 o ( n ) l ，则顶点 p 在平面f l a t 外侧：( c ) 如果吐 i ，则顶点p 在平面f l a t 的内侧。 同理分别将顶点p 代八胁2 ，f l a t ，f l a t 。中一得出吐，吒和吐。( a ) 如果吐，吐，以，吐其 中某个为1 ，那么顶点p 在该四面体表面上：( b ) 如果q ，吐，吐，吐均小于i ，那么顶点p 在 该四面体内部：( c ) 否则顶点p 在该四面体外部。 3 2 面皮分区光滑拼接算法 321 分区拼接出现的光滑性问题 将独立的模型分区直接拼接到一起组成整体模型时，在边界拼台处可能会出现边缘 不平滑过渡的现象，影响整体模型的真实性，如图3 4 。 图3 0 分区拼接不光精 通过对不平滑的拼接进行分析后，本文按照造成不平揖的现象原因，将区域拼接不 平滑问题归化为以下两类： ( 1 ) 第一类不平滑问题：分区整体拼合位置不当 某个分区的整体位置不当整个分区过于靠前或者靠后，或者偏向其它的方向。这 类问题可以通过对整个分区进行刚性变换，例如位置调整即可实现光滑拼接。 如图3 5 的拼接后的面貌模型中，在嘴巴分区、鼻子分区以及眼睛分区均出现了拼 接不平滑现象虽然各个分区和人脸的真实形状非常吻合，但整体却显得非常不符合，实 际。导致该问题主要是因为分区的位置不合适。例如。在图3 s ( a ) 中嘴巴分区位置太靠 前造成不乎滑，( b ) 中嘴巴分区太靠后，( c ) 中鼻子分区太靠下( d ) 中的眼睛分区太靠后。 第= 颅骨貌模型升e 8 拼接算法 ( a 】 ( b )( c )( d ) 圈3 - 5 分区位置不当 ( 2 ) 筇二类不平滑问题：分区边缘点坐标不当 在这类问题中，由于两个分区的边缘处曲率较大，无法通过对整个分区进行位置调 整达到光滑拼接的目的，必须要对分区进行某种非刚性的曲面变形，才能实现光滑拼接。 例如，对于如图3 - 6 左，眼睛分区虽然已经调整到合适的拼接位置，但眼睛的边缘 处的项点坐标仍然1 i 能很好地过渡到其它区域的相邻顶点，使拼接后的面皮出现不真实 的情况，在图3 - 6 右中鼻子分区位置虽然准确但鼻子下部的边界处曲率仍然太高。 二 二 圈3 石边缘点坐标不当 3 22 光滑拼接算法描述 在分区模型的拼接上，b o r r e l 首先提出曲面受限变形算法，并应用于交互式变形编 辑。j u nf e n g 等人在文矧中首先是对特征点训练一个框架统计模型( s t a t i s t i c a lf r a m e m o d e l ) 。然后在各个分区进行统计训练的变形后，对每个分区根据该分区的四个顶点 与对应s f m 模型上的特征点位置适当进行仿射变换，整体曲面的平滑依靠的是s f m 对模 型整体的把握。也有学者在划分分区的时候保证各个分区的边界是重台的。当对各个分 区进行变形后边界顶点坐标取各个分区对应左边的平均值分区中除了边界以外的顶 点根据本分区边界顶点的位移参考进行调整，各个分区之间的平滑依靠共享的边界顶点 作为纽带，达到光滑拼接的目的。 然而在本项目中，由于颅面各个分区的边界形状具有不确定性，a m n e 变换并不能 应用在任意形状的边界。另外在本项目中采用的数据的分区边界也并没有设置共享顶 点。在本文中，由于统计模型中的均值模型是所有模型的平均彤状，因此在边界处较为 平滑。因此本文使用该均值模型为平滑的模型作为分区曲面变形限制约束。根据平滑过 程中对分区变换方式以及对参考模型的参考位置的不同本文分别采用了3 种平滑算法。 1 ) 调整分区重心。对整个分区的进行刚性的平移变化，将整个分区的重心调整到 西北大学硕士学位论文 参考均值模型对应分区的重心。主要用于解决第一类不平滑问题。其步骤如下： 步骤1 ：计算不平滑模型分区内所有顶点的重心 步骤2 ：计算参考平滑模型分区内所有顶点重心 步骤3 ：将第一个重心位置对齐到第二个重心，求出平移变换参数 步骤4 ：将平移变换施加到不平滑分区所有顶点 2 ) 调整分区边界重心。由于不平滑问题主要是由于边界处顶点位置造成的，因此 相比较第一种算法，本算法重点计算区域边界的重心，突出考虑边界位置，最后将对整 个分区区域进行平移变换。该方法仍然用于解决第一种不平滑情况，其步骤如下： 步骤1 ：计算不平滑模型分区内边界顶点的重心 步骤2 ：计算参考平滑模型分区内边界顶点重心 步骤3 ：将第一个重心对齐到第二个重心，求出平移变换参数 步骤4 ：将平移变换施加到不平滑分区所有顶点 3 ) 调整边界曲率。以上的两个算法均采用对分区施加刚性的平移变换来达到平滑 的目的，但对第二种不平滑情况不能达到理想效果。本算法是对分区进行非刚性变换， 对分区施加约束变形限制，根据拼接边界处的曲率来约束分区顶点的坐标。具体的算法 过程分为如下两步。第一步，调整边界处顶点坐标，首先在边界处平滑。第二步，调整 分区内其它顶点坐标，保证分区内所有顶点的相对关系。具体操作细节如下： 步骤l ：调整边界处顶点坐标。首先，由用户根据需要设定平滑系数，其中，满足 0 0 t 1 0 ( ，越接近0 表示调整幅度越小，为o 则表示不对边界顶点进行任何调整，越 接近l 表示调整幅度越大，为坝0 表示对边界顶点进行最大程度地调整) 。对每一个边界 顶点根据平滑系数t 值进行顶点位置调整。设k 是待平滑分区某一边界点，k 是平滑参 考模型中的对应点，则调整后的新顶点： p = ( k k ) t ( 3 1 4 ) y = 匕+ d f ( 3 1 5 ) 其中口是调整第i 个边界顶点所进行的平移向量，v 是根据平滑系数t 对原始顶点 k 进行调整后的结果，算法示意图如图3 7 。 第= 颅骨面貌模型分匡和拼接算* 肚喜c 嘉唧骞脚+ 骞w 。 图3 8 特征点标定结果 在特征点标定工作完成之后，根据特征点建立了辅助几何模板，见圈3 9 两# 学碾 学位论立 口 图3 1 0 基于特征点分区算法结果 在本项目中，使川以上的算法对大约5 0 多套数据进行了分割处理，其中9 5 以上郝 达到了萨确的分区结果，为后续的研究工作奠定了很好的基础，部分颅骨面貌二维模型 分区结果见刚3 1 1 ，其中左侧是束分区的整体模型右侧是经过本文分区算法的处理结 果各个分区使用不同颜色显示。 图3 - 1 1 人类颅骨和面皮模型分剖结果 332 分区拼接结果 与模型分区相对应，分区拼栏将各个分区拼接为整体模型。在拼接的过程中分别应 用了本文巾提出的3 种光滑拼接算法。由于各种平滑算法的原理不同，因此达到的平滑 效果并不相同。 第= 颅骨面貌模型丹g 和拼接算法