（运筹学与控制论专业论文）基于多视图几何方法的三维树状物体的重建研究.pdf

。00， at h e s i si no p e r a t i o n a lr e s e a r c ha n dc y b e r n e t i c s l i l ll li iii l li i i ll i iiii y 18 4 2 15 2 t h r e ed i m e n s i o n a lv e s s e lt r e e r e c o ns t r uc t i onb ym ul t i v i 。e ws t e r e o r e c o n s t r u c t i o n b yz h a n gw e i s u p e r v i s o r ：p r o f e s s o rz h a n gx u e f e n g n o r t h e a s t e r nu n i v e r s i t y j u l y2 0 0 8 1 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 i 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 二6 二 恧。 学位论文作者签名：私午 日 期：弘g 7 罗 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年日一年半口 两年口 及；| 幽g- 一弓- 卜 伽磷w 名 期 签 日 币 师 字 导 签 j 可 氍 7夕9 名 签 譬 眷 枷 作 ： 文 期 沦 日 位 字 学 签 ， t i 摘要 基于多视图几何方法的三维树状物体的重建研究 摘要 基于图像的建模技术是近年来兴起的一种备受关注的物体三维建模方法，试图从二 维图像数据出发获得特定物体的三维模型数据。树状物体作为一种普遍的自然实体，其 三维模型的建立在自然景物模拟和医学生物学方面都有重要的意义。基于转动c 臂造影 系统的冠脉造影图像重建心脏血管树的三维骨架具有很好的临床意义和很高的应用价 值。本文讨论了基于多视图几何方法的三维树状物体在转动c 臂造影系统下的三维重建 问题。当造影剂在血管中流动并达到平衡态时，用转动c 一臂造影系统获得的两个投影角 度下产生的图像对可视为一对双平面图像。通过在两幅投影图像中找到树状物体的特征 点( 端点和节点) 并匹配，用双目立体重建算法可以重建三维特征点并连接成血管树。 本文研究的主要内容包括： ( 1 ) 介绍了多视图几何方法所用到的数学基础知识和它的基本原理和方法，研究 了求解基本矩阵的一般算法，提出了一种随机采样一致性估计( r a n d o ms a m p l ec o n s e n s u s ) 加权平移算法，实现了高精度基本矩阵的求解，并通过具体图像实例验证了所提算法较 以往算法的优势； ( 2 ) 阐述了转动c 臂造影系统的成像原理并综合利用树状物体的拓扑结构和极线 约束实现了特征点的自动匹配；在特征点匹配的基础上射影重建树状物体，并利用标定 物体( 正方体) 实现欧几里德重建；利用m a t l a b 编程实现了三维树状物体结构的三维 显示；最后，测量树状物体各节点间的树枝长度并与重建结果比较，验证本文算法的有 效性。 关键词：转动c 臂造影系统；点匹配；随机采样一致性估计；基本矩阵；立体重建；射 影重建；欧几罩德重建；分层重建 i i i ， l ， 气 东北大学硕士学位论文 a b s t r a c t t h r e ed i m e n s i o n a lv e s s e lt r e er e c o n s t r u c t i o nb y m u l t i v i e ws t e r e or e c o n s t r u c t io n a b s t r a c t i m a g e - b a s e dm o d e l i n gi sa m e t h o do f m o d e l i n gw h i c hh a sb e e np a i da t t e n t i o ni nr e c e n t y e a r s i t c a ng e tt h er e a l i s t i cm o d e lo fas p e c i f i co b j e c t t h e3 一d ( t h r e ed i m e n s i o n a l ) r e c o n s t r u c t i o no ft r e e l i k eo b j e c t sh a si m p o r t a n ta p p l i c a t i o ni nm e d i c i n e ，b i o l o g ya n dt h e s i m u l a t i o no fn a t u r a ls c e n e 3 - dr e c o n s t r u c t i o no ft h ea r t e r i a lt r e ei ss i g n i f i c a n tf o rp r o v i d i n g a c c u r a t eq u a n t i f i c a t i o no ft h ec o r o n a r yv a s c u l a t u r ea n ds t e n o s i sa s s e s s m e n t t h u s 3 一d r e c o n s t r u c t i o no ft r e e - l i k eo b j e c t sb a s e do nt h et w os i n g l ep l a n ea n g i o g r a m si ss i g n i f i c a n ta n d v a l u a b l e t h i st h e s i se x p a t i a t e st h ep r o b l e mo f3 一dr e c o n s t r u c t i o no ft r e e - l i k eo b j e c t sf r o m i m a g e so b t a i n e df r o mt h er o t a t i o n a lc a r i na n g i o g r a p h ys y s t e ma n dd i s c u s s e st h em e t h o do f r e c o n s t r u c t i n gt h eb r a n c hm o d e l so fa t r e ef r o mm u l t i - v i e ws t e r e or e c o n s t r u c t i o n d u r i n g c a r ma n g i o g r a p h i ci m a g i n g ，t h ec o n t r a s tb o l u sf l o w i n gt h r o u g hb l o o dv e s s e l sm a ys u s t a i na b o l u s b l o o de q u i l i b r i u ms t a t ei nt h es c a nf i e l do fv i e w , w h i c hc a nb ec o n s i d e r e da sq u a s i - s t a t i c o rs t a t i o n a r ys t a t e t h ec a r mi m a g e sc a nb eu s e df o rv e s s e lt r e er e c o n s t r u c t i o nb ys e a r c h i n g t h e c o r r e s p o n d i n gp o i n t s i nt w o p r o j e c t i o ni m a g e s f o l l o w e d b y t w o v i e ws t e r e o r e c o n s t r u c t i o n m a j o rc o n t e n t so ft h i sd i s s e r t a t i o ni n c l u d et h ef o l l o w i n g ： ( 1 ) i n t r o d u c et h e b a s i cm a t h e m a t i ck n o w l e d g e ，b a s i ct h e o r i e sa n dm e t h o d so ft h e m u l t i p l ev i e wg e o m e t r y , r e s e a r c ht h ea l g o r i t h m so fe s t i m a t i o no ff u n d a m e n t a lm a t r i x ，a n d t h e nu s er a n d o ms a m p l ec o n s e n s u s ( r a n s a c ) w e i g h t e dt r a n s l a t i o na l g o r i t h mt oo b t a i nt h e f u n d a m e n t a lm a t r i xw i t hh i g ha c c u r a c ya n dr o b u s t n e s s ； ( 2 ) i n t r o d u c et h ei m a g i n gt h e o r yo fr o t a t i o n a lc - a r ma n g i o g r a p h ys y s t e ma n da d dt h e t o p o l o g yc o n s t r a i n tt oe p i p o l a rl i n ec o n s t r a i n tt or e a l i z et h ea u t o m a t i cm a t c h i n go ff e a t u r e p o i n t s ；r e c o n s t r u c tt h et r e ep h a n t o mb a s e d o nt h ea u t o m a t i cm a t c h i n go ft h ef e a t u r ep o i n t si n p r o j e c t i v es p a c ea n dt h e nr e a l i z ee u c l i d e a nr e c o n s t r u c t i o nw i t ha c u b ep h a n t o mc a l i b r a t i o n ； f i n a l l y , u s em a t l a bt os h o wt h e3 - ds k e t c ho ft h e t r e ep h a n t o ma n dp e r f o r m3 - dt r e e m e a s u r e m e n t s ( t r e es e g m e n tl e n g t h s ) a n dc o m p a r e 晰t lt h er e c o n s t r u c t e dr e s u l t st ov e r i f yt h e e f f e c t i v e n e s so ft h em e t h o di nt h i sp a p e r v v i 0 东北大学硕士学位论文 目录 目录 声明i 中文摘要i i i a b s t r a c t v 第1 章绪论一1 1 1 基于多视图几何方法的三维重建1 1 2 树状物体的建模方法4 1 3 论文研究的背景”5 1 4 论文研究的思路一6 1 5 本文的工作简介7 第2 章多视图几何的基础知识9 2 1 射影几何。9 2 1 1 齐次坐标9 2 1 22 d 射影1 0 2 1 33 d 射影”11 2 2 射影几何的变换层次1 2 2 2 1 射影层1 2 2 2 2 仿射层1 2 2 2 3 度量层1 3 2 2 4 欧氏层1 4 2 3 摄像机模型与多视图几何1 4 2 3 1 摄像机成像模型1 5 2 3 2 对极几何1 7 2 3 3 摄像机矩阵1 8 2 3 4 基本矩阵一1 8 2 3 5 本质矩阵2 0 2 4 本章小结2 l 3 2 1h a r r i s 角点检测2 7 3 2 2 基于狄度相关匹配2 8 3 3 随机采样一致性估计加权平移算法2 9 3 3 1 随机采样一致性估计鲁棒算法2 9 3 3 2 随机采样一致性估计加权平移算法3 0 3 4 实例验证3 l 3 5 本章小结3 3 第4 章转动c 臂下的三维树状物体欧几里德重建算法3 5 4 1 转动c 臂造影系统及点匹配3 5 4 1 1 转动c 臂造影系统3 5 4 1 2 综合利用拓扑结构和极线约束匹配特征点3 6 4 2 射影重建3 7 4 2 1 射影矩阵3 7 4 2 2 三维点的射影坐标计算3 8 4 3 欧几里德重建3 9 4 3 1 射影扭曲矩阵3 9 4 3 2 从射影重建恢复欧几罩德重建4 0 4 3 3 两步欧几里德重建算法4 0 4 4 多视图三维重建4 1 4 5 本章小结4 2 第5 章仿真实验与转动c 臂下的树状模体实验4 3 5 1 仿真实验4 3 5 2 转动c 臂下的树状模体实验4 5 v i i i 目录 ”4 8 一4 9 “5 0 5 7 5 9 ，t&t薅 东北大学硕士学位论文第1 章绪论 第1 章绪论 计算机视觉主要研究的对象是如何利用计算机实现人的视觉功能，即利用二维投影 图像实现对客观世界三维场景的感知、识别和理解。自然界的一切景物在空间都是三维 的，在状态上是运动的，静止只是相对的，所以对计算机视觉的研究和应用从根本上来 说应该是三维的和动态的。 在计算机图像学领域，树状物体的三维重建是一个极富挑战性的问题。长期以来， 人们提出了许多重建方法，目前树状物体的几何与拓扑结构信息的建模方法大致有三 种： ( 1 ) 基于参数控制的过程化方法。针对特定的一类树木利用参数控制来建模，很 难生成某个具体树木的模型。 ( 2 ) 基于体数据的立体逆投影法。针对枝叶繁茂的树木的一组多视点定标图像， 利用空间逆投影得到树木的三维体数据，再从三维体数据生成一棵外形与特定树木相似 的三维树模型。 ( 3 ) 基于多视图几何方法的三维点重建。针对无叶树状物体，寻找枝干骨架上的 对应点，重建骨架，再根据二维图像获得的宽度信息，来生成三维树模型。 无叶树类重建的一个重要应用领域是在医学生物学研究上从x 光照片通过立体视 觉技术来重建人体血管的三维模型。从8 0 年代末开始，人们已开始了这项研究，主要 是人体器官主干血管的建模，以获取其拓扑信息与三维模型。 本文的主要研究目的是：采用数字图像分析的方法，从两幅不同角度的转动c 臂造 影图像中提取树状模体的三维信息，利用多视图几何方法重建树状模体的三维骨架。本 文提出的三维重建算法可以应用于血管造影的三维血管重建，辅助冠心病的诊治。 1 1 基于多视图几何方法的三维重建 3 d ( t h r e ed i m e n s i o n a l ) 重建是计算机视觉长期研究的课题，早期的重建方法都必 需对摄像机进行预标定，因此只能应付静止和己知环境下的重建工作。1 9 9 2 年f a u g e r a s 和h a r t l e y 1 】提出的利用未标定图像序列计算射影结构的理论( 称为基于几何的多视图计 算机视觉) ，使这方面的建模工作有了显著地提高。在这种建模框架下，可以从未标定 图像序列进行射影重建。其研究内容主要包括匹配、摄像机标定和三维重建三个部分【2 1 。 三维重建的先决条件是要解决两幅图像问的对应关系即匹配。匹配包括两个子问 - 1 - 东北大学硕士学位论文笫1 章绪论 题：特征检测和特征匹配。常用的匹配特征有特征点、特征线、特征区域，其中以特征 点的研究较多。特征点主要有零交叉点、角点。d r e s c h l e r 和n a g e l 等【3 】提出了基于曲率 原则的检测方法。s m i t h 4 】提出了著名的s u s a n 角点检测算子，该方法对像素周围区域 最小化，用统计特性来决定该像素的属性，即角点、边上的点还是圆上的点。k i t c h e n 和r o s e n f e l d t 5 】提出了角点检测器，利用了灰度沿边界轮廓梯度方向变化最大的性质。 n o b e l 6 】试图用微分几何给出角点检测的理论公式，并归纳出了在p l e s s e y 算法下的检测 原则。1 9 8 8 年h a r r i s 和s t e p h e n s 对p l e s s e y 角点进行了改进，提出了h a r r i s 算子1 7 j ，这 也是本文所采用的算子。特征匹配往往以灰度相似性为基础，辅以对极几何约束或其它 约束进行搜索。b e a r d s l e y 等【8 】提取角点作为特征点，运用相关性进行匹配，将匹配的结 果用奇异值分解求取了基本矩阵。p f i t c h e t t 和z i s s e r m a n 等【9 】提出了用单应矩阵 ( h o m o g r a p h y ) 取代传统的灰度相似性和极线约束作为匹配的准则，他们近似地认为特 征点及其周围小块区域是空间中匹配的成像，因此匹配点对之间应近似满足单应矩阵的 关系。另外，他们试图寻找一种整体相似变换，以使两幅图像在相差一个常数因子的情 况下具有最大相关性，根据整体变换，估计图像间局部区域的仿射变换，用局部变换来 寻找匹配点。p r i t c h e t t 等的方法对于某些含有丰富匹配信息的图像特别有效。l h u i l l i e r 和l o n gq u a n 等【lo 】提出了一种稠密匹配的新策略，该策略综合了以对极几何约束为代表 的全局约束和以灰度相似、单应矩阵为代表的局部约束，在每次匹配过程中，选取当前 灰度相似性最大的匹配对，在它的周围小区域内寻找更多的匹配对，重复这种过程直至 匹配对充满整幅图像，最后再应用对极几何约束取出错误匹配。该方法对于纹理稠密的 图像特别有效，缺陷是精度不高。m p i l u 1 1 j 提出了一种基于奇异值分解的匹配方法，首 先构造一个包含特征点的g a u s s i a n - w e i g h t e d 距离信息的强度矩阵g ，并对其进行奇异值 分解，接着将得到的对角矩阵的对角元素全部替换为1 而得到一个同维矩阵尸，最后通 过矩阵p 中各个元素的值就能判断出对应特征点是否匹配。由于整个计算过程中全部是 代数意义下的运算，所以匹配的精度有待进一步提高。 要实现欧氏空间下的三维重建，必须确定摄像机的参数及进行标定。微软研究院的 张正友【1 2 】提出了一种利用平面模板的标定方法，该方法只需从不同角度对模板拍摄几幅 图像，通过对每幅图像的单应矩阵即可计算出摄像机内参数，并可以利用反投影法优化 求精。近年来，无需标定物、基于图像序列的自标定方法已成为标定研究的一个重要方 向。f a u g e r a s ，l u o n g 和m a y b a n k 等【1 3 , 1 4 1 首先提出了自标定的概念，从射影几何的角度 出发证明了每两幅图像间存在着两个形如k r u p p a 方程的二次约束，通过直接求解 - 2 - z 。o 东北大学硕士学位论文第1 章绪论 k r u p p a 方程组可以解出内参数。鉴于直接求解k r u p p a 方程的困难，研究者们又提出了 分层逐步标定的思想，即首先对图像序列进行射影重建，在此基础上再进行仿射标定和 欧氏标定，该类方法以h a r t l e y 1 5 】的q r 分解法，t r i g g s 1 6 1 的绝对二次曲面法，p o l l e f e y s 1 7 l 的模约束法等为代表。针对在实际应用中摄像机可变内参数下的自标定是完全可能的情 形，研究者们进一步提出了可变内参数下摄像机自标定的概念。h e y d e n ，a s t r o m ， p o l l e f e y s 等【l8 j 从理论上证明了在内参数满足一定的前提下，可变内参数下的自标定是完 全可能的。p o l l e f e y s 等【1 9 1 还给出了一种实用的可变内参数下的摄像机自标定方法。 近年来，国外出现了一些较为成功的三维重建系统。t o m a s i 和k a n a d e 等1 2 0 】在假定 摄像机为正交投影模型的前提下，利用仿射分解的方法决定了三维结构和摄像机运动。 该系统使用基于光流的跟踪器技术来解决特征点的匹配问题。但由于该系统采用的摄像 机模型是正交投影模型，这种模型只有在当物体的深度远大于物体的尺寸时才合理，因 此有一定的局限性。z i s s e r m a n 等【2 l j 完成的视觉导航系统利用了分层重建的思想，即首 先对图像序列做射影重建，再将射影重建逐步提升到仿射重建和欧氏重建。d e b e v e c ， t a y l o r 等【2 2 】完成了著名的建筑物重建系统f a c a d e 。该系统要求首先得到建筑物的粗略几 何模型和摄像机运动参数，然后将该模型反投影到图像上与实际图像作比较，通过减小 反投影误差最终计算出建筑物的精确三维结构。为增强视觉效果，该系统还使用了基于 视点的贴纹理技术。该系统不足之处在于需要预先得到建筑物的几何模型，而且建筑物 的几何结构不能太复杂。h ys h u m 等口3 j 提出了一种人机交互式重建系统，可以从一组 全景图中恢复出三维结构或者将场景表示成一系列按深度划分的分层的集合。该系统不 需要做图像间的匹配，但要求用户在重建过程中交互式地确定场景中的一些几何约束， 如共面、平行、垂直等。f a u g e r a s 等的系统利用分层重建、自标定等方法从图像序列中 重建出了建筑物。在他们的系统中，考虑了建筑物的特殊性，主要利用建筑物上的已知 点、已知角度和平行线等物理信息标定摄像机，并将待重建场景用多面体来表示。该系 统主要用于为c a d 、c a m 等提供原始的集合模型。p o l l e f e y s 等1 2 4 j 提出的物体表面自动 生产系统运用了可变内参数下的摄像机白标定技术。该系统仅要求手持摄像机围绕物体 拍摄一系列图像，即可自动实现自标定和分层重建。 目前国内在计算机视觉多视图几何方面也进行了大量的研究【2 5 。2 7 1 ，在理论和算法实 现方面也取得了一些成就。 东北大学硕士学位论文第1 章绪论 1 2 树状物体的建模方法 过程化技术是人们最早采用并相对成熟的树木建模方法【2 8 1 。它用某种数学模型模拟 树木的生长或形态特性，通过少量的参数产生复杂的树结构。不同种类的树木可能需要 使用不同的数学模型。严涛在文献 2 9 中比较详细地介绍了过程化技术的各种方法。其 中，l 系统【3 0 1 是常用的过程化建模方法之一f 3 1 1 。它用事先定义好的符号反复充实一个字 串，然后将字串中的每一符号翻译成几何造型命令，最终得到几何模型。尽管过程化方 一 法具有强大的生成能力，它无法从给定参数正确地估计所建模型的最终形态，从而无法 建立给定的具体树木的三维模型。而特定树状物体的建模是有应用需要的，例如，当人 们计划修剪一个特定树木时，就需要该树木的真实三维模型；在临床上想要观察一个病 人的血管病变，也需建立它的特定模型等等。为此，人们提出了另外的建模方法。 基于图像的建模技术( i m a g e b a s e dm o d e l i n g ) 是当前的研究热点之一，它从一组 图像序列中提取图像中物体的几何信息，然后对物体进行三维建模。i b m 是基于实物的 照片图像来提取建模信息的，因而所建立的三维模型带有实物的明显特征，具有较强的 真实感。经过多年的发展，基于图像的建模技术已出现了许多研究方法，大致分为：基 于体数据的立体逆投影【3 2 。4 1 、基于轮廓的曲面重建【3 5 1 和基于立体视觉的三维点重建【3 6 】。 在树木建模时，基于体数据的立体逆投影法主要用来针对枝繁叶茂的树木，建立一 个外形相似的模型，达到景物模拟的效果。麻省理工学院的i l y as h l y a k h t e r 等将基于图 像的建模技术与过程化方法相结合，采用透视投影的摄像机模型，首先对每幅图像从摄 像机光心沿图像中树的二维轮廓按定标数据进行逆投影，得到空间中的若干锥体，各锥 体相交获得树体的外轮廓。然后从树体中根据外轮廓提取中心线作为树的主干骨架。最 后，根据外轮廓数据运用l 系统从主干骨架上模拟生长出一棵与原树形态相似的树模型。 日本a t r 实验室的s a k a g u c h i t 了7 】将摄像机模型简化为正交投影，把一棵树的各个视点的 灰度图像中的树区域归一化，用正交逆投影可以得到树的三维体数据。给这个三维形体 一 中的每个体素赋以所有输入图像相应象素灰度的平均值，然后根据一定的分枝规则、限 制条件及体素值在树体中重建树模型。可以看出，基于体数据的立体逆投影法得到的树 模型在枝干结构上与原树还相差很多。在某些应用领域，为了获取较为精确的树木枝干 模型，需要针对无叶树状物体来进行建模，一般采用基于立体视觉f 3 8 】的三维点重建方法。 当空间一点投影在两幅图像中时，根据两个投影点坐标、两个摄像机的内部参数和 位置关系，将从摄像机光心通过投影点的两条射线求交，可以计算空间点的三维坐标。 4 东北大学硕士学位论文第1 章绪论 o k u t o m i 和k a n a d e 将这一技术推广到了多视点图像，提高了重建的准确度。一个主要 的难点在于如何找到空间同一点的各个投影点，即建立各幅图像二维点的对应关系。目 前主要的求对应方法的基本思想都是基于相似性度量和连续性假设的。树木的表面点在 图像中很难寻找对应关系，因为一棵树木的表面纹理非常相似或近于没有纹理，而且树 干的圆柱形状使得相同点在另一不同视角就可能看不到了，所以通过树木表面点的对应 来重建一般是不可取的。针对无叶树类的三维重建，目前一般采取基于骨架重建的策略。 即首先从树木二维骨架重建出树木的三维骨架，然后在三维骨架点处加上宽度信息，生 成树木的表面模型。国内中科院软件所的严涛实现了一种基于骨架重建的树木建模方 案，在重建过程的各个环节提出了若干加速和改进算法。 1 3 论文研究的背景 从2 0 世纪8 0 年代末，人类已开始了人体信息数字化的研究，出现了一系列的研究 计划，统称为数字人计划。人体信息的数字化是利用信息技术与计算技术实现人体从微 观到宏观的结构和机能的数字化、可视化，建立人体的三维几何模型，并能精确模拟人 体的生物物理特征。数字化的虚拟人体模型具有广泛的应用前景，在医学生物学领域可 以为医学研究、教学与临床提供形象而真实的模型，为疾病诊断、新药和新的医疗手段 开发提供参考。还可以为航空、航天、汽车、服装、建筑、家具、影视与广告制作、体 育运动等与人直接相关的领域提供有意义的人体模型，减少丌发费用。 人体三维几何模型建立的一个关键部分是血管三维几何模型的建立。长期以来人们 都想解决一个问题：心脏是如何将血液供向身体各部分，又如何将血液从身体各部分输 回心房。为此，人们致力于心脏血管机理的研究，研究心脏主干血管的几何拓扑结构与 这一功能的联系。还有，在临床应用中，血管三维模型的建立可以为血管病变的诊断与 治疗提供帮助：为各组织器官的无损伤解剖提供有力的辅助手段，等等。 无叶树类重建的一个重要应用领域是在医学生物学研究上从x 光照片通过立体视 觉技术来重建人体血管的三维模型0 9 , 4 0 】。由于几何形态上的相似性，在实际研究中，人 们通常都足将血管作为无叶树类物体来考虑的。在诊断医学中，获取病人各种医疗信息 的技术手段是及时、准确地诊断决策的前提。血管的形态结构反映了多种心血管病变的 基本信息，因而通过成像技术获取的心血管影像具有重大的临床价值，用于血管成像的 技术通常被称为血管造影术( a n g i o g r a p h y ) 。尽管现代医学成像设备( 例如超声，核磁 共振，核医学和x 射线图像) 已经能够提供多种血管成像，但目前医学临床中应用最为 - 5 东北大学硕士学位论文第1 章绪论 普遍的仍然是x 射线血管造影术( x r a ya n g i o g r a p h y ) 。 对冠状动脉进行的x 射线造影称为冠状动脉造影，简称“冠脉造影 。冠状动脉造 影检查是目前国际上公认的诊断冠心病最佳方法，被称为冠心病诊断的“盒标准 4 q 。 通过冠状动脉造影检查，可以准确判断患者冠状动脉狭窄的情况，包括狭窄程度、部位 等，从而评价患者冠心病的严重程度，根据检查结果制定最佳的治疗方案，并指导冠心 病的介入性治疗。 由于人体脏器结构是一个三维空间分布，因此仅仅依靠一幅或几幅二维图像来理解 三维结构是有一定的局限性的，它不能完全满足临床上在疾病诊断、治疗决策及外科手 术研究中的需要。随着计算机技术的发展及计算机图形学的成熟应用，医学三维成像在 近十年中有了很大的发展。目前，三维图像已应用于放射学诊断、肿瘤学、心脏学与外 科手术的研究中，并已成为计算机辅助制定治疗方案的得力工具。基于二维造影图像的 冠状动脉三维重建具有很好的临床意义和很高的应用价值，因此得到了很多人的关注。 冠脉造影系统主要分为两类：双面造影系统和单面造影系统。双面造影系统有两套 x 射线成像系统，单面造影系统只有一套x 射线成像系统。由于双面造影系统的高成本 限制了其推广应用，目前国内医院临床广泛采用单面造影系统，因此基于二维单面造影 图像重建三维冠状动脉树具有很好的临床意义和应用前景。 冠状动脉树从根本上可以看作是无叶树状物体，当造影剂在血管中流动并达到平衡 态时，用转动c 臂造影系统获得的两个投影角度下产生的图像对可视为一对双平面图 像。通过在两幅投影图像中找到树状物体的特征点( 端点和节点) 并匹配，用双目立体 重建算法可以重建三维特征点并连接成血管树。本文研究的目的就是利用在转动c 臂造 影系统下获得的两幅不同角度下的造影图像，利用多视图几何方法重建树状模体的三维 骨架，最后将算法应用到临床实验，辅助冠心病的诊治。 1 4 论文研究的思路 本文首先在理论上研究了多视图几何重建算法，在特征点选取和匹配方面，综合利 用了树状物体的拓扑结构约束和极线约束实现了树状物体特征点( 端点和分支点) 的自 动选取与匹配；在双目视图求解方面，利用了r a n s a c 估计加权平移算法获得了高精 度和鲁棒性强的基本矩阵；在重建算法方面，先在基本矩阵求解基础上利用多视图几何 方法先对树状物体在射影空间下进行重建，然后通过标定正方体的欧几里德空间坐标从 射影重建恢复了欧几里德重建。计算机仿真实验和在转动c 臂造影系统下的树状模体实 6 东北大学硕士学位论文第1 章绪论 验都验证了本文方法的有效性和实用性。 1 5 本文的工作简介 本文主要研究了转动c 臂造影系统下的三维树状物体的重建问题，主要利用了多视 图几何方法和随机采样一致性估计优化算法。论文的主要内容包括： ( 1 ) 介绍了多视图几何方法所用到的数学基础知识和它的基本原理和方法，基于 求解基本矩阵的一般算法，提出了一种随机采样一致性估计加权平移算法，实现了高精 度基本矩阵的求解，并通过具体图像实例验证了所提算法较以往算法的优势； ( 2 ) 阐述了转动c 臂造影系统的成像原理并综合利用树状物体的拓扑结构和极线 约束实现了特征点的自动匹配；在特征点匹配的基础上射影重建树状物体，并利用标定 物体( 正方体) 实现欧几里德重建；利用m a t l a b 编程实现了三维树状物体结构的三维 显示；最后，测量树状物体各节点间的树枝长度并与重建结果比较，验证本文算法的有 效性。 东北大学硕士学位论文第2 章多视图几何的基础知识 第2 章多视图几何的基础知识 2 1 射影几何 射影几何涉及到许多新的概念，本节重点介绍二维平面和三维空间中最重要的几何 概念，主要包括射影几何中对点、线、面、二次曲线和二次曲面的定义和描述。同时， 还介绍射影几何中的射影变换、仿射变换和欧氏变换以及它们之间的关系。 在欧氏空间中，欧氏变换不会改变长度和角度。当描述摄像机影像时，长度和角 度不再保持不变，平行线可能相交。因此，欧氏几何不足以处理摄像机影像。 欧氏几何是射影几何的一个子集。实际上，在射影几何和欧氏几何之间，还有相似 几何和仿射几何。射影几何可以更好的描述摄像机影像处理。因为在射影几何中，允许 存在包括透视投影的更大一类变换，而不仅仅是欧氏几何的平移和旋转。射影变换带来 的缺点是其度量性质更少。 2 1 1 齐次坐标 设欧氏直线上点p 的笛卡尔坐标为x 。现在引入x 2 ，令而x ：= x ，x ：0 ，则只要 x l x ：不变，x 也不变，称( x l ，x 2 ) 为点p 的齐次坐标，记为p ( x l ，x ：) ，x 称为p 的非齐次 坐标。当x ：= 0 时，( 五，0 ) ( x 。0 ) 规定了直线上的无穷远点的齐次坐标【4 2 1 。在欧氏直线 上引入无穷远点后称为拓广的欧氏直线，简称为拓广直线。 为欧氏平面上的每一条直线引入无穷远点，所有无穷远点的集合称为无穷远直线。 欧氏平面引入无穷远直线后称为拓广的欧氏平面，简称拓广平面。对引入的无穷远点做 出如下规定： ( 1 ) 在每一条欧氏直线上引入唯一的一个无穷远点； ( 2 ) 在平行的欧氏直线上引入相同的无穷远点； ( 3 ) 不平行的欧氏直线上引入不同的无穷远点。 设 d ；q ，e 2 】为欧氏平面上的仿射坐标系，对于有序三实数( x 1 ，x 2 ，x 3 ) ( 0 ，0 ，o ) ，若 满足下列条件，则称为拓广平面上的齐次坐标： ( 1 ) 若x 。0 ，则( 为，屯，而) 是仿射坐标( 兰，兰) 的拓广平面上通常点的齐次坐标； 东北大学硕士学位论文 ( 2 ) 若x ，= 0 ，则( _ ，x 2 ，屯) 规定为拓广平面上无穷远 ( 3 ) 若p = 0 ，则( 历。，店：，历，) 表示拓广平面上同一点的齐次坐标。 依此类推，n 维欧氏空间点p 的齐次坐标为p ( x 。，x ：，x n + 。) ，其中，x 州0 ，而 且其无穷远点的定义与上类似。 玎维射影空间i p “中的点可以用刀+ 1 个坐标向量来表示石= b 。x ：x n + lr ，其 中至少有一个分量不等于零。两个坐标表示同一个点当且仅当存在一个标量五，使得对 所有1 f ”+ 1 ，均有x ，= 砂，成立。这种相等关系由x y 来表示。 一个玎维射影空间俨”的射影基由此空间中刀+ 2 个点组成，且其中任意玎+ 1 个点线 性无关。从而对于射影空间，p ”中任一点x 可以用标准射影基中任意刀+ 1 个线性组合来 表示。 2 1 22 d 射影 2 一d 射影即射影平面俨2 ，2 d 射影几何研究的是关于射影平面伊2 在射影映射的变 换群下保持不变的性质。射影平面妒2 可以定义为一个增加了理想点( 无穷远点) 集和 一条理想线的仿射平面。每一个理想点对应于一个方向。伊2 中的点用3 维矢量 x = b 。x ：x 3r 表示。 伊2 中的二次曲线是所有满足齐次二次方程点x 的轨迹 x r c x = 0 ( 2 1 ) 其中，c 是3 3 阶对称矩阵( 不考虑比例因子的影响) ，所以二次曲线有5 个独立参数。 射影映射是把俨2 的点映射到俨2 的点的一种可逆映射，它把直线映射到直线。更 准确地说，射影映射是口2 到自身的一种满足下列条件的可逆映射h ：三点一，x ：和黾共 线当且仅当h ( x 。) ，h ( x ：) ，h ( x ，) 也共线。射影映射组成一个群，因为射影映射的逆也 是射影映射，两个射影映射的复合也是射影映射。射影映射也称为射影变换或者单应映 射( h o m o g r a p h y ) 。 上述射影映射的定义是用点线关联的几何概念来描述的，它与坐标无关。射影映射 的等价代数定义是：平面射影变换是关于齐次三维矢量的一种线形变换，并可用一个非 奇异3 3 阶矩阵胃表示为 - 1 0 东北大学硕士学位论文第2 章多视图几何的基础知识 刚骇嘲 亿2 ， 2 1 33 d 射影 x = b x ：x 。x 4 r 表示。当x 。0 时，x 表示坎3 中非齐次坐标为伍，y ，z y 的点。 喜 = 兰；兰 ( 2 4 ， 万= 防1 万2 刀3y l 4 r 。 其中，q 是4 4 阶对称矩阵( 不考虑比例因子的影响) ，从而一个二次曲面有9 个独立 东北大学硕士学位论文 第2 章多视图几何的基础知识 2 2 射影几何的变换层次 层的概念与变换群有密切的关系，射影层、仿射层、度量层和欧氏层分别包含了射 影变换群、仿射变换群、相似变换群以及欧氏变换群，而且，后者为前者的子群，它们 所对应的几何不变量，前者为后者的子集。各种几何的本质是描述几何元素在不同变换 群下的不变量。由此，不仅可以由二维图像重建三维物体，还可以描述它们在摄像机变 换下的不变量，从而达到识别的目的。 2 2 1 射影层 射影层的结构比较少，因此不变量的数目也最少，但是与之相关的变换群却最大。 射影变换群是最一般的线性变换群。3 d 空间的射影变换可以用4 x 4 阶可逆矩阵表示 砟= p 1 3p 1 4 p 2 3p 2 4 p a 3p 3 4 p 4 3p “ ( 2 7 ) 不考虑非零比例因子的影响，这个变换矩阵有1 5 个自由度。 关联关系、共线性以及相切是射影不变量。交比也是射影变换中的不变量，交比的 定义如下：假设点m 。，m ：，m ，m 。共线，那么它们可以用m ，= 以m 来表示( 假定 没有哪一点和m 相同) ，则交比为 泓m ：m 3 , m 。) ：等：等 ( 2 8 ) 2 2 2 仿射层 ； = 墨3 三兰三三 三 + 三三 ， 其中，d e t ( a ，) 0 。使用齐次坐标表示，它可以表示为m l m 。 - 1 2 _ 东北大学硕士学位论文第2 章多视图几何的基础知识 l = a l ia u a 2 1 a 2 2 a 3 1a 3 2 o0 ( 2 9 ) 仿射变换有1 2 个独立的自由度。我们可以很容易