（通信与信息系统专业论文）基于纹理信息的三维形状恢复关键技术研究.pdf

学位论文主要创新点 一、引用刚体转动力学中关于惯量二阶矩的分析方法，对图像中的纹理元进行 分析，通过计算纹理元的惯量二阶矩，可比较简便求得物体表面某点的朝向信 息，进而确定该点的法线方向。 二、研究了基于s h a p e l e t s 函数集进行的表面重建，该s h a p e l e t s 函数集由部分 尺度不同的高斯函数构成，避免了传统积分算法运算的繁琐，有利于提高新算 法的效率。 摘要 三维重建技术作为计算机视觉领域一个重要的研究方向，已经在社会生产 生活的各个方面显示出了非常重要的作用，具有广泛的应用价值。目前，国内 外已经发展了各种各样的三维重建技术，其中从纹理恢复形状 ( s h a p e f r o m t e x t u r e ，简称s f t ) 是计算机视觉三维重建的关键技术之一。由 于该方法只需要利用单幅图像中的纹理信息来恢复三维形状，所以，近年来在 理论研究和应用中得到了很大的发展和完善。 本文研究了基于单幅图像纹理信息的三维形状恢复算法，主要包括物体表 面朝向信息的确定及探讨了根据该朝向信息进行的三维恢复。在物体表面朝向 确定的算法研究中，首先对一幅包含纹理信息的图像进行了深入的分析，采用 刚体转动力学中惯量二阶矩的方法，计算物体表面纹理元的惯量矩，通过与正 面参照纹理元的惯量矩做比较，得到该纹理元表面的朝向信息，进而确定了表 面的法线方向。将本文的表面朝向恢复算法与其他典型算法进行比较，在相同 的先验性质和投影几何条件下，本算法具有鲁棒性强、运算过程简单等优点， 具有较强的适用性。在表面重建的研究中，分析了物体表面梯度与s h a p e l e t s 函 数集之间的关系，根据s h a p e l e t s 基函数梯度与表面梯度的相关运算，研究了物 体表面倾斜角、俯仰角的相关性，最后将相关运算的结果相加累积，便于实现 基于表面法线方向的重建。 关键词：纹理元；惯量矩；法线方向；s h a p e l e t s ：从纹理恢复形状 。_ a b s t r a c t t h er e s e a r c ho n3 d 骶s h a p er e c o v e r yi sa ni m p o r t a n tf i e l di nc o m p u t e r v i s i o n 3 dr e c o n s t r u c t i o np l a y sm o r ea n dm o r ei m p o r t a n tr o l ei nt h ev a r i o u sf i e l d so f p r o d u c t i o na n dl i f ei ns o c i e t y a tp r e s e n t ，m a n ys h a p er e c o v e r yt e c h n i q u e sh a v eb e e n d e v e l o p e d , i nw h i c ht h em e t h o dn a m e ds h a p e f r o m - t e x t u r e ( s f t ) o n l yu s e st e x t u r e i n f o r m a t i o no fs i n g l ei m a g e i nt h i st h e s i s ，t h ea l g o r i t h mo f3 ds u r f a c er e c o v e r yf r o ms i n g l ei m a g eu s i n g t e x t u r ei n f o r m a t i o n ，i n c l u d i n gf i n d i n go r i e n t a t i o no fs u r f a c ea n ds h a p er e c o v e r yb y t h eo r i e n t a t i o n , i ss t u d i e d i nf i n d i n gs u r f a c eo r i e n t a t i o n , t h et e x t u r ei m a g ei sd e e p l y r e s e a r c h e d t h et h e o r yo fi n e r t i ao fr i g i db o d yr o t a t i o ni sa p p l i e dt ot h ea n a l y s i so f t e x t u r ee l e m e n t t h en o r m a lo r i e n t a t i o no fs u r f a c 宅i so b t a i n e db yc o m p a r i n gt h e i n e r t i ao fb o t hl o c a la n df r o n t a lt e x t u r ee l e m e n t t h i ss u r f a c eo r i e n t a t i o na l g o r i t h mi s c o m p a r e dw i t ho t h e rt y p i c a la l g o r i t h m s i nt h es a m ep r i o r ic o n d i t i o n sa n dp r o j e c t i v e g e o m e t r y , t h ee x p e r i m e n t ss h o wt h a t t h i sa l g o r i t h mi sr o b u s ta n ds i m p l eo p e r a t i o n s u r f a c en o r m a li n f o r m a t i o nc a nb eu s e dt or e c o n s t r u c t e ds u r f a c eb ya n a l y z i n gt h e g r a d i e n tc o r r e l a t eo fb o ms u r f a c ea n ds h a p e l e t sf u n c t i o n s t h ec o r r e l a t er e s u l t sa r e s u m m e dt of o r ms u r f a c e k e yw o r d s ：t e x t u r ee l e m e n t ；i n e r t i a ；n o r m a ld i r e c t i o n ；s h a p e l e t s ；s h a p ef r o m t e x t u r e 目录 第一章绪论”l 1 1 课题背景及研究意义”l 1 2s f t 研究的历史及现状3 1 - 3s h a p e 的mx 技术综述5 1 4 论文主要研究内容及组织结构”6 第二章从纹理恢复形状的基本概念与原理”7 2 1 纹理的基本概念”7 2 2 物体表面朝向信息“8 2 2 1 物体表面法线方向? 9 2 2 2 基于法线方向的表面重建l o 2 3 纹理恢复的先验性质1 0 2 4 投影几何简介l l 2 4 1 正视几何投影1 2 2 4 2 透视几何投影1 2 2 5 本章小结1 4 第三章基于纹理元惯量矩的表面朝向确定1 5 3 1 算法描述1 5 3 1 1 理论原理”1 5 3 1 2 算法可行性验证1 8 3 1 3 正面纹理的确定1 9 3 1 4 窗口图形形状确定”1 9 3 2 算法流程2 0 3 3 算法的优化2 l 3 4 实验结果及分析2 2 3 4 1b r o d a t z 纹理库测试结果2 2 3 4 2 真实物体测试结果2 4 3 5 本文算法与s u p e r 算法的比较2 8 3 5 1s u p e r 算法描述2 9 3 5 2 算法实验结果比较3 0 3 6 本章小结3 3 第四章基于s h a p e l e t s 基函数的表面恢复”3 5 4 1 算法原理3 5 4 1 1s h a p e l e t s 基函数选取3 6 4 1 22 ds h a p c l e t s 重建分析3 7 4 2 本章小结- 3 8 第五章总结与展望”3 9 5 1 本论文主要内容及贡献3 9 5 2 展望3 9 参考文献”4 l 硕士期间发表论文和参加科研情况4 5 致谢4 7 附录lb r o d a t z 纹理图像”4 9 附录2 部分程序代码5 2 第一章绪论 1 1 课题背景及研究意义 第一章绪论 随着科学技术的飞速发展及人们对信息需求的不断增加，人 f f l t l ! 常渴望突 破现有计算机的处理能力，将其升级为能够处理、识别多维信息的智能系统。 几十年以来，许多研究学者为了使计算机能够实现该目标做了大量工作，进行 了不懈的努力，其中，很多学者将计算机视觉技术作为实现智能系统的突破点， 应用计算机视觉技术提高计算机的处理能力。计算机视觉科学是指利用计算机 的处理能力，模拟人类的视觉功能，实现对三维场景的感知、理解和识别，该 研究的主要目的是使计算机模拟人类视觉的一般功能，对二维图像进行处理得 到三维信息，根据实际拍摄到的二维图像来恢复三维场景。 计算机视觉作为数字图像处理与模式识别的结合，在研究与实践应用中得 到了不断的完善和发展。计算机视觉科学基于计算机的处理能力模拟人类的视 觉功能，因此，三维信息提取以及三维形状恢复作为计算机视觉最基本、最重 要的内容之一，也在研究与实践应用中得到了不断的发展。目前，人们研究了 很多三维恢复方法，其中三维物体表面恢复是计算机视觉科学的一个重要研究 方向，其在目标跟踪、识别和可视化等方面有着广泛的应用。然而，从二维图 像恢复三维表面形状是计算机视觉领域最困难的问题之一，其任务包含了基于 图像表面纹理元变化恢复各点相对梯度或表面法线方向等参数值，及基于各点 相对梯度或表面法线方向参数值的表面恢复，为进一步对物体进行三维重建恢 复奠定了基础。 计算机视觉技术不仅要求计算机能够感知物体的几何信息( 位置、形状、 姿态、运动等) ，还必须能对这些信息进行存储、描述、理解与识别【l 】。计算机 视觉是一门融合了计算机图形学、数字图像处理、模式识别的学科，基于图像 的三维恢复正是利用了计算机视觉的一些基本原理来模拟人眼的视觉功能【2 1 。 然而，迄今为止，人类对于自身视觉系统的工作原理还知之甚少，对视觉感知 生理过程还缺乏真实可信的描述。 在现实生活中摄像机拍摄三维物体时，一些有用的深度信息由于摄像机投 影丢失了，但部分信息通过投影形式依然会被保留下来，也就是说二维图像中 包含有三维线索p j 。一些有关物体形状、位置、姿态等变化的信息，会转换成 二维图像上对应原物体不同形状的明暗度信息，因此根据图像的亮度或者阴影 天津工业大学硕士学位论文 模型，可以设法把物体表面形状恢复出来；又如在正视或透视投影模型下，一 些有关物体形状变化的信息保留在物体表面纹理变化之中，因此通过对纹理的 分析可以确定物体的表面取向，找出物体表面取向的线索，进而设法把物体表 面形状恢复出来；如果物体是运动的，则在图像序列中会产生像流，像流包含 了三维场景结构信息，因此该像流信息可用来帮助确定运动物体的三维结构【4 j 。 基于单幅图像的纹理信息恢复物体的三维形状，是计算机图形学和计算机 视觉中的一个重要的分支课题。由摄像机拍摄的照片真实地反映了物体的表面 纹理与深度信息，通过计算机对图像信息进行提取和处理，可以建立二维图像 到三维物体形状的联系。借助从纹理恢复三维形状技术，能够利用二维图像构 建出具有真实感的三维物体模型，为迸一步的场景变化和组合运算奠定基础， 从而促进三维重建技术在各个领域的广泛应用。由图像的三维重建方法获取的 三维模型，可以广泛应用于虚拟场景漫游、视频游戏、建筑原貌恢复、工业自 动设计以及文物档案保存等方面【5 】。在计算机辅助制造上，对加工的机器零件 进行基于照片的零件模型重构，可以和标准件进行比较，这有利于提高工业机 器人制造的智能程度，让他们可以进行更加复杂的制造活动。在建筑领域，可 以通过部分照片来重构建筑物模型，并通过纹理映射来获得逼真的视觉效果。 尤其当照片中记录的建筑物不复存在的时候，用照片恢复建筑物的原貌，三维 重建在一定程度上可以解决这样的问题，通过图像可以恢复建筑物的三维模型。 本文致力于研究一种基于单幅图像纹理信息恢复物体三维形状的方法，该 方法可以应用到如下场合： 一、物体整体形状尺寸的判定 目前，由于受到测量手段的限制，物体整体形状尺寸的判定一般是通过一 些特征抽样点的尺寸进行判断。该方法容易出现抽样点尺寸合格而整体尺寸不 合格的误判断。将纹理恢复形状( s h a p e f r o m - t e x t u r e ，简称s f t ) 方法应用于 工业现场，可以获得整体形状中的任意尺寸，从而对物体整体形状进行全面判 断。此外还可根据三维恢复方法，对服装、鞋帽、头盔、座椅等进行设计。 二、物体表面缺陷检测 在工业现场利用s f t 三维形状恢复方法可以获得被测物体更加全面的表面 形状信息，从而有利于分析工件表面是否合格，排除缺陷产品。 三、医学、生物学方面的应用 利用s f t 三维恢复技术得到的人体模型，可以进行模拟手术，并可对手术 进行跟踪，对手术结果进行预测。在牙科手术中，可利用牙齿的三维成像模型 分析矫正方法，并可监测牙齿发育情况。 四、多媒体应用 第一章绪论 三维恢复技术可以应用于影视特技、电脑游戏、动画等多种场合。三维恢 复有助于各种多媒体软件的设计。 五、人类文化遗产保护 人类文化遗产是宝贵的历史资源。对现有文字数字化，对历史文物通过照 片进行三维形状恢复，是有效保护遗产的方法。此外，该技术经过进一步研究 完善后，还有望用于建筑及地理勘测、视觉导航以及图像自动解释等。 1 2s f t 研究的历史及现状 上世纪5 0 年代，g i b s o n 6 1 首先提出了纹理会影响人类感知三维物体的观点， 他选取部分纹理元密度固定的图像进行研究，该研究表明，物体表面的朝向信 息可由该物体的纹理去推断。继g i b s o n 之后，w i t k i n t 7 也提出了一种新的算法， 该算法要求物体表面的纹理元具有各向同性，由于各向同性的条件比较严格， 不符合大多数纹理的共性，对周围的纹理图像不具有普遍性，例如动物身上的 毛发，虽然包含了大量的纹理信息，但是却不能恢复满意的三维效果。类似于 w i t k i n 的研究，s t e v e l l s 引、l 沁n d d 9 1 、o h m 、i k e u c h i 1 0 】等人也都提出了自己的 从纹理恢复形状研究算法，他们的观点都基于物体表面的一些纹理特征，例如 纹理元、边缘、直线分割等等，由于纹理特征要求提前检测【1 1 1 ，所以增加了算 法的运算量，降低了效率。 b a j c s y 和l i e b e r m a n 1 2 】经过了多年的研究和发展，提出了一种利用纹理元 频谱信息进行三维恢复的方法，并逐渐被人们接受。该方法通过比较纹理元之 间的频谱来推测表面朝向信息，而频谱信息可由傅里叶变换、小波变换得到。 利用频谱的方法具有非常明显的优势，例如降低了窗口函数选取的难度、避免 了频谱偏移的影响等。b r o w n 和s h v a y t s e r 同样研究了纹理元的频谱信息，并引 入了各向同性条件、自相关函数来推测表面朝向信息，然而，再次证明了各向 同性条件的严格，并不适用于普通的纹理图像。 g a r d i l l 一1 3 】的方法与前面的部分有诸多不同之处，他研究了曲面上静态的纹 理与其梯度转换之间的相互关系，g a r d i n g 的研究只停留在理论研究阶段，虽然 有一定启发作用，但是并没有形成系统的纹理恢复理论。m a l i k 与r o s e n h o l t z 采纳了g a 觚n g 的理论，他们提出了基于仿射变换的纹理恢复理论，对于部分 纹理图像取得了较好的恢复效果。 目前国外有很多学者在研究不同的s 兀方法，与运动中求取、光度立体学 和阴影恢复形状方法相结合，进行更有效的三维恢复。在整形、医学、美容等 领域的应用中，对矫形、美容、口腔医学、修复、假肢制作等都非常有用。比 天津工业大学硕士学位论文 如在刑侦、考古等工作中，有时需要依据人或动物的骨骼来恢复形状，美国路 易斯维尔大学一个图像处理实验室进行了牙齿的三维重建，此项目获得了 w h i t k a e 基金。 近2 0 年来，国内该领域的科研工作者对基于图像的三维恢复方法也进行了 很多的尝试，并将该理论与实践结合，为该理论的进一步发展作出了贡献。国 内很多大学在三维实体重建方面进行了很多有益的尝试。浙江大学设计出一个 基于多幅图像的场景交互建模系统，该系统能够以普通相机自由运动拍摄得到 的多幅广角照片作为输入，提供给用户一系列简单易用的交互工具，从而绘制 出真实场景的几何模型和表面纹理。浙江大学还研究了利用透视成像原理，采 用双目视觉方法结合从纹理恢复形状的方法，实现了对机械装置的精确位姿检 测，只需对从应图像中选取必要特征点的三维坐标，处理速度快、信息量少。 被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条 件，有利于提高检测精度。 中科院自动化研究所设计了一个名为c v s u l t e 的软件，该软件利用物体不 同角度拍摄的三张图片构造恢复三维模型，该软件主要完成特征点的提取和匹 配、相机的标定、欧式重建、三维显示等功能，它主要采用了基于立体视觉结 合纹理分析的三维重建方法。中国科学院自动化研究所研究的三维重建技术， 采用自动关键点匹配、三维点拼接和表面三角化技术，经过对关键点匹配、图 像对提取、图像关键点的重建，三角化以及数据融合生成物体完整的三维结构。 在完成重建后，可以从任意视点观察物体，具有立体视觉效果。 上海交通大学的研究者在基于图像纹理信息三维恢复方面也做了很多研 究。他们研究了目标物体外观的实时绘制算法，提出了一种基于求取物体形状 及其表面反射属性的方法，通过抽取出三角网格表示的物体表面和模型参数， 最终求取每点的漫反射系数。通过上述步骤求得物体形状及其反射性质，可以 用来进行真实感渲染。进一步提出从物体中提取纹理信息的方法。研究采用具 有复杂纹理的参考球体作为被采样物体，计算其组成材质的模型参数以及不同 材质构成的比例，形成一幅材质权重图。该图作为纹理映射到三维物体上后， 达到较为逼真的外观效果。同时，国内也有大量的公司致力于纹理恢复的开发 研究，主要有北京微视凌志、北京大恒图像、深圳市视觉龙科技、北京微视新 纪元、深圳科瑞自动化、香港盈基科技、深圳进步科技等公司。 随着数字图像处理及分析算法新成果不断涌现，基于纹理信息的三维恢复 必定朝着客观化、自动化的方向发展。本论文正是基于计算机视觉、数字图像 处理技术，对从纹理恢复形状进行深入研究和分析。 第一章绪论 1 3s h a p ef r o mx 技术综述 在计算机视觉领域，从二维图像恢复三维形状的技术可以归纳为： s h a p e f r o m x 。其中x 可以是：运动、光度立体、轮廓、纹理、阴影等，其中 运动方法和光度立体学方法属于从多幅图像进行三维形状恢复的研究，而阴影、 纹理和轮廓方法，则属于从单幅图像进行三维形状恢复的研究。下面分别介绍 “s h a p e - f r o m - x 技术。 光度立体学是一种恢复物体表面朝向的方法【1 5 1 。7 1 。为了达到恢复表面朝向 的目的，需要一系列不同光照条件下采集的图像。对一个三维物体成像后得到 图像的亮度取决于许多因素，包括目标本身的形状、在空间的姿态、目标与采 集系统的相对位置、光源的分布、采集装置的敏感度以及反射特性等。光度立 体学方法虽然实现比较简单，但需要控制光照条件。利用己知形状校正目标的 先验信息建立一个查找表，可确定所给目标区表面的朝向。由于此方法需要改 变光照条件，所以硬件设计复杂，操作不便。 从阴影恢复形状基于单幅图像明暗变化信息恢复物体形状【1 8 忽】，其原理是 利用物体表面亮度的变化，推算出物体表面的矢量信息，从而转化为物体表面 的深度信息。该方法在理想光照条件下( 即满足朗伯体反射模型条件下) ，可以 从单幅图像恢复0 。1 8 0 。范围内的三维形状，但是应用面狭窄，没有得到很好 的扩展，精度也有待于提高。 从运动恢复形状，运动可用运动场描述，运动场是由图像中每个点的运动 矢量构成的。当目标在相机前运动或相机在一个固定的环境中运动时，所获得 的对应图像的变化可用来恢复相机和目标间的相对运动以及场景中多个目标间 的相互关系。当相机与场景目标间有相对运动时所观察到的亮度模式运动称为 光流，或者说物体带光学特征部位的移动投影到图像平面上就形成光流。光流 表达了图像的变化，它包含了目标运动的信息，可用来确定观察者相对目标的 运动情况，并可根据像流解得物体的表面朝向。从运动恢复形状适用于被测对 象处于运动状态的情况，对于不易变动的物体不具有适用性，且因运动造成采 集图像数量较多，数据处理较复杂，不易应用到工业现场的在线检测领域。 从纹理恢复形状【2 3 1 ，利用物体表面的纹理信息可以帮助确定表面朝向，进 而恢复表面形状。从纹理恢复形状的思想认为：纹理是由纹理元组成的，纹理 元可看作是一个区域里带有不变性和重复性的视觉基元。这种重复性是指在一 定分辨率前提下，基元在不同位置和方向反复出现；不变性是指组成同一基元 的像素有一些基本相同的特性。利用物体表面纹理确定其朝向要满足一定条件。 在获取图像的投影过程中，原始的纹理结构有可能发生变化，这种变化随纹理 天津工业大学硕士学位论文 所在表面朝向的不同而不同，因而带有物体表面朝向信息。注意，这里不是说 表面的纹理本身带有三维信息，而是说纹理在成像过程中产生的变化带有三维 信息。该方法因其操作简单、适用范围广，目前已经成为国内外研究的热点。 1 4 论文主要研究内容及组织结构 本文主要研究基于纹理信息的三维形状恢复算法，首先对包含纹理的图像 进行傅里叶变换，运用刚体转动力学的原理，提取物体表面纹理元的惯量矩， 计算表面纹理元的法线方向，最后研究基于s h a p e l e t s 函数集进行表面的恢复。 本文的组织结构如下： 第一章概述了国内外有关从纹理恢复形状的研究现状及本论文研究的主要 内容和意义。 第二章介绍了几种比较流行的三维重建方法，并对其进行了比较。对于从 纹理恢复形状的具体概念、物体表面朝向信息、算法先验性质、条件等方面做 了详细的描述。本文主要基于正视投影运算，结合s f t 基本条件进行三维恢复。 第三章探讨了一种新的基于纹理元惯量矩的表面朝向确定算法，该算法原 理借鉴刚体转动力学中的惯量矩计算方法，并将其应用到图像研究中，通过计 算表面某目标点的俯仰角与倾斜角，确定物体表面的朝向。在表面朝向信息的 计算过程中，还要涉及到窗口图形选取等问题。 第四章研究了_ 种新的s h a p e l e t s 表面重建算法，该算法类似于小波函数分 解法，但是在计算精度与运算的效率方面有了较大的改进。s h a p e l e t s 利用表面 的朝向信息( 基于表面俯仰角和倾斜角的计算方法) 进行三维恢复，舍弃了传 统的积分路径法，使得算法具有了较强的应用性。 第五章对本论文进行总结，并对进一步研究提出了展望。 第二章从纹理恢复形状的基本概念与原理 第二章从纹理恢复形状的基本概念与原理 我们生活的客观世界是由三维物体组成的，但是日常生活中，由相机拍摄 到的图像信息却是二维的，所以，计算机视觉就是要起到由二维图像到三维形 状的联接作用，利用计算机视觉去“理解”三维世界中的物体。在计算机视觉 中，“理解 的意义在于获得一定量的信息。一些非常重要的视觉信息包括位 置、方向、尺寸以及形状等，而这些重要的视觉信息大部分来自我们所拍摄的 二维图像。从纹理恢复形状属于计算机视觉研究的一个分支学科，它根据物体 表面的纹理实现三维形状的恢复。由于纹理信息广泛存在于我们生活的各个方 面，所以从纹理恢复形状的研究也逐渐受到了人们的重视。例如图2 1 表示的 仅仅是一幅二维的图像，但是大多数人的视觉感知却是一个三维的圆柱体。 图2 1 包含纹理信息的圆柱体 图2 - 1 表示了一幅包含纹理信息的二维图像，由于表面纹理分布的缘故， 给人的感觉是一个三维的圆柱体。本文研究的目的是设计可行的算法，利用物 体表面纹理元的变化，联系表面的形状信息，借助s f t 方法，使计算机视觉达 到和人眼一样的效果。 2 1 纹理的基本概念 图像中的纹理包含了大量的三维信息，纹理广泛存在于我们周围，从航空 照片里的地表图像到生物医学照片的排列，都表现了纹理图像具有的一些规律 性。心理学家的实验证明纹理在形状感知上起着非常巨大的作用 2 4 - 2 6 。一些常 见的纹理如图2 - 2 所示。 天津工业大学硕士学位论文 磁圈瞄圈腻 圈_ 圈囹园 图2 - 2 常见的纹理图像 纹理是图像分析、计算机视觉中一个非常重要的特征。本文中，“纹理”表 示物体表面上分布的可视化模式，由大量或多或少纹理元形成的结构。该模式 没有物理意义上的高度，属于计算机视觉里的一种常用的条件假设。在s f t 的 研究当中，对于普遍意义的纹理进行研究的难度比较大，所以要求研究者必须 对具体的纹理进行深入的研究，达到纹理恢复的目的。 在纹理研究领域，人们普遍认为纹理是由许多基元组成的，该纹理基元称 为纹理元，如图2 3 中靴子表面、高尔夫球表面的圆点。纹理元是本文s f t 算 法的主要研究对象，正面纹理的提取、窗口图形选定、表面法线方向确定等都 是基于纹理元的相关运算。 图2 3 图像中的纹理元 本文s f t 算法的目的在于检测物体的三维形状，而形状恢复需要经过两个 主要的步骤：首先推算物体表面的朝向信息，将表面的法线方向作为主要研究 对象；其次根据表面法线方向重建物体表面形状，每个步骤都是基于纹理元变 化信息进行计算的。 2 2 物体表面朝向信息 本文的研究基于表面纹理元形变信息推测其朝向信息，研究主要分为两个 步骤，首先，通过投影几何计算得到物体表面的法线方向，其中包括表面点的 俯仰角及倾斜角；其次，利用表面点的法线方向信息进行三维恢复。 第二章从纹理恢复形状的基本概念与原理 2 2 1 物体表面法线方向 物体表面某点的朝向信息，可以由俯仰角仃和倾斜角f 来确定。俯仰角是 指表面法线方向与视线方向的夹角，倾斜角是指表面的法线方向在像平面上的 投影与像平面x 轴之间的夹角，如图2 _ 4 所示。 图2 4 俯仰角及倾斜角 图2 4 ( a ) 表示正面观察的图像，它的法线垂直指向页面外，即外法线方向。 ( b ) ( d ) 表示保持倾斜角不变，随着俯仰角的变化，引起了视觉的变化。( e ) ( 曲则 表示俯仰角保持不变而倾斜角变化引起的视觉变化。 0 ( b ) ( e ) 图2 5 视角变化对视觉的影响 霉 ( d ) ( g ) 从图2 4 、2 5 可以发现，物体表面某点的朝向信息与其倾斜角与俯仰角有 关，人们的视觉感知会随着两个角度的变化而变化，在几何投影中，可以根据 表面纹理元的形变计算表面某目标点的法线方向。 9 o0o 天津工业大学硕士学位论文 2 2 2 基于法线方向的表面重建 根据物体表面纹理元之间形变的相互关系，可以推算表面的法线方向信息， 当表面某目标点的法线方向确定后，就可以根据该点的法线方向进行物体表面 的重建。例如，t e r z o p o u l o s 【2 刀利用部分能量函数来降低深度与方向限制的方差， 但是计算量非常巨大，而且能量函数的选取还需要考虑维数的连续性，最终导 致其非常易于受到噪声的影响。利用表面的法线方向矢量进行积分运算是传统 方法的主要特点，由于积分运算的路径确定比较困难，运算量也较其他方法较 大，所以逐渐被f r a n k o t 和c h e l l a p p a 2 8 】的方法所取代。 本文采用s h a p e l e t s 算法实现了表面重建，该算法将表面的梯度与一些函数 梯度进行相关运算，将相关运算的结果相加表示表面重建。由于基于s h a p e l e t s 的方法抗噪声能力比较强，算法简洁，在表面重建的过程中具有很好的应用价 值，该方法将在后续章节详细介绍。类似的方法包括f r a n k o t 和c h e l l a p p a 的基 于表面梯度信息投影算法等。 2 3 纹理恢复的先验性质 在所有的s f t 研究中，若通过表面的纹理信息恢复物体形状，对摄像机模 型、纹理元、表面性质作一些先验性的假设是非常必要的。由于目前还没有适 用于所有纹理信息、只利用纹理就能精确恢复任意物体表面形状的方法，因此， 本文的研究同样基于部分先验性质的假设，以利于后续的学习与研究。 自g i b s o n 于1 9 5 0 年提出利用物体表面纹理元投影时发生的形变来推算表 面的朝向信息后，此后的研究者又进行了大量的研究。早期的研究通常假设物 体的表面是在平面方向上，但是这种平面化的假设缺乏实际的应用价值。其后， 人们开始研究物体表面为光滑曲面的情况。本文的研究假设物体的表面为光滑 的曲面。 若要进行纹理恢复，则需对纹理进行先验性假设。常用的先验性假设包括： ( 1 ) 均一性假设 均一性假设要求物体表面的纹理分布均匀，这种均匀性可以表现为纹理密度 相同，对于目标纹理元，无需考虑其旋转效应。 ( 2 ) 静止性假设 静止性假设要求纹理元之间的区别仅限于平移效应，不包括旋转效应。 ( 3 ) 各向同性假设 利用傅里叶变换求得纹理的空间频率分布，得到表面某点频率的二阶矩统计 量，利用二阶矩统计量在正视投影下的变化形式来求表面点的朝向信息。各向同 第二章从纹理恢复形状的基本概念与原理 性借鉴刚体转动力学里转动惯量的原理，要求纹理元关于各条轴的惯量值固定不 变，纹理元的惯量矩可以表示为： ，( 功= 厂7 ( f ，歹) ( 2 - 1 ) i j 其中，f ( i ，- ，) 是图像上纹理元在( _ ，) 点的像素值，厂是在秒方向上( f ，力点到轴 的垂直距离，对纹理元惯量矩的描述见图2 - 6 所示。 (a)(b) 图2 - 6 纹理元的椭圆表示法 纹理元的惯量矩可由椭圆来描述，如图2 - 7 ( a ) 、( b ) ，在口方向上，由椭圆 中心到椭圆上某点的距离为其惯量矩大小。总之，如果纹理元的形状越接近圆 形，则越符合各向同性。 ( 4 ) 要求纹理由明确的纹理基元组成，并假定这些基元有固定形状。为了 进一步理解纹理的先验性质，将不满足该性质的反例进行描述，见图2 7 。 圜。蜃 ( a ) 非均匀性( b ) 非静止性( c ) 各向异性 图2 7 纹理先验性质的反例 图( a ) 中，荷叶的分布密度很不均匀，并不能满足在一定的范围内( 单位面 积) ，纹理( 荷叶) 的密度不能保持恒定。图( b ) 中，由于游泳圈上的花纹相互 间发生了旋转效应，不能满足静止性假设。r e ( c ) 中，灯笼的纹理元比较细长， 不能满足各向同性的条件，纹理元的惯量矩不固定，在竖直方向上纹理元的频 率较高。 2 4 投影几何简介 任何计算机视觉的问题都以某个摄像机模型为基础，先根据研究的问题选择 合适的摄像机模型，然后再设计相应的算法。最普遍的摄像机模型为正视投影又 天津工业大学硕士学位论文 称平行投影，以及透视投影模型。正视投影认为被摄物体与摄像机之间的距离充 分大，因此视角的变化可以忽略不计。虽然该模型在倾斜角方向会有形变，但是 不存在近大远小的透视效果。在计算机视觉的摄像机模型中，透视投影模型认为 光线汇聚于一个光点，当图像中近大远小的透视效果不能忽略时，或算法基于此 特征时，采用透视模型更合理。 2 4 1 正视几何投影 正视投影将物体垂直的投影在屏幕上，在正视投影当中，物体的大小不会 随着屏幕等参数的改变而变化。在正视投影中，三维物体的坐标沿平行线投影 到观察平面上，它保持物体的有关比例不变。正视投影模型是无法确定物体点 到成像平面的距离，因为垂直于图像平面的一条直线，其上的所有点都将投影 到该图像平面上一点。 2 4 2 透视几何投影 基本的透视投影模型由视点e 和视平面p 两部分构成( 要求e 不在平面p 上) 。视点可以认为是观察者的位置，也可以是观察三维世界的角度。视平面就 是渲染三维对象透视图的二维平面，如图2 - 8 所示。对于世界中的任一点工 构造一条起点为e 并经过x 点的射线r ，r 与平面p 的交点x 。即是x 点的透 视投影结果。三维世界的物体可以看作是由点集合 置 构成的，这样依次构造 起点为e ，并经过点置的射线足，这些射线与视平面p 的交点集合便是三维世 界在当前视点的透视图。 x 碍 图2 8 透视投影的基本模型 基本透视投影模型对视点e 的位置和视平面p 的大小都没有限制，只要视 点不在视平面上即可。p 无限大只适用于理论分析，实际情况总是限定p 为一 定大小的矩形平面，透视结果位于p 之外的透视结果将被裁减。 当限定p 的大小后，视点e 的可视区间( 或叫视景体) 退化为一棱椎体， 如图2 - 9 ( a ) 所示。该棱椎体仍然是一个无限区域，其中视点e 为棱椎体的顶点， 视平面p 为棱椎体的横截面。实际应用中，往往取位于两个横截面中间的棱台 第二章从纹理恢复形状的基本概念与原理 为可视区域如图2 - 9 ( b ) 所示，完全位于棱台之外的物体将被剔除，位于棱台边 界的物体将被裁减。该棱台也被称为视椎体，它是计算机图形学中经常用到的 一个投影模型。 面2 ( a ) 有限视平面的可视区间( b ) 透视投影的视椎体模型 图2 - 9 透视投影的基本模型 在本文的研究中，二维图像表面的某点气映射到像平面的点而的变换t 可 以表示为： x = t x - ( u k u t ) ( s ) ( u v t ) x 其中 o - - ( c 。s ( r ) l - s i n ( o k = ，c 。s ( ( 0 s = v _ - f c 。s ( d l - s i n ( a ) s i n ( 8 ) c o s ( 功j ( 2 - 2 ) 其中u v t 表示正面图像的旋转矩阵：s 为正面图像归一化运算的缩放比例； 蟊仃分别表示目标图像的倾斜角与俯仰角；口为转轴的方向。t 变换的总体作 用是将纹理元的正面图像转换为目标图像区域，该变换步骤将有利于后续的纹 理元识别、纹理元惯量矩的计算，在透视投影变换的研究中，还可以推导仿射 变换的计算矩阵。本文采用f o r s y t h 2 明的变换方法，如图2 1 0 所示。 天津工业大学硕士学位论文 曰团圆 ( a ) 原图像嘞旋转效应( c ) 尺度变换效应( d ) 输出图像 图2 1 0 图像的t 矩阵变换 ( a ) 图表示一幅图像的正面纹理区域，没有发生任何透视投影效应，经过 u v t 矩阵的旋转变换，顺时针旋转一口+ f 角度后得到( b ) 图。由于在将( a ) 图旋转 的过程中，发生在同一个像平面，不会产生透视效应，因此，该旋转变换不会 影响表面朝向信息的确定，而且在处理静止图像时，由于受到静止性假设的约 束，图像之间不会有旋转产生，该旋转效应可以不予考虑，直接舍弃该步骤。 经过s 矩阵的尺度变换后，使得( a ) 图的正面纹理各向同性化得到( c ) 图。若 处理的图像是正视投影模式的，不存在“近大远小”的透视效应，则该尺度变 换效应也可以不予考虑，直接舍弃该步骤。 透视效应是由u k u t 矩阵产生的，通过以倾斜角f 为轴的旋转，c o s ( a ) 的 尺度变换，最终得到了( d ) 图的结果。总之，t 矩阵变换的效果可以通过图像的 仿射变换去实现，本文不做过多研究。 2 5 本章小结 本章主要介绍了s f t 的基本概念与算法的基本先验性质，阐述了从纹理恢 复形状要达到类似于人眼观察周围环境的目的；解释了如何确定物体表面某点 的朝向信息，包括该点的俯仰角与倾斜角的具体定义；介绍了基于某点法线方 向信息的表面重建思想；最后描述了投影几何在计算机视觉以及本文研究中的 具体应用，为后续的算法研究奠定了基础。 第三章基于纹理元惯量矩的表面朝向确定 第三章基于纹理元惯量矩的表面朝向确定 本章介绍了一种新的基于纹理元惯量矩的表面朝向确定算法，早期的算法 包括g a r d i n g 、m a l k 与r o s h o l t z 等提出的基于正视投影的模型，他们也研究 了基于透视投影的模型。本文算法主要针对目标较小的物体如动物、衣物、水 果等，对于目标较大的物体如建筑物、地表形态等则不做研究，因此，选用正 视投影模型。 3 1 算法描述 本文中纹理元惯量矩的表面朝向确定算法基于摄像机的正视投影模式，并 假设图像上的纹理元满足均一性、静止性等先验性质，其算法原理基于几何投 影性质：当一幅图像发生透视效应时，在投影轴的垂直方向上的惯量二阶矩保 持恒定，因此，倾斜角的方向比较容易确定，俯仰角可由与之垂直角度上的惯 量二阶矩求得，详见3 1 1 小节。 3 1 1 理论原理 ( 1 ) 纹理元惯量矩特征 通过计算投影图像的惯量矩，可得目标点的朝向信息3 0 1 。由刚体运动力学 知，刚体在转动时的惯性可用其转动惯量来度量，设刚体具有疗个质点，它们 的质量分别为铂鸭。3 7 n ，它们的坐标分别为( 玉，咒) ，( x 2 ，儿) ( 毛，咒) ，那么该刚 体绕某个轴的转动惯量，可以表示为： 蔓 i = m ，彳( 3 一1 ) i 其中碣表示质点m 与旋转轴的垂直距离。 参照刚体转动惯量的原理，可得纹理元上某点关于转轴的惯量： ，( 研= 厂7 ( ( 3 2 ) i 与式( 3 - 1 ) 相似，式( 3 - 2 ) 表示图像上纹理元的惯量。其中，f ( i ，- ，) 是图像上纹理 元在( f ，j f ) 点的像素值，是在口方向上( f ，力点到轴的垂直距离。 在傅里叶变换域，由傅里叶变换的性质知：如果一幅图像在某方向上有尺 度变换效应，则该图像的傅里叶变换也产生与之相同的变化，那么理论上在该 天津工业大学硕士学位论文 方向的惯量二阶矩就不会发生改变，见1 茎i ( 3 1 ) 。傅里叶变换域惯量的定义为： j ( 们= 厂( 甜，v ) ( 3 - 3 ) 其中f ( u ，力为式( 3 2 ) 中点( f ，) 处傅里叶变换的幅值，是0 方向上 ，v ) 到 轴的垂直距离。 w ，+ i _ y 。厂 x f 久 ( a ) 原图像 v 蛸 r 2 、：i；广 吒 u w k ， 。f 以j j x ( b ) 变换图像 v a 焱 ，一焉r 1 o 【1 x菇 舔。 | p k x r 4 ( c ) 图( a ) 任两点的傅里叶变换( d ) 图( b ) 的傅里叶变换 图3 1 尺度变换效应 图3 1 ( a ) 代表图像的正面纹理元，将( a ) 在某一方向f 上压缩七倍得到( b ) ， ( c ) 、( d ) 分别表示( a ) 、( b ) 上任意两点的傅里叶变换。由傅里叶变换尺度变换的性 质可知，在z 方向上( 图中口l 轴) ，与( a ) 相比，( b ) 缩小了七倍，相反其傅里叶 变换扩大了k 倍( 见( d ) 图) ；在垂直于f 的方向上( 图中口2 轴) ，( a ) 、( b ) 的傅里 叶变换保持一致，因此理论上可以计算正面纹理元和目标纹理元的惯量，令二 者相等，所得的角即为倾斜角f 。 ( c ) 、( d ) 中目标点到口2 轴的垂直距离扩大了k 倍，由式( 3 3 ) 知，该点关于 轴a 2 的惯量扩大了k 2 倍，因此k 值可由惯量矩的比值来求得： 七= 厄万 ( 3 q 其中，为正面纹理元的惯量矩，厶为目标图纹理元上f + 互2 角处的惯量矩， 则俯仰角仃= a r c c o s ( 1 k ) 。在实