（光学专业论文）高密度全场主动离焦三维测量方法的研究.pdf

四川大学博 卜 论文摘要 高密度全场主动离焦三维测量方法的研究 光学专业 研究生 王华指导教师 苏显渝 离焦三维测量采用垂直测量方式，只需两幅图像就能测量出物体 的深度分布，具有计算方法简单，没有阴影和遮挡问题，所有操作都 是局域操作，运算速度快，可以得到密集的物体深度图像的特点，受 到研究者的日益重视。传统的主动离焦三维测量方法采用局域滤波测 量物体深度，使得测量的空间分辨率和深度测量精度互相制约，限制 了主动离焦三维测量的发展和应用。 论文的主要工作是研究全局高密度主动离焦三维测量的理论、方 法和技术，同时研究了物体表面纹理不均匀时，如何有效获取物体三 维面形信息的方法。研究内容分为三部分:第一部分由第一章至第二 章组成，介绍了三维测量的基本方法和应用领域，综述了传统的离焦 三维测量的理论和方法;第二部分由第三章组成，研究了纹理不均匀 物体的主动离焦三维测量的理论和方法;最后一部分为第四章到第六 章，研究了全局高密度离焦三维测量的原理、方法、技术，对实现全 局三维测量的两种照明模式在实际测量中的精度进行了比较。并将传 统的主动离焦三维测量方法推广到改变照明光路实现物体的三维测 量。取得的创新性成果如下: 1 .针对传统主动三维离焦测量中， 对纹理不均匀物体进行测量存在 的问题， 将点阵照明模式和空域卷积/ 去卷积相结合， 解决了离焦测量 四川大学博士论文摘要 的图像交叠问题和匹配问题，减小了纹理不均匀对离焦三维测量的影 响。 2 .提出了离焦三维全局测量方法，新的方法取消了离焦三维测量的 算子设计工作、提高了测量速度，从理论上突破了传统离焦三维测量 对空间分辨率和深度测量精度的限制，该方法不但消除了传统主动离 焦三维测量采用局域傅立叶变换带来的测量误差， 同时计算程序简单、 速度快，可以得到单个像素的空间分辨率，具有较好的实用性。 3 . 提出了投影离焦的概念和基于投影离焦的主动离焦三维测量新 方法，导出了投影主动离焦三维测量的基本方程，在正弦光栅投射和 正交正弦光栅投射下，实现了投影主动离焦三维测量的全局高密度测 量，扩大了离焦三维测量的应用范围，为物体的离焦三维测量提供了 另一种选择方案. 4 . 分析了全局主动离焦三维测量对具有纹理物体的测量精度，通过 计算机模拟和实验发现:在同等条件下，正交正弦光栅投射的测量精 度高于正弦光栅投射的测量精度，并且，当光栅的空间频率方向和物 体纹理的空间频率方向相同时，对实验影响最大，该分析为全局主动 离焦三维测量在实际测量中投射模式的选择提供了依据。 5 . 提出全局主动离焦三维测量的所需要的摄像镜头参数标定方法， 建立归一化比与归一化深度之间的查找表关系，为全局主动离焦三维 测量的实施和保证精确测量建立了基础。 6 . 在基于投影离焦概念的主动离焦三维测量方法中，提出投影镜头 参数标定方法，建立了扩散参数和与物体图象的调制度比之间的查找 表建立方法，为该方法的应用和测量精度的提高奠定了基础。 关键词:主动离焦三维测量，局域滤波，对比度，正弦光栅 四川大学博士论文摘要 a s t u d y f o r d e n s e f u l l - f i e l d me a s u r e me n t o f ac t i v e d e p t h f r o m d e f o c u s ab s t r a c t t h e d e p t h f r o m d e f o c u s u s e s t h e d i r e c t r e l a t i o n s h i p a m o n g t h e d e p t h o f t h e s c e n e , c a m e r a p a r a m e t e r s a n d t h e d e g r e e o f b l u r r i n g i n t w o i m a g e s t o r e c o v e r t h e 3 d i n f o r m a t i o n o f t h e s c e n e . b e c a u s e t h e d e p t h f r o m d e f o c u s h a s m a n y a d v a n t a g e s o v e r t h e o t h e r r a n g e t e c h n i q u e s , i t h a s a t t r a c t e d a g r e a t a m o u n t i n t e r e s t . b e t w e e n t h e p a s s i v e d e p t h f r o m d e f o c u s a n d a c t i v e d e p t h f r o m d e f o c u s , o n l y t h e l a t t e r c a n o b t a i n s t h e d e p t h o f t h e s c e n e a c c u r a t e l y a n d r a p i d l y . d u e t o u n r e l i a b l e p r i n c i p l e f o r l o c a l f i l t e r i n g , t h e s p a t i a l r e s o l v i n g p o w e r a n d t h e p r e c i s i o n o f t h e d e p t h i s l i m i t e d i n t r a d i t i o n a l a c t i v e d e p t h f r o m d e f o c u s f o r t e x t u r e o b j e c t . i n t h i s d i s s e r t a t i o n , w e c h i e fl y r e s e a r c h t h e t h e o r y , m e t h o d a n d t e c h n i q u e o n t h e f u l l - f i e l d m e a s u r e m e n t o f a c t i v e d e p t h f r o m d e f o c u s t o o b t a i n d e n s e d e p t h i n f o r ma t i o n a b o u t t h e s c e n e . t h i s d i s s e r t a t i o n i s c o m p o s e d o f t h r e e i m p o r t a n t p a r t s : t h e f i r s t p a r t i n c l u d e s c h a p t e r i t o c h a p t e r 2 , i n w h i c h t h e t r a d i t i o n a l m e t h o d a n d t e c h n i q u e o n d e p t h f r o m d e f o c u s a r e d i s c u s s e d . t h e s e c o n d p a r t i s c h a p t e r 3 , i n w h i c h t h e m e a s u r e m e n t m e t h o d a n d t e c h n i q u e f o r t h e o b j e c t w i t h g r e a t t e x t u r e v a r i a n c e a r e r e s e a r c h e d . t h e l a s t p a r t i s c h a p t e r 4 t o c h a p t e r 6 , i n w h i c h t h e t h e o r y i s s e t u p a n d t h e me t h o d a n d t e c h n i q u e s a r e r e s e a r c h e d o n t h e f u l l - fi e l d m e a s u r e me n t o f a c t i v e d e p t h d e f o c u s , a l s o t h e t r a d i t i o n a l a c t i v e d e p t h f r o m d e f o c u s i s e x t e n d e d t o c h a n g e t h e i l l u m i n a t e o p t i c a l s y s t e m . t h e ma i n r e s u l t s o b t a i n e d c a n b e s u mma r i z e d a s f o l l o ws : 1 . me t h o d s o f t h e a c t i v e d e p t h f r o m d e f o c u s t o m e a s u r e t h e d e p t h o f t h e o b j e c t w i t h g r e a t t e x t u r e v a r i a n c e a r e p r o p o s e d . a m a t r i x d o t p a t t e r n i s p r o j e c t e d o n t o t h e o b j e c t a n d t h e c o n v o l u t i o n/d e c o n v o l u t i o n i n s p a t i a l d o m a i n i s u s e d t o c a l c u l a t e t h e d e g r e e o f t h e b u r r o f t h e s u b i m a g e s . wi t h t h e m e t h o d , t h e a c c u r a t e c o r r e s p o n d i n g p i x e l b e t w e e n t h e s u b i m a g e s o f t h e t w o b l u r r e d i m a g e s c a n b e o b t a i n e d a n d t h e o v e r l a p o f i m a g e i n d e f o c u s m e a s u r e m e n t c a n b e e l i m i n a t e d . t o a n o b j e c t w i t h g r e a t t e x t u r e v a r i a n c e , i t m a y m a k e t h e m e a s u r e m o r e 四川人学博 上 论文 摘要 e a s i l y a n d a c c u r a t e l y t h a n t r a d i t i o n a l a c t i v e d e p t h f r o m d e f o c u s . 2 . t h e p r i n c i p l e o f f u l l - f i e l d d e n s e a c t i v e d e p t h f r o m d e f o c u s i s p r o p o s e d . wh e n a n o b j e c t i s p r o j e c t e d w i t h s i n u s o i d a l g r a t i n g , t h e l i g h t i n t e n s i t y o f t h e o b j e c t a t t h e p r o j e c t e d f r e q u e n c y o n t h e m e a s u r e d p o i n t i s e q u a l t o t h e m o d u l a t i o n o f t h e s a me p o i n t . b y u s i n g t h e r a t i o o f t h e m o d u l a t i o n d i s t r i b u t i o n s o f t h e t w o d e f o c u s i m a g e s , t h e d e p t h o f t h e o b j e c t c a n b e c a l c u l a t e d . t h e m e t h o d n o t o n l y e l i m i n a t e d l i mi t e d b e t w e e n t h e s p a t i a l r e s o l v i n g p o w e r a n d d e p t h p r e c i s i o n b u t a l s o m a y b e c a l c u l a t e d w i t h s i m p l y a n d a p a c e . a d e n s e d e p t h me a s u r e m e n t c a n b e o b t a i n e d e a s i l y a n d e f f i c i e n t l y w i t h t h e m e t h o d . 3 . t h e p r i n c i p l e a n d e q u a t i o n o f a c t i v e p r o j e c t i n g d e p t h f r o m d e f o c u s i s p r o p o s e d , i n w h i c h , t h e p r o j e c t i n g s y s t e m p a r a m e t e r s r a t h e r t h a n i m a g e f o r m a t i o n s y s t e m p a r a m e t e r s i s c h a n g e d . t h e f u l l - f i e l d m e t h o d i s c o m b i n e d w i t h t h e n e w a c t i v e d e p t h f r o m d e f o c u s . a d e n s e d e p t h me a s u r e m e n t c a n b e o b t a i n e d e a s i l y a n d e f f i c i e n t l y w i t h t h e m e t h o d a n d m o r e o p t i o n i s s u p p l i e d t o r e a l i z e a c t i v e d e p t h f r o m d e f o c u s . 4 . t h e p r e c i s i o n s o f f u l l - f i e l d m e a s u r e m e n t o f a c t i v e d e p t h f r o m d e f o c u s u n d e r c r o s s - s i n u s o i d a l g r a t i n g p r o j e c t i o n a n d s i n u s o i d a l g r a t i n g p r o j e c t i o n a r e i n v e s t i g a t e d w i t h a c o m p u t e r s i m u l a t i o n a n d e x p e r i m e n t . t h e p r e c i s i o n d e p e n d e n c e o n t h e r e l a t i o n s h i p b e t w e e n t h e d i r e c t i o n o f t e x t u r e a n d t h e g r a t i n g i s f o u n d a n d t h e s u p e r i o r i l l u m i n a t i o n p a t t e r n i s o b t a i n e d . 5 . t h e s e t u p o f c a l i b r a t i o n a n d r e s e a r c h t a b l e a r e p r o p o s e d f o r a c t i v e f u l l - f i e l d d e n s e d e p t h f r o m d e f o c u s . i t i s n e c e s s a r y t o o b t a i n e d t h e d e p t h m e a s u r e m e n t a c c u r a t e l y a n d e f f i c i e n t l y w i t h t h e m e t h o d . 6 . t h e s e t u p o f c a l i b r a t i o n a n d r e s e a r c h t a b l e a r e p r o p o s e d f o r a c t i v e p r o j e c t i n g f u l l - f i e l d d e n s e d e p t h f r o m d e f o c u s w i t h c h a n g i n g p r o j e c t i n g p a r a m e t e r . i t i s n e c e s s a r y t o o b t a i n e d t h e d e p t h m e a s u r e m e n t a c c u r a t e l y a n d e f f i c i e n t l y w i t h t h e m e t h o d . k e y wo r d s : d e n s e a c t i v e d e p t h f r o m d e f o c u s , l o c a l s p a t i a l f r e q u e n c y f i l t e r i n g , c o n t r a s t , mo d u l a t e d s i n u s o i d a l g r a t i n g 四川大学博 卜 论文 第一章 绪论 第一章 绪论 1 . 1 三维测量方法简介 三维测量方法根据是否需要人为控制测量环境，分为被动三维测 量和主动三维测量 1 3 a 1 . 1 被动三维传感 典型的被动三维测量方法有双目视觉【 2 3 、运动三维检测 3 3 、被 动调焦三维测量 4 3 和被动离焦三维测量 5 3 。双 目视觉将两个或两个 以上摄像镜头拍摄的物体二维图像进行特征匹配，如果物体的某个特 征处在图像中相同位置，表明该特征处在两摄像镜头轴线的交点处， 找出物体特征在图像中位置的不匹配量就可找出该特征的位置。运动 三维检测法从物体二维图像序列的时间和空间变化情况提取物体的三 维面形信息。这两种方法需要对图像对应特征进行寻找并计算出它们 之间的位移量。提取物体的特征是一项非常费时和复杂的工作。这两 种三维测量方法还受限于闭塞问题 ( 既物体在一个场景上可见，但在 另一个场景上不可见，这时无法找到对应特征，因而无法计算物体深 度)，利用这些方法实现高密度深度测量的难度较大。被动调焦三维 测量方法采用不同光学参数拍摄的一系列图像，从这一系列的物体图 像中找出物体最清晰的像，根据几何光学的物像关系，计算出物体的 深度。这种方法可以得到较为精确、高密度的物体深度，然而，它需 要拍摄物体大量的不同光学参数的图像，所以该方法难于进行实时测 量。被动离焦三维测量方法利用物体的离焦量越大，图像越模糊这一 原理，采用不同光学参数的两幅或三幅像来计算离焦点扩散函数的扩 四川大学博_ : 论文第一章 绪论 散参数，根据离焦扩散参数与物体距离的关系计算深度。被动离焦三 维测量方法与双目视觉和运动视觉比较起来，不需要在物体的不同图 像中寻找对应的特征，由于图像的采集过程都保持同一方向，它也消 除了双目视觉和运动视觉的闭塞问题。与调焦三维测量比较起来，无 需拍摄大量图像就可以高密度的测量出物体的深度，计算方法简单， 所有操作都是局域操作， 运算速度快， 可以得到密集的物体深度图像。 然而被动三维测量方法由于需要物体表面纹理来计算特征和局域频 谱，对于物体表面没有纹理或纹理很弱的物体，被动三维测量无法进 行 6 。 1 . 1 . 2 主动三维传感方法 主动三维传感采用人为控制测量环境的方法对物体进行三维测量 7 。按是否与被测量物体接触，可以把主动三维测量方法分为接触式 三维测量方法和非接触式三维测量方法【 8 。 接触式三维测量方法采用 非常灵敏的探头沿物体表面进行逐点测量，需要机械的方法沿物体表 面逐点扫描，所以这种测量非常昂贵、费时，对于柔软的物体，该方 法无法适用。 这种方法测得的三维数据非常可靠【 9 。而非接触主动三 维测量的方法很多，按采用的手段可分为光学三维测量和非光学主动 三维测量1 1 0 ， 非光学主动三维测量主要有微波雷达三维测量 川和声 纳三维测量 1 2 ，因为光学三维测量方法的分辨率比非光学主动三维 测量的分辨率高，这里主要介绍光学主动三维测量方法，根据测量原 理，光学主动三维测量方法主要有结构光场方法【 1 3 和飞行时间方法 1 1 a 。飞行时间方法采用调制激光光束。 通过测量光束往返于物体和 传感器的时间来计算物体与传感器的距离，这种方法适合于测量距离 较远而精度要求不高的物体，要得到密集的物体三维数据，它需要对 物体进行逐点扫描测量，该方法的分辨率由时间测量精度决定，对于 近处物体的测量，它的 精度受到限 制【 1 s . 采用结构光场进行物体三 维测量的方法很多， 像光带方法 1 6 、 莫尔干涉测量方法【 1 7 、 傅立叶 四川大学博 1 丁 论文第一章 绪论 变换轮廓术等 1 8 ，从原理上说，都是采用三角测量原理，通过测量 投射图案的变形得到物体的三维信息，这些方法的测量精度较高，对 于光带三维测量，需要光带对表面进行扫描，它的测量很费时，要求 在测量时间间隔内， 物体保持不动 1 9 。 对于莫尔干涉三维测量和傅 立叶变换轮廓测量，只需要拍摄一张投射了光场的物体图像，它们一 般只能测量没有阶跃边的物体。另外的结构光三维测量方法还有，主 动双目 视觉 2 0 、主动调焦三维测量 2 1 和主动离焦三维测量 2 2 。主 动双目 视觉方法通过向测量物体投射结构光，从不同视角拍摄结构光 图案，用对应点的匹配来代替物体对应特征的匹配，解决了被动双目 视觉中特征匹配问题，极大地提高了双目视觉三维测量测量速度，由 于它通过不同视角物体的图像来进行三维测量，不可避免地仍存在三 角测量中存在的闭塞问题。主动调焦三维测量和主动离焦三维测量向 测量物体投射结构光图案， 通过计算结构光图案的模糊计算物体深度。 调焦三维测量拍摄大量不同光学参数的图像， 通过这些图像找出物体 的最佳光学参数，拍摄不同光学参数的图像涉及机械运动，这种方法 的测量时间长，计算量也很大。主动离焦三维测量克服了不同纹理表 面的模糊度计算误差问题，只需要两幅图像，就能计算出物体深度， 这种方法计算量小、可以达到实时测量。现在主动离焦三维测量可以 在了 秒钟内，得到3 0 幅，空间分辨率为3 x 3 像素，深度测量精度为 0 . 3 % 的5 1 2 x 5 8 0 的深度图，基本达到了实用水平 2 3 0 1 . 2三维传感的应用 光学三维传感是信息光学前沿的主要领域和方向之一， 最近几年， 由于计算机技术、c c d 技术的不断进步，光学三维传感技术得到了飞 速的发展。目前，三维传感技术己 被广泛的应用于工业检测、视觉模 拟、科学探测、医学、电子商务等领域。 光学三维传感在许多领域，如机器视觉 2 4 、自 动加工【 2 5 、工 业自动检测 2 6 、 产品质量控制 2 7 、实物仿型【 2 8 、生物医学 2 9 , 1 0 四川大学博_ 七 论文 第一章 绪论 人脸密码锁 3 0 、指纹密码锁 3 1 、犯罪现场足迹分析【 3 2 等都具有 重要意义和广泛的应用前景。随着计算机技术，光学和光电子技术的 发展， 对如何快速、 密集地获取物体的三维数据的要求日益迫切【 3 3 0 下面是它的一些具体应用的例子。 1 . 2 . 1工业检测 当零件模型数据通过 c a d软件设计或对已有模型进行数字化后， 通过不同的生产方式和过程进行生产，最终得到的部件和原始模型之 间的差异必须控制在允许的范围之内，差异发生的位置和大小的精确 确定需要对实际生产部件进行三维测量得到，根据测量的数据，找出 改进生产过程的方法，以满足设计要求。 1 . 2 . 2逆向工程 3 4 随着工业技术的进步以及经济环境的发展，任何通用性产品在消 费者高质量要求之下，功能上的需求已不再是赢得市场竞争力的唯一 条件，产品不仅功能上要求先进，在产品外观上也需要做造型设计， 以吸引消费者的注意力，设计师们可利用c a d的技巧构想出创新的美 观外型，然后塑造出模型。三维传感技术直接获取模型或样机的三维 面型数据，根据这些数据可以进行快速成型制作和加工. 1 . 2 . 3 物体识别 别物体仍然没有解决。因为物体是由三维信息组成的， 互 ， 但准确的识 通过物体的亮 尽管对采用灰度和颜色进行识别进行了大量的研究 四川大学博士论文 第一章 绪论 度信息和几何信息表示，可以非常准确的识别物体，所以采用物体的 三维信息看来是唯一可以实现的方案。 1 . 2 . 4 自动产生 c a d模型【 3 5 在虚拟现实中需要很多物体的三维数据时， 尽管有大量的三维c a d 系统， 但很多情况下， 它们并不能提供我们所需要的三维数据， 此时， 用快速、高密度的三维传感器提供物体的表面数据就非常必要。 1 . 2 . 5 远程显示 3 6 对远程手术和远程证实，三维显示就非常重要，尽管可以采用双 目体视方法实现，但采用实时获得三维数据是更为理想的方法，采用 离焦三维测量系统，可以从任意角度获得物体的三维数据，然后通过 三维显示方法在远程显示出来 ( 用全息方法可以不佩带附加目镜)。 1 . 2 . 6 文物保护 3 7 1 过去研究人员 和爱 好者 不得不 通过图 片， 或到馆 藏地和文 物所在 地才能对它们进行研究和欣赏，而随着时间流逝和社会的变迁，部分 文物将不可避免地永远消失.对这些文物进行数字化处理以后，不但 可以作为数字化档案永久保存。人们还可以通过互联网进行欣赏，研 究人员通过计算机可以进行远程协作研究. 四川大学博士论文第一章 绪论 1 . 2 . 7 医疗 3 8 1 很多情况下，医生都需要知道患者的某些部位的三维数据，比如 人体整形手术中，医生需要知道整形部位的三维数据，并对术前数字 化进行修改，拟合出病人术后的预期结果，而放射治疗中，知道肿瘤 部位的三维数据可以帮助医生制定合适的治疗方案。 1 . 3 .本文的工作 本文系统地研究了离焦三维测量的原理、方法和技术。具有创新 性的工作主要包括 . 提出一种新的高密度全局离焦三维测量方法，该方法通过计算正 弦光栅和正交正弦光栅投射下，两幅不同光学参数的离焦图象的对比 度分布，得到物体致密的深度分布。该方法避免了传统主动离焦三维 测量划分子图、采用窄带滤波器过滤出局域投射频谱，消除了子图空 间尺度和滤波器带宽导致的测不准关系，这种方法速度快，取消了离 焦三维测量的算子设计工作、提高了测量速度，从理论上突破了传统 离焦三维测量对空间分辨率和深度侧量精度的限制，使空间分辨率可 以达到单个像素。 . 提出投影离焦的新概念，基于这种概念，建立了一种新的主动离 焦三维测量，导出三维测量的基本方程，在正弦光栅投射和正交正弦 光栅投射下，得到了该主动离焦三维测量的全局测量方法，该方法避 免了传统主动离焦三维测量划分子图和使用窄带滤波器过滤出物体投 射频谱，消除了由子图大小和滤波器带宽导致的测不准关系，这种方 法速度快，取消了离焦三维测量的算子设计工作、提高了测量速度， 得到了致密的物体深度分布 ( 每个像素都有深度值)，扩大了离焦三 维测量的使用范围，为物体的离焦三维测量提供了另一种选择方案。 该方法还避免了当成像光路对应点不匹配问题，得到了单像素的空间 四川大学博士论文第一章 绪论 分辨率。 . 提出了测量表面纹理分布不均匀的物体的主动三维离焦测量方 法， 该方法通过将点阵照明模式和空域卷积/ 去卷积相结合， 解决了离 焦三维测量的图像交叠问题和匹配问题，减小了纹理不均匀导致的离 焦三维测量的影响。 . 针对传统主动离焦三维测量很少考虑物体纹理对深度测量的影响 的情况，在正弦光栅和正交正弦光栅两种投射模式下，分析了全局主 动离焦三维对具有一定表面纹理的测量精度，通过计算机模拟和实验 都发现:在同等条件下，正交正弦光栅投射对表面纹理物体的测量精 度要高于正弦光栅投射的测量精度，当光栅的空间频率方向和物体纹 理的空间频率方向相同时，对实验影响最大，该分析为实际测量中， 如何用高密度全局主动离焦三维测量获取精确的物体深度分布提供了 设计依据 。 . 提出了高密度全局主动离焦三维测量的摄像镜头参数标定方法， 建立归一化比与归一化深度之间的查找表，为高密度全局主动离焦三 维测量的实施和精确测量建立了基础。 . 在基于投影离焦概念的主动离焦三维测量方法中，提出了投影镜 头参数的标定方法，建立了归一化调制度比和归一化深度之间的查找 表关系，为投影离焦三维测量的应用和精确测量奠定了基础。 1 . 4本文的结构 本论文重点研究了高密度全场主动离焦三维测量的测量方法的理 论、 方法和技术， 根据投射模式和测量物体的特点。 采取合理的方法， 实现物体的深度测量。 本论文的结构组织如下: 第一章:介绍了三维传感应用的领域，简单综述了被动三维测量 和主动三维测量，分析了离焦三维测量的特点。 第二章:重点介绍了离焦三维测量的基本原理和目前一些主要的 离焦测量方法以及达到的水平。 四川大学博 卜 论文 第一章 绪论 第三章:提出了利用点阵模式与被动离焦三维测量的空域方法相 结合，测量纹理不均匀物体的方法，并对测量中所需要的镜头参数进 行了标定。 第四章:提出了一种新的主动离焦三维测量方法，建立了该方法 的理论基础和实现方法，并对该方法所需要的光学参数进行了标定， 提出了建立的归一化比与归一化深度之间的查找表建立方法。 第五章:提出投影离焦的概念和基于这种概念的主动离焦三维测 量的新方法。推导出基于投影离焦的主动离焦三维测量的基本方程， 在正弦光栅投射和正交正弦光栅投射下，得到了该主动离焦三维测量 的全局测量方法，提出所需要的投影镜头参数标定方法，建立了归一 化调制度比归一化深度之间的查找表关系。 第六章:分析了在正弦光栅和正交正弦光栅两种投射模式下，物 体的表面纹理对测量精度的影响，为具体测量中，如何提高高密度全 局主动离焦三维测量的精度提供了设计依据。 1 . 5本章小结 本章主要介绍了三维面形测量的应用范围，简单综述了被动三维 测量和主动三维测量，分析了离焦三维测量的特点。在本章的最后还 指出了本论文的结构和主要研究内容。 四川人学博 卜 论文第二章离焦三维测量原理 第二章 离焦三维测量原理 1 . 1引言 利用图像模糊程度计算物体的深度已经被很多研究者所研究，下 面对这一领域的工作进行综述。 1 9 8 7 年， p e n t l a n d 首先提出通过图 像模糊程度计算物体的距离 5 , 他使用具有阶跃边的物体，假设系统的点扩散函数具有高斯分布，用 l a p l a c e 算子测量阶跃边图像的模糊宽度 3 9 ， 利用离焦扩散参数计算 出物体的距离。1 9 8 8 年， s u b b a r a o 和g u r u m o o r t 妙发现可以用线扩散 函 数的扩散参数表示物体的距离 4 0 ，计算出 物体阶跃边的深度， 在 他们的计算过程中，取消了点扩散函数的高斯函数限制，只要求点扩 散函数具有圆对称性。使p e n t l a n d 的方法可以应用于更广泛的光学系 统。p e n t l a n d 提出使用不同光学参数的两幅图像恢复出物体的深度信 息时，要求拍摄其中一幅物体的图像的孔径光栏是针孔，以致物体图 像在整个范围内是清晰的，而另一幅图像则采用大孔径拍摄，分别将 这两幅物体图像分成很多对应的子图，计算对应子图在一个频带或多 个频带中的信号能量，通过对应位置的信号能量查找出物体的距离 5 。这种方法的最大缺点是测量时采用了针孔，导致进入摄像系统的 能量很少，使拍摄图像产生很大的噪声，影响测量精度 引 。同年， s u b b a r a o 研究了p e n t l a n d 的方法 4 2 ， 取消了拍摄过程的针孔限制， 通过假设系统的点扩散函数是高 斯分布 4 3 ， 找出了 在系统光学参数 无限小变化和有限变化时， 离焦扩散参数与光学系统参数的变化关系。 随后，他将该方法扩展到非高斯分布的离焦点扩散函数 4 4 0 在上世纪 9 0年代早期，为了提高离焦三维测量的精度，e n :和 l a w r e n c 。提出离焦三维测量的叠代矩阵方法【 4 5 ， 通过寻找不同 光学 参数的两幅离焦图像的卷积变换矩阵，并认为卷积变换矩阵代表了两 离焦幅图像之间的 点扩散函数 ， 通过计算这个 点扩散函数的扩 四川大学博士论文第二章离a*三维测量原理 散参数， 估计出物体的深度分布。 1 9 9 2 年s u b b a r a o , s u r y a r 等将s 域 变换方法应用于离焦三维测量 4 6 1 ,假设离焦图像在空间小区域内满 足三阶多项式分布，并将点扩散函数的参数定义为归一化点扩散函数 的二阶矩，得到了非常简单的扩散参数表示，深度测量的空间分辨率 为4 8 x 4 8 像素， 精度的均方根误差为2 . 3 %。 由于它的空间分辨率不高， 只适合深度变化不大的物体。 与此同时，s u b b a r a 。 和 w e l 认为点扩散函数的扩散参数为两幅图 像的一维傅立叶变换系数之比，在频域中，通过两幅离焦的频谱计算 物体的深度 4 7 1 ，解除了p e n t l a n d方法中拍摄离焦图像的针孔限制和 点扩散函数高斯模型限制，其空间分辨率为 1 2 8 x 1 2 8像素，深度测量 的均方误差为3 . 5 %e 由于离焦三维测量物体表面纹理的频率特征不可预计 4 8 ，为了 在频率域内 精确估计出物体的深度分布， 1 9 9 4 年， x i o n g 和s h a f e ; 提 出矢量滤波来补偿离焦传递函数随着频率变化的性质 4 9 1 ，在频率域 内，采用在两幅图像中占支配地位的频率来计算物体的深度。 1 9 9 ， 年， w a t a n a b e 和n 妙a r 认为离焦三维测量中 采用l a p a l c e 和 高斯算子不能得到高精度的深度测量是因为这些滤波算子的频带宽度 很宽 5 0 1 ，为了弥补这种算子测量时的不足，提出通过设计宽带有理 滤波算子得到精确的物体深度的方法，该方法可以达到 7 x 7 的空间分 辨率，是到目前为止被动离焦三维测量中，空间分辨率最高的。从现 在的结果看，只有主动离焦三维测量方法可以快速、准确地测量出物 体的三维数据. 主动离焦三维测量方法是由p e n t l a n d 在 1 9 9 4 年首先提出的 5 1 1 , 通过向物体投射稀疏的带状图案，利用计算光带边缘模糊的宽度，得 到物体的深度分布，这种方法由于没有考虑表面纹理对模糊的影响， 实验的空间分辨率和深度测量精度都不高。 1 9 9 5年， n 妙a r等提出了一个对称投射模式 5 2 ，采用精心设计 的棋盘格照明模式和滤波算子， 得到了高密度、 精确的物体深度分布。 2 0 0 3 年，g h i t a o . 和 w h e l a n p . f 宣布采用这种方法，在 1 秒内得到3 0 幅， 深度测量精度为0 . 3 %， 空间分辨率为3 x 3的5 1 2 x 4 8 0 的物体深度 四川人学博_ 1 : 论文第二章离焦三维测量原理 图像。实现了实时离焦三维测量，使主动离焦三维测量达到了实用水 平【 5 3 1 。 离焦三维测量方法具有其它三维测量方法无法比拟的优点，目前 已被应用于机器视觉、微结构测量、c a d建模，实现了实时测量。它 也有一些缺点:在理论上，用空不变系统代替空变系统【 5 4 1 ，使物体 边缘的测量产生很大的误差，其次，尽管它的处理方法很多，但每一 个都有很大的局限性。实际上，只有主动离焦三维测量能快速、准确 的得到物体密集的深度分布。在人们无法控制测量环境时，被动离焦 方法有非常显著的优点。 2 . 2 离焦三维测量的基本原理 2 . 2 . 1离焦模型 离焦三维测量直接利用物体深度、摄像镜头参数和图像模糊度之 间的关系来测量物体深度。图2 - 1 是离焦三维测量的原理图。物体表 面尸点发射的光通过半径为d / 2 的孔径光栏后，被焦距为f 的透镜会 物 体表面 、d 图 2 - 1 1 离 焦 三 维 测 量 原 理 图 聚于物体的像点尸 ，根据几何光学的物像关系 有 四川大学博_ 1 : 论文第二章离焦三维测量原理 十+十=十 0 对一种特定的离焦点扩散函数模型 ( 2 - 6 少 ，k 是一个常数，对所有模型 实验发现它的值接近1/ 涯。根据2 - 2 ，扩散参数和扩散参数及物距离的 关系为 5 7 : a 二 k 0 ( f 一 告 一 s ( 2 - 7 需要特别指出，由于光斑半径r值可正可负，扩散参数口的值也 是可正可负，它的符号规定与r一致 5 8 1 . 2 . 2 . 2 、深度估计 在信息光学中，对于一个平面物体，如果表面上所有点对光学系 统的离焦点扩散函数相同， 拍摄到的物体图像i ( x , y ) 和物体表面光强分 布 ( 物函数f ( x , y ) )之间有如下关系 5 9 : i ( x , y ) 二 f ( x , y ) h ( x , y ) ( 2 - 8 ) 其中* 表示卷积运算。从图2 - 1 可知， 对于三维物体， 物体上不同 点到透镜的距离不同，调焦像面到摄像面的距离也不同，离焦点扩散 函数的扩散参数的值也不同。 拍摄到的图像之间不再具有 这种情况下，物体表面上的光强分布和 ( 2 - 8 ) 式的卷积关系。 为了利用卷积运算 处理离焦三维测量，这里引进了调焦像面和调焦像两个概念，调焦像 四川大学博士论文第二章离焦三维测量原理 面定义为:三维物体表面上所有点经光学系统后，在像空间形成的清 晰像点所构成的曲面称为调焦像面。对物体表面上一点，如像点和传 图2 一 2离焦点扩散函数对调焦像的滤波 感器平面相交，那么，在传感器上的像也是一点，这点的亮度与该物 点的辐射强度成正比。调焦像定义为:将调焦像面对平行于传感器的 表面进行正投影，使投射点的亮度正比于物体表面点的辐射强度，这 样形成的分布称为调焦 像分布 6 0 1 ， 记为i f ( x , y ) 传感器表面拍摄到 的图像就是调焦像从调焦像面传输到传感器的结果，其点扩散函数称 为离焦点扩散函数。尽管在调焦像面上，点扩散函数逐点变化，不能 将拍摄的离焦图像表示为调焦像与点扩散函数的卷积，但对于调焦像 面上一个小区域或离焦点扩散函数的扩散参数变化不大的区域，可以 认为所有点的离焦点扩散函数相同，这样，就可以把传感器上拍摄到 的该区域的图像( 今后简称为离焦像i ( x , y ) ) 和该区域的调焦像关系表 示为: 四川大学博上 论文第_章离焦三维测量原理 i(x , y ) 一 f (x , y ) * h ( x , y ; v ) ( 2 - 9 ) 这里为了表示出卷积关系的局域性【 6 1 ， 把该区域的离焦点扩散 函数的扩散参数明显表示出来，它代表拍摄到的物体离焦图像在该区 域的模糊程度。所以离焦扩散参数有时也称为模糊度。 在频域中 2 一 9 )表示为: i (co ,v ) 一 i f (to ,v ) . h ( m ,v ; a ) ( 2 - 1 0 ) 这 里i ( co , v ) , 1 f ( m , 0 和h (ro , v ; q ) 分 别 是 离 焦 像 、 调 焦 像 和 该 区 域 的 离 焦传递函数，从 ( 2 - 1 0 )式可以看出，离焦像可看成是调焦像被系统 离焦点扩散函数滤波后的结果，这个滤波器的形状在调焦像表面上是 逐点变化的。图1 - 2 是用离焦点扩散函数的p i l l b o