（计算机应用技术专业论文）多投影校正技术、系统及应用.pdf

浙江大学硕上学位论文摘要 摘要 现今，多投影系统的应用越来越多。通过对每台投影机的投影内容做几何、 颜色校正，以实现多投影系统的无缝拼接。本文利用这些技术，实现了一个多投 影校正系统。 本文从坐标变换这一角度说明几何校正的基本原理。本文还引入多逻辑屏的 概念，多逻辑屏的多投影系统降低了投影机和计算机的数量，极大地降低了硬件 成本和能源消耗，也提升了系统的稳定性。 为实现良好的颜色校准效果，就必须根据投影机的投影原理，精确地测量投 影机在投影颜色方面的一些属性。本文阐述了颜色校正的基本原理，投影亮度不 一致的原因，并提出一种实现投影亮度一致的算法，并实现了g p u 的加速绘制。 本文还介绍了多投影系统的一个全新应用，即使用多台投影机协作投影显示 h d r 图像。该应用突破色阶瓶颈，在总色阶数上有较大可扩展性，达到了投影显 示h d r 图像的更多亮度细节的目的，使投影显示的h d r 图像在亮度、饱和度等方 面都表现得更真实、自然。 最后，从硬件布局和软件模块两个角度对我们的多投影校正系统做了简要的 介绍。我们的多投影校正系统已经在很多项目中得到了应用，反应良好。该系统 具有较强的灵活性、可伸缩性、可扩展性，而且成本低，我们相信该系统会有更 好的应用前景。 关键词：多投影校正系统，几何校正，颜色校正，多逻辑屏，h d r 图像 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t n o w a d a y s ，t h e r ea r em o r ea n dm o r ea p p l i c a t i o n so fm u l t i p r o j e c t o rs y s t e m a s e a m l e s sm u l t i - p r o j e c t o rs y s t e mi st i l e db yg e o m e t r yc a l i b r a t i o na n dc o l o rc a l i b r a t i o n a c c o r d i n gt o t h e s ec a l i b r a t i o nt e c h n o l o g i e s ，w ec o n s t r u c t e do n em u l t i - p r o j e c t o r c a l i b r a t i o ns y s t e m w ee x p l a i nt h e t h e o r yo fg e o m e t r yc a l i b r a t i o ni n t h ev i e wo fc o o r d i n a t i o n t r a n s f o r m a t i o n w ea l s oi n t r o d u c et h ec o n c e p to fm u l t i l o g i cs c r e e n b ya p p l y i n g m u l t i l o g i cs c r e e ni nm u l t i p r o j e c t o rs y s t e m ，i tc a nd e c r e a s et h ec o s to fh a r d w a r ea n d e l e c t r i c a le n e r g yb yd e c r e a s i n gt h en u m b e ro fp r o j e c t o r sa n dp c s ，a n di n c r e a s et h e s t a b i l i t yo ft h es y s t e m t oa c h i e v eag o o dr e s u l to fc o l o rc a l i b r a t i o n , w em u s tm e a s u r es o m ea t t r i b u t e so f p r o j e c t e dc o l o rp r e c i s e l ya c c o r d i n gt ot h et h e o r yo fp r o j e c t i o n w ea l s oe x p l a i nt h e b a s i ct h e o r yo fc o l o rc a l i b r a t i o na n dt h er e a s o n sw h i c hc a u s en o n - u n i f o r m i t yo f p r o j e c t e db r i g h t n e s s t h e n ，w ep r o p o s ea na l g o r i t h mt oa c h i e v eu n i f o r m i t yo f p r o j e c t e d b n g h t n e s sa n d r u ni ti ng p u w ea l s oi n t r o d u c ea na b s o l u t e l yn e wa p p l i c a t i o no fm u l t i - p r o j e c t o rs y s t e mw h i c h i sp r o j e c t i n gh d ri m a g eb yu s i n gs e v e r a lc o o p e r a t e dp r o j e c t o r s t h i sa p p l i c a t i o n b r e a k st h eb o t t l e - n e c ko fc o l o rg a m u ta n dh a ss t r o n ge x p a n s i b i l i t yo nc o l o rg a m u t i t r e a l i z e st h et a r g e to fp r o j e c t i n gm o r eb r i g h t n e s sd e t a i l so fh d r i m a g ea n ds h o w st h e p r o j e c t e dh d ri m a g em o r er e a l l ya n dn a t u r e l yi nb r i g h t n e s s ，s a t u r a t i o n ，a n de t c a tl a s t ，w ei n t r o d u c et h eh a r d w a r ec o n s t r u c t i o na n ds o f t w a r em o d e l so fo u r m u l t i - p r o j e c t o rc a l i b r a t i o ns y s t e m o u rs y s t e mh a sa p p l i e di nm a n yp r o j e c t sa n di s w e l la p p r e c i a t e d w eb e l i e v et h a to u rm u l t i - p r o j e c t o rc a l i b r a t i o ns y s t e mw i l lb ew i d e l y a c c e p t e db e c a u s eo fi t sf l e x i b i l i t y , s c a l a b i l i t y , e x p a n b i l i t ya n d i t sl o wc o s t k e y w o r d s ： m u l t i p r o j e c t o rc a l i b r a t i o ns y s t e m ，g e o m e t r yc a l i b r a i o t n ，c o l o rc a l i b r a t i o n , m u l t i l o g i cs c r e e n ，h d ri m a g e i i 浙江大学硕上学位论文 图目录 图目录 图2 1 不同的图像坐标空间7 图2 2 几何校正的坐标流程8 图2 3 多逻辑屏幕1 2 图2 4 双逻辑屏投影效果1 3 图2 5 多逻辑屏的坐标转化流程1 4 图2 6 一张整合自两个逻辑图像的部分图像的子图像1 4 图2 7 第1 个逻辑图像15 图2 8 第2 个逻辑图像15 图2 9 投影缓存中的图像15 图2 1 0 一个投影缓存坐标空间上的亮度的权值掩码图1 6 图3 1 颜色的校正变换流程17 图3 2 摄像机d r 2 c o l c s b o x 的反应曲线】9 图3 36 台三洋p l c x u l 0 5 0 c 的红色通道的亮度反应曲线2 1 图3 46 台三洋p l c x u l 0 5 0 c 的绿色通道的亮度反应曲线2 1 图3 56 台三洋p l c x u l 0 5 0 c 的监色通道的亮度反应曲线2 1 图3 6 投影画面上九个点的分布2 4 图3 7 颜色校正前的投影效果2 7 图3 8 颜色校正后的投影效果2 7 图3 9 一台投影机在金属环幕上的投影2 8 图3 1 0 两个投影画面的直视图2 9 图3 1 1 两个投影画面的左视图2 9 图3 1 2 两个投影画面的右视图2 9 图3 1 3 两台投影机的投影区域在照片上的位置3 2 图3 1 4 使用k - m e a n 算法把投影区域内的像素分成四个簇3 2 图3 1 5 红色画面拼接效果3 5 图3 16 绿色画面的拼接效果3 6 图3 1 7 蓝色画面的拼接效果3 6 图3 18 紫金港三维模型图像的拼接效果3 6 图4 1 多台投影机协作投影显示h d r 图像的系统结构3 9 图4 2 四台投影机的投影区域4 0 图4 3h d r 图像s e y m o u r _ p a r k h d r 的图像内容4 0 图4 4h d r 图像在不同g a m m a 值下的人眼感觉亮度分布4 2 图4 5h d r 图像在不同g a m m a 值下的辐射度分布4 2 图4 6 四台投影机红色通道的亮度反应曲线4 3 图4 7 四台投影机绿色通道的亮度反应曲线4 3 i i i 浙江大学硕士学位论文图目录 图4 8 四台投影机蓝色通道的亮度反应曲线4 4 图4 9 不同g a m m a 值时的虚拟亮度曲线4 5 图4 1 0g a m m a = 2 5 时四台投影机的红色通道的色阶与h d r 图像的辐射度映 射关系4 6 图4 11g a m m a = 1 0 时h d r 图像s e y m o u rp a r k h d r 的投影显示效果4 7 图4 1 2g a m m a = 2 5 时h d r 图像s e y m o u rp a r k h d r 的投影显示效果4 7 图4 1 3g a m m a = 5 0 时h d r 图像s e y m o u rp a r k h d r 的投影显示效果4 8 图4 1 4g a m m a = 1 0 时四台投影机的投影画面4 8 图4 1 5g a m m a = 2 5 时四台投影机的投影画面4 8 图4 1 6g a m m a = 5 0 时四台投影机的投影画面4 8 图4 1 7h d r 图像s e y m o u rp a r k h d rt o n em a p p i n g 后的投影显示效果4 9 图5 1 多投影校正系统中的模块关系5 1 图5 2 多投影校准系统的校准流程51 图5 3 设置投影机阵列的用户界面5 2 图5 4 设置投影机阵列的用户界面的部分细节5 2 图5 5 控制端几何校正的用户界面5 2 图5 6 设置融合参数的用户界面5 3 图5 7 使用摄像机测量投影机亮度反应曲线的用户界面5 3 图5 8 使用摄像机测量投影机亮度反应曲线的用户界面的部分细节5 3 图5 9 调整投影机黑水平的用户界面5 4 图5 1o 余杭科技馆的双溪漂流5 5 图5 1 1 用户用于控制漂流速度的竹筏、竹篙5 5 图5 1 2 中南卡通在萧山的4 d 影院5 5 图5 1 3 浙江省科技馆的台风体验厅5 6 图5 1 4 扬州佛教博物馆的舞动的飞天5 6 图5 1 5 扬州佛教博物馆的水陆法会道场5 7 图5 1 6 本实验室的2x7 通道的立体环幕系统5 7 图5 1 7 世博会中国馆浙江展区的碗型投影的实验效果5 8 i v 浙江大学硕：t 学位论文表目录 表目录 表3 - 1 一台松下p t - f d 5 7 0 不同投影画面的照度2 3 表3 2 一台东芝t l p t 6 2 0 不同投影画面的照度一2 3 表3 3 一台松下p t - f d 5 7 0 在九个点上的照度、色度一2 4 表3 - 4 一台东芝t l p t 6 2 0 在九个点上的照度、色度。2 5 v 浙江大学硕士学位论文第1 章绪论 第l 章绪论 1 1 多投影校正技术综述 近年来，与多投影校正技术相关的研究课题越来越多。而且，多投影系统的 应用随处可见。就在中国，无论是奥运会开幕式上的空中环幕、巨型“地球”， 还是全运会开幕式上的巨型碗幕，都展示了多投影显示技术的无穷魅力。自2 0 0 3 年起，出现了与投影机、摄像机的应用研究相关的会议p i 的c a m s 。各种与多投 影校正技术相关的研究和应用不断涌现。例如，普林斯顿大学的s e a l a b l ed i s p l a y w a l l 1 】；北卡莱罗纳大学查佩尔希尔分校的p i x e l f l e x 2 系统【2 】；等等。 由于投影到屏幕上的画面受到投影机投影角度、投影机镜头辐射状扭曲、屏 幕弯曲形状等因素的影响，会出现几何扭曲，而且通过手工排列投影机的方式很 难校正这种扭曲，因此我们有必要对投影机投影画面进行几何校正。到目前为止， 已经有很多如何做几何校正的研究。s u k t h a n k a r 等人提出使用摄像机建立图像坐 标与投影缓存坐标之间的单应性映射关系【3 1 ；h a r tc h e n 等人使用摄像机树来应对 大规模投影机阵列的几何校正【4 】：b h a s k e r 等人使用b 6 z i e r 曲面片来校正投影机镜 头的辐射状扭曲【5 】；j i nz h o u 等人提出在多投影系统的使用过程中持续地做自校 正，以应变投影机的轻微移动【6 】；r r a s k n 介绍了亮度混合羽化技术；等等。 这些在几何校正方面的真知灼见对后来的研究都有借鉴意义。但是这些研究算法 也有一些不足之处，他们都需要使用摄像机来做几何校正，但摄像机产生的图像 分辨率、镜头的辐射状扭曲等因素都会影响几何校正的结果，而且这些研究主要 运用在平幕，而非曲幕、环幕，更不用说是多逻辑的屏幕。 要实现一个完美的多投影系统，还有一个需重视的问题就是颜色匹配问题， 需要做颜色校正。即使是相同型号的不同投影机，也可能会投影出不同的颜色效 果，随着投影机使用时间的增加，投影机间的投影颜色差异会变得更加明显。完 美的多投影系统还需采用边缘融合技术，况且投影缓存中图像色阶值与投影亮度 之间的映射是非线性的，那么就要建立投影缓存中图像色阶与投影亮度之间的映 浙江大学硕士学位论文第1 章绪论 射关系，便于反查融合后的图像色阶值。a d i t im a j u m d e r 等人对投影机的投影属 性以及与硬件参数设置的关系做了描述，并提出了一些在颜色校正上的解决方 案，但是却没有对l c d 投影机和d l p 投影机这两类构造原理不一样的投影机的 投影属性做比较 8 】：a d i t im a j u m d e r 等也提出了实现投影亮度一致的方法【9 】【10 】【1 1 1 ， 但是却没有详细地说明如何简化亮度信息，如何在g p u 中做绘制；r a yj u a n g 等 人提出了对因摄像机光圈、投影机镜头等因素引起的照片边缘较暗的现象做校正 的算法【1 2 1 ，该方法能降低在使用摄像机做颜色校正的情况下降低系统误差。 另外，对于多投影系统，一般使用计算机集群系统进行控制和绘制处理。g w a l l a n c e 【1 3 】和r s a m a n t a 1 4 】介绍了他们在这些方面的工作。 现在投影设备能投影显示的色阶范围为0 ，2 5 5 ，几乎没有色阶数超过2 5 6 级的投影设备。因此，如果要投影h d r 图像，也只能使用t o n em a p p i n g 技术将 h d r 图像转换成2 5 6 色阶的l d r 图像，再投影，h d r 图像上的所有亮度信息会 被压缩成2 5 6 级，许多亮度细节被过滤。为了投影显示h d r 图像的更多亮度细 节，就应该增加能投影显示的总色阶数。本文在基于对多台投影机投影画面做几 何校正和颜色校正的基础上，提出了一种使用多台投影机协作投影显示h d r 图 像的方法，并实现了一个能真正投影h d r 图像的h d r 显示系统。 1 2 多投影校正的关键技术 1 1 节介绍了多投影校正技术的研究背景和发展现状。本文将基于上述研究 情况，在多投影校正技术上做进一步的改进，以实现有更完美拼接的多投影系统。 根据我们研发的多投影校正技术，我们已经实现了一个多投影校正系统，并在许 多商用多投影系统中得到了应用。 我们的多投影校正系统适用的屏幕可以是很粗糙的墙面，也可以是特制的金 属屏幕；不但适用于大平面的屏幕，也适用于环幕，任意形状的多维曲幕。只需 市场上一般的商用投影机，便可实现完美的拼接。 本文认为多投影校正技术主要包含两个关键的技术：几何校正技术，颜色校 正技术。下面分别简要地介绍本文是如何实现这些关键技术的。 2 浙江大学硕l 学位论文第1 章绪论 1 2 1 几何校正技术 在多投影系统中，几何校正的本质就是在把图像传输给投影机之前，将图像 扭曲，使最终投影在屏幕上的画面形状、画面内容位置符合预计的要求。因此， 几何校正的关键还是建立点在图像坐标空间到投影缓存坐标空间上的坐标映射 关系。我们使用b 6 z i e r 曲面来表示坐标间的非线性映射关系。 另外，我们还引入了交互式手动几何校正。交互式几何校正在拼接工程实施 上较自动几何校正稳定，更能保证系统的精确度；而且坐标映射简单，无须考虑 照相机坐标空间。交互式几何校正可以对自动几何校正的结果进行改进，也可以 作为投影机拼接校准系统的一个完整功能来使用，以适应某些自动几何校正无法 实施的场合。 我们还提出了“多逻辑屏的概念，并从坐标空间和坐标的转换关系这一角 度阐述了多逻辑屏的多投影系统的校正原理。与单逻辑屏的多投影系统相比，多 逻辑的多投影系统降低了投影机和用于绘制的计算机的数量，极大地降低了硬件 成本和能源消耗，也提升了多投影系统的稳定性。 经过一系列的几何校正后，相邻的投影机所投射的区域会有所重叠，而在这 些重叠区域，投影后会比其他区域明显要亮很多。我们需要将重叠区域的亮度减 弱，使之与其他区域的亮度相当。我们的方法是给每个象素一个亮度权值，非重 叠区域的亮度权值为1 0 ：重叠区域的亮度权值小于1 0 ，但是经过多台投影机的 投影叠加后，其亮度和非重叠区域的亮度一致。 1 2 2 颜色校正技术 实施颜色校正的目的就是通过硬件、软件的方法实现所有投影机投影的投影 亮度、投影色度具有一致性，没有拼接的痕迹。为使所有投影机的投影亮度、投 影色度具有致性，就必须遵循相同的颜色映射标准。 为实现良好的颜色校准效果，就必须根据投影机的投影原理，精确地测量投 影机在投影颜色方面的一些属性。 颜色校正的关键就是对每一个投影机建立图像颜色与投影缓存颜色之间的 3 浙江大学硕：学位论文第1 章绪论 映射关系，使在所有的投影机上，相同的图像颜色对应相同的投影颜色。一种颜 色，都由亮度和色度组成。h s v 颜色空间能很好地将颜色的色度和亮度分离开， h 表示色调，s 表示饱和度，h ，s 的组合表示色度，v 表示亮度。在多投影系统 中，使用的投影机一般是同一个型号的，它们投影的色度具有较好的一致性，况 且，人眼对亮度差异的敏感度甚于对色度差异的敏感度，所以，本系统在h s v 颜色空间上做颜色校正：假设投影机的色度一致，只对投影机的亮度做校正。本 系统在颜色校正的基本原理之上提出一种实现投影亮度一致的算法，并实现了 g p u 的加速绘制。 1 3 本文的研究目标和结构 本文的研究目标就是阐述我们的多投影校正技术，并根据这些技术实现多投 影校正系统，然后应用之。 本文的主要研究内容和组织结构为： 第1 章：绪论。首先介绍了现在有关多投影校正技术的研究现状，然后介绍 了多投影校正系统的特点和关键技术，最后简略地介绍我们所作的工作。 第2 章：几何校正技术。本章主要阐述了几何校正的本质就是建立点在图像 坐标空间与投影缓存坐标空间之间的坐标映射关系，并引用b 6 z i e r 曲面来表示坐 标间的非线性映射关系。在说明自动几何校正的基本原理之后，还进一步阐述了 交互式几何校正的实现原理及其在拼接工程实施上的优势。本章还引入多逻辑屏 的概念，并从坐标空间和坐标的转换关系这一角度阐述了多逻辑屏的多投影系统 的校正原理和优势。 第3 章：颜色校正技术。本章首先描述了一些测量投影机投影颜色属性的方 法及其相关的测量结果。本章还阐述了颜色校正的基本原理：然后阐述了投影亮 度不一致的原因，提出一种实现投影亮度一致的算法，并实现了g p u 的加速绘 制。 第4 章：以超高色阶数投影h d r 图像。本章主要阐述了一种使用多台投影 机协作投影显示h d r 图像的方法，这是多投影系统的一个全新应用。首先，引 4 浙江大学硕士学位论文第1 章绪论 入一条虚拟亮度曲线，建立h d r 图像的颜色值( 辐射度值) 与总投影亮度之间的映 射关系。然后根据总投影亮度设置每台投影机的亮度贡献，最后计算出从h d r 图像到l d r 图像的颜色映射关系。实验表明，g a m m a 值的设置直接影响h d r 图 像的投影效果。 第5 章：多投影校正系统。本章首先从硬件布局和软件模块两个角度对我们 的多投影校正系统做了简要的介绍。然后，介绍了一些典型性的多投影校正实施 案例。最后，阐述了我们在多投影校正系统上完成的工作，并描述了一些还需进 一步深入研究的工作。 1 4 本章小结 本章简要介绍了课题的背景及研究状况，阐述了多投影校正的关键技术 几何校正技术、颜色校正技术，最后介绍了本文的研究目标和主要工作。 浙江大学硕士学位论文第2 章几何校正技术 第2 章几何校正技术 2 1 几何校正的原理 为了实现用几台投影机投影显示一副图像，那么就应该把一幅图像切割成几 幅子图像。但是，又因种种原因，如投影角度造成的梯形畸变，投影机镜头造成 的辐射状扭曲，等等，所有投影画面就不能很好地拼合成一副图像了。这些畸变、 扭曲并不是通过手工调整投影机投影角度、位置就能解决的，因此，需要对子图 像做几何校正，以实现投影画面在屏幕上的完美拼接。 总而言之，在多投影系统中，几何校正的本质就是在把子图像传输给投影机 之前，将子图像扭曲，使最终投影在屏幕上的画面形状、画面内容位置符合预汁 的要求，实现与其他投影画面在画面内容上衔接良好。因此，几何校正的关键还 是建立点在子图像坐标空间与投影缓存坐标空间之间的坐标映射关系。 我们的多投影校正系统根据几何校正的原理，实现了一个比较通用的几何校 正解决方案。我们的多投影校正系统对投影机阵列没有严格的要求，投影机不需 要严格地按几行几列的方式整齐地排列，投影画面可以是部分纵向投影，部分横 向投影，只需要所有投影机投影画面的交集能完全覆盖屏幕，相邻投影画面的重 叠区域足够大( 否则融合区域的颜色将过渡不自然) 。我们的多投影校正系统能 适用的屏幕的形状可以是多种多样的，如超大平面幕，柱状环形幕，上窄下宽的 球带幕，以及由多个曲面组成的多逻辑屏幕。能在多逻辑屏幕上做拼接是该系统 的一个亮点，本文将在2 2 节进行详细地描述。 2 1 1 坐标空间 本文从图像的处理流程这个角度来论述几何校正的原理。图像的处理流程 为：首先被切割成几张小图像，本文称切割前的图像为总图像，称小图像为子图 像；接着，对子图像做几何校正，之后复制到投影缓存，用于投影：最后，投影 缓存中的图像被投影到屏幕；如果还有摄像机帮助做几何校正，那么屏幕上的图 像被摄像机捕捉成照片上的图像。根据图像所处的空间，建立了不同的坐标空间， 6 第2 n 目幢m 拉$ 见图2 * 摹# 目自n g # 目 图2 1 不同的图像坐标空间 图像上的任意一个点，都将经历图21 所显示的坐标空间。起先，点位于总 图像坐标空间中，记点在总图像坐标空间中的坐标为( x 1 ，y 。) 。接着，总图像被切割 成n 块子图像，n 为投影机的个数，点被分流到不同的子图像坐标空间中，记点 在第i 个子图像坐标空间上的坐标为( x 。y 6 ) ，其中l ! 苣n 。然后对于图像做几何 校正，技正后的图像被复制到投影缓存，记点在投影缓存坐标空间中的坐标为f x “， v p l 、，其中i 鱼s n 。最后，点被投影机投影在屏幕上，记点在屏幕坐标空间的坐 标为f x 5 ，v s ) 。如果还用摄像机帮助做几何校正那么还需建立照相机坐标空间， 记点在照相机班标空间的坐标为f x 。，v c l 口 总图像坐标与子图像坐标的转化是线性的，子图像只是总图像的部分，其 变换记为公式f 2 - 1 1 。子图像坐标与投影缓存坐标之阃的映射关系记为公式 ( 2 2 1 ，是几何校正的关键。投影缓存坐标与屏幕坐标之间的映射关系见公式 r 2 3 k 屏幕坐标与照相机坐标之间的映射关系见公式f 2 - 4 ) 。本文主张使用b 6 z i e r 曲面来表示坐标空间之间的非线性映射关系。不同坐标空间的坐标变换流程如图 2 所示。2 ( x “，y “) = i ，( x 。，y 。) ( x “，y “) = e ( x l i ) y “) ( x 3 ，y 8 ) = s ( x “，y “) ( x ，y ) = c ( x s , y 5 ) 公式f 2 一n 公式f 2 _ 2 1 公式( 2 3 1 公式( 2 棚 啐 目一霉：擐#墨| 9 霹| 0 箍 嚣 浙江大学硕士学位论文 第2 章几何校正技术 图2 2 几何校正的坐标流程 c 2 1 2 坐标变换之b 6 z i e r 曲面 投影画面的梯形畸变，辐射状扭曲，以及非平面屏幕( 如环幕，球带状屏幕 等) 的弯曲形状，致使子图像坐标到投影缓存坐标，投影缓存坐标到屏幕坐标以 及屏幕坐标到照相机坐标的变换都是非线性的，本系统采用b 6 z i c r 曲面来表示这 些坐标间的非线性映射关系。b 4 z i e r 曲面【1 5 】常用于计算机图形学，c a d 建模技术。 b 吉z i e r 曲面由控制点来决定，可以通过控制点对b 6 z i e r 曲面进行精确地控制，而 且b 4 z i e r 曲面具很好的连续性、光滑性。 一个b 4 z i e r 曲面可以由一系列的控制点来定义。其定义如下：给定空间上 ( + 1 ) ( m + 1 ) 个定点p 。( o i n ；0 j m ) 后，称由公式( 2 - 5 ) 定义的n m 次参数曲面为n x m 次b 6 z i e r 曲面，其中掣 ) ，b y ( v ) 皆为b e m s t e i n 基函数， 其定义见公式( 2 6 ) 。点p 。称为b 6 z i e r 曲面的控制点。 p ( “，) = b 。( 甜) 召夕( 1 ，) po ；z ，【o ，1 】 公式( 2 5 ) b ，月= 习舞 一材) ”甜公式( 2 - 6 ) 在b 6 z i e r 曲面上，不同的( u ，v ) 值对应b 6 z i e r 曲面上不同的点p ( u ，v ) ，那么 b 6 z i e r 曲面就可以表示坐标( u ，v ) 到坐标a ( u ，v ) 的映射关系，坐标( u ，v ) 为一个 8 浙江大学硕：l 学位论文 第2 章几何校正技术 线性的0 1 空间上的坐标，坐标p ( u ，v ) 为一个非线性空间上的坐标。将子图像坐 标空间转化成一个线性的0 1 空间，便可用b 6 z i e r 曲面表示子图像坐标到投影缓 存坐标的变换，同理，可用b d z i e r 曲面表示投影缓存坐标到屏幕坐标与屏幕坐标 到照相机坐标的变换。 但是由公式( 2 5 ) 求p ( u ，v ) ，需得知所有控制点p 。的坐标。因此，需要得 到( + 1 ) ( m + 1 ) 个( u ，v ) 与p ( u ，v ) 的点对，代入公式( 2 5 ) 得到了一个线性方程 组，通过求解线性方程组得到p 玎的值。记g ( “，叻= ) b y ( d ，那么公式( 2 5 ) 变为公式( 2 7 ) 。在( u ，v ) 的坐标空间上取s x t 个点，记为( 虬，v ) ，点( ，；) 在b 6 z i e r 曲面上对应的点为p ( u ，m ) ，其中u s , v t 【0 ，1 】，0 s s ，o s fst ，那么所得的线性 方程组见公式( 2 8 ) 。当s m ，丁n ，我们就可以利用最小二乘法求出每一个岛 值。一旦知道b 6 z i e r 曲面的控制点，我们就可以轻松地得到任意点( u ，v ) 的对应 点p ( u ，v ) 的坐标。 nm p ( u ，y ) = c ：l ，( 州) 岛 i = 0j = o c k ( ，)c ；( u o ，v o )c | 聊( ，) ； ； ； c o o ( 虬，v ) c ；( ”，v ) c 0 ( z ，v f ) ： c 矗( ，喙) g ( ，吩) ( ，晦) p o o ： p ： p n u 尸( u o ，) p ( u s ，v f ) 尸，v r ) 公式( 2 7 ) 公式( 2 8 ) 2 1 3 自动几何校正与交互式几何校正 几何校正的关键就是建立子图像坐标与投影缓存坐标之间的映射关系。在大 屏幕拼接的研究中，绝大多数的几何校正研究都利用摄像机来帮助建立这个映射 关系。本文称基于摄像机的几何校正为自动几何校正，不使用摄像机的几何校正 为交互式几何校正。我们的多投影校正系统既实现了自动几何校正又实现了交互 式几何校正。 本多投影校正系统的自动几何校正技术的实现方式如下：首先，通过棋盘格 检测【16 】的方法获取投影缓存坐标空间与照相机坐标空间的点对，并利用这些坐标 9 浙江大学硕士学位论文第2 章几何校正技术 对求得一个b 6 z i e r 曲面来表示投影缓存坐标与照相机坐标之间的映射关系，见公 式( 2 9 ) 。然后，在屏幕上均匀地采点，并在屏幕上标记这些点，然后拍下照片， 利用阈值分割【1 7 1 的方法获取这些点在照片上的坐标( x c ，y c ) ，使用同样的采点方 法，在总图像上采点，获得坐标( x 1 ，) ，i ) 。利用多组坐标对( x 1 ，y 5 、( x c ，y c ) 建立 b 6 z i e r 曲面来表示总图像坐标与照相机坐标之间的映射关系，见公式( 2 1 0 ) 。因 为根据投影机阵列的排布来确定总图像如何被切割成几张子图像，所以映射关系 i i 也是己知的，也就由公式( 2 1 0 ) 获得新的映射关系，见公式( 2 1 1 ) 。最后，由 公式( 2 9 ) ，公式( 2 1 1 ) 获取子图像坐标与投影缓存坐标之间的映射关系，见公 式( 2 1 2 ) 。 ( x c ，y c ) = c s i ( x p iy h ) 公式( 2 9 ) ( x c ，y c ) = c s ip ；i i ( x 1 ，y 1 ) 公式( 2 一l o ) ( x cy c ) = c s jp ：( x b ，y “)公式( 2 1 1 ) ( x n ，y n ) = ( c s i ) c s ip i ( x “，y “) 公式( 2 - 1 2 ) 自动几何校正能快速地建立子图像坐标与投影缓存坐标之间的映射关系，但 是也存在一定的缺陷：自动几何校正要求在摄像机和屏幕之间不能有遮挡物，对 环境光要求苛刻，否则摄像机拍得照片的质量很难保证，将直接影响几何校正的 结果；自动几何校正引入了照相机坐标空间，但摄像机镜头的构造导致照相机坐 标空间为一个非线性的坐标空间，这个额外的非线性坐标空间也会引入较大的误 差：照相机坐标空间是子图像坐标空间与投影缓存坐标空间之间建立映射的桥 梁，所以几何校准的精确性直接依赖于摄像机的性能、图像分辨率，而且以照相 机坐标空间为桥梁导致过多的坐标关系变换，会增加累积误差。 自动几何校正很难在精度上有所保证，所以，本文引入交互式几何校准，以 所见即所得的方式直接建立子图像坐标与投影缓存坐标之间的映射关系。交互式 几何校正的工作原理如下：首先，在子图像空间上均匀地采取多个样本点，坐标 为( x n ，y 豇) ；接着以同样的方式在投影缓存坐标空间上采取多个样本点，坐标为 ( x p i ，y p i ) ，这些点组成了一个网格并经投影机投影在屏幕上；然后移动投影缓存 1 0 浙江大学硕：t ：学位论文第2 章几何校正技术 坐标空间上的样本点，使它们在屏幕上的投影位置为指定的位置，即与相邻的投 影网格重叠并衔接；最后，由子图像坐标空间与投影缓存坐标空间之间的多个点 对，建立一个b 6 z i e r 曲面来表示子图像坐标与投影缓存坐标之间的映射关系。 交互式几何校正是否精确的评判标准是投影缓存上的点经投影后是否在屏 幕的指定位置，所以交互式几何校正在拼接工程实施上较自动几何校正稳定，更 能保证系统的精确度；而且坐标映射简单，无须考虑照相机坐标空间。因为交互 式几何校正是直接建立子图像坐标与投影缓存坐标之间的映射关系的，所以交互 式几何校正可以对自动几何校正的结果进行改进，也可以作为一个独立的几何校 正功能来使用，以适应某些自动几何校正无法实施的场合。 2 1 4 重叠区域融合 为实现多投影系统的无缝拼接，就必须采用边缘融合技术。r a s k a r 提出了亮 度融合技术【7 j ，将重叠区域的亮度减弱，使之与其他区域的亮度相当。 为了减弱重叠区域的亮度，给投影缓存中的每个像素点设定一个亮度的权 值。我们的多投影校正系统是在投影缓存坐标空间下建立每个像素的亮度权值信 息的，并称所有像素的亮度权值信息为m a s k 。投影缓存可分为两个区域：投影区 域，用于投影子图像；非投影区域，不投影图像，只投影黑色画面。非投影区域 存在的主要原因是部分投影画面己投影到屏幕外，需要抠除，该区域不能太大， 否则将直接影响多投影系统的有效分辨率。 本系统规定亮度权值为0 - 1 之间的浮点数，记为m 。那么，如果像素的投影 亮度为c ，那么该像素融合后的亮度为m e 。非投影区域不投影画面，其中的所有 像素点的颜色恒为黑色，故亮度权值设为0 。投影区域可分为融合区域和非融合 区域。在非融合区域，像素点的亮度权值设为1 ：在融合区域，像素点的亮度权 值从内向外递减，在非融合区域到融合区域的交接点处的亮度权值为1 ，在融合 区域与非投影区域的交界处的亮度权值为0 ，而在两者之间，亮度权值递减。同 时，本系统保证在所有的投影机投影图像时，重叠区域的亮度权值的和为1 ，否 则重叠区域的投影亮度就会比其他区域的投影亮度亮( 亮度权值的和大于1 ) 或 女人论立 镕2 $ n h 垃t 技术 暗( 亮度权值的和小于 2 2 多逻辑屏几何校正 2 2 1 多逻辑屏简介 在世博会中国馆浙江展区中厅的多投影展项设计中，我们遇到了一种特殊的 昴型幕，这个异型幕由一个球带状曲面和一个圆形的太平砸组成，它模拟了一个 盛了水的大碗的内侧表面。这个异型幕在实验场景下的样子如图2 3 所示，竖着 的白色物块模拟了球带状曲面的一段，将投影荷花池的远视场景：白色的地面模 拟的是圆形的太平面，将投影一个荷花池的俯视场景；地面上的方形小台予不是 这个异型幕的一部分。 兰4 翰b 滞 圈2 3 多逻辑屏幕 对于这个异型幕在一般的多投影的解决方案中，往往会使用两套多投影系 统，一套系统用于投影球带曲面上的画面，一套系统用于投影圆形大平面上的画 面。但是这样的解决方案，需要较多的投影机，从而导致需要较多的计算机，也 导致电能源消耗量大增。为此，本系统提出了“多逻辑屏”这个新概念，并实现 了多逻辑屏的拼接技术。 多逻辑屏足指由多个曲面、平面组成的异型屏幕，一个曲面或者平面为个 m 大学目学位论空 第2 章n 何技z 技$ 逻辑屏幕。多逻辑屏的多投影系统的投影画面可以分为多个逻辑单元，分别投影 在不同的曲面或者平面上，各个逻辑单元之间相互独立。多逻辑屏的多投影系统 的意义就在于一套多投影系统可在多个盐面、平面上投影相互独立的画面，降低 了投影机、用于绘制的计算机的数量，极大地降低了硬件成本和能源消耗量，也 提升了多投影系统的稳定性。图2 4 显示了实验场景下的一个取逻辑屏投影效果。 这两个逻辑屏由同一个投影机阵列投影，显示了两个独立的画面。 图2 4 双逻辑屏投影效果 2 2 2 多逻辑屏的坐标空问 与多逻辑屏的多投影系统相对应，我们在21 节讨论的为单逻辑屏的多投影 系统，那么，坐标空间要做相应的修改：总图像坐标空间转变成m 个逻辑图像坐 标空间，m 为逻辑屏的个数；屏幕坐标空间转变成m 个逻辑屏幕坐标空间。因 为所有逻辑屏共用所有投影机，所以子图像坐标空间，投影缓存坐标空问、照相 机坐标空间不变。因为坐标空间已做了修改，那么各个空间的坐标也做相应的修 改：记逻辑图像坐标】为( x ，尹卫子图像坐标i 仍为( x 6 ，y b 投影缓存坐标l 仍为( 一内；逻辑屏幕坐标j 为( x l s j ，y 心) ；照相机坐标为( x 。- y c ) ；其中有1 i m ，1 i n 。图2 5 显示丁点的坐标在这些坐标空问转化的流程。 江大学目学位论立 镕2 n * 棱技术 一旺亟困匦亟乎 伍固一恒巫三国一 ( 三 1 二三 一 恒亟曼至丑恒巫至囹 1 _ _ # # i h 广1 一l 目l r l 1 。兰11 l i j # m 自蚓。l j 图2 5 多逻辑屏的坐标转化流程 在每一个子图像坐标空问上。有m 个切割白不同逻辑图像上的予图像，这些 子图像必须整合到同一个子图像坐标空间上。图2 6 显示了一张整合自两个逻辑 图像的部分图像的子图像，记为子图像i ，两张逻辑图像见图27 ，图2 8 。子图 像i 的上方一小块区域存放第一个逻辑图像的部分图像下方一大块区域存放第 二个逻辑图像的部分图像。那么，如将子图像i 几何变换成投影缓存中的图像， 子图像ie 方- - d 块的图像使用映射关系p 下方一大块的图像使用映射关系p 2 p 子图像i 经几何变换，获得的投影缓存中的图像如图2 9 所示。 圈2 , 6 一张整合自两个逻辑图像的部分图像的子图像 r l 浙太学硬j # 论i 第2 章n 何撞m 技* 2 2 3 多逻辑屏的融合 为了校正重叠区域的过亮现象，必须在重叠区域做融合，对于多逻辑屏的多 投影系统，需住每一个逻辑屏e 做融合。为方便g p u 的绘制，依旧如单逻辑屏 的多投影系统一样，在投影缓存坐标空何l 设置每一个像素的亮度权值- 图21 0 显示了一个投影缓存坐标空间上的亮度的权值掩码圈。 图21 0 一个投影缓存坐标空间上的亮度的权值掩码圈 2 3 本章小结 本章主要阐述了几何校正的本质就足建立点在于图像坐标空间的坐标与投 影缓存坐标空间的坐标之间的映射关系，井用b e z j e r 曲面来表示坐标日j 的非线性 映射关系。在说明本系统的自动几何校正的基本原理之后，j 丕进步阐述了交互 式几何校正的实现原理及其在拼接工程实施上的优势。本章还引入多逻辑屏的