（计算机应用技术专业论文）多投影的高清晰画面自动拼接技术.pdf

浙江大学硕士学位论文摘要 摘要 高分辨率的、亮度的显示系统在科学计算的可视化、工业设计、虚拟制造、 军事仿真等领域得到了越来越多的应用。现在的大屏幕显示系统使用大的屏幕墙 或使用高性能的投影仪，成本非常昂贵，多投影的高清晰画面自动无缝拼接技术 因为其方便灵活，低成本越来越受欢迎。 多投影仪系统在摄像机的辅助下，通过调整投影仪的几何输出和颜色输出， 达到投影匦面的自动无缝拼接，这主要涉及n - 个关键的技术：几何校正、颜色 校正。 我们提出了一种新的适应各种屏幕类型的几何校正算法，算法只需一个普通 的摄像机，通过摄像机采集数据，我们可以求得要投影图像和屏幕上被摄像机拍 摄的图像的对应关系，然后调整要投影图像到一个标准的位置，预处理标定这些 几何关系，最后在绘制过程实时对几何进行校正，实现多投影仪间的无缝拼接。 我们也提出了颜色校正的方法，通过摄像机记录每台投影仪的颜色变化曲 线，调整每台投影仪的颜色曲线到标准颜色曲线。预处理标定这些颜色关系，然 后再绘制过程实时对颜色进行校正，最终实现多投影画面的颜色一致。基于几何 标定的结果，我们定义出一块重叠区域，对重叠区域的像素点亮度赋予一个权重 系数，重叠区域的最终颜色由它的颜色和权重决定的。结合了几何标定和颜色标 定的结果，我们消除重叠区域的亮度太亮问题。 我们的多投影的高清晰画面自动拼接技术已经在好几个商用系统中得到了 应用，反映良好。我相信我们的系统因为其自动，方便灵活，低成本的特点，会 有更好的应用前景。 关键词：多投影仪拼接，计算机视觉，几何校正，颜色校正，重叠区域融合 浙江大学硕士学位论文 a b s t r a c t l a r g e f o r m a t h i g h - r e s o l u t i o nd i s p l a ys y s t e m sa r eb e c o m i n gi n c r e a s i n g l y i m p o r t a n tf o rs c i e n t i f i cv i s u a l i z a t i o n ，i n d u s t r i a ld e s i g n ，v i r t u a lm a n u f a c t u r i n g ，a n d m i l i t a r ys i m u l a t i o n c o m m o ns y s t e m s ，s u c ha sl a r g ed i s p l a yw a l lo rh i g hq u a l i t y p r o j e c t o r a r e e x t r e m e l ye x p e n s i v e t h em u l t i - p r o j e c t o rh i g h - d e f i n i t i o n s c r e e n a u t o m a t i cc a l i b r a t i o nt e c h n o l o g yi sap o p u l a ra p p r o a c h ，w h i c hc a nb u i l ds e a m l e s s ， h i g h - r e s o l u t i o nd i s p l a y i no r d e rt os e a m l e s sc o n c a t e n a t et h ep r o j e c t s ，t h es y s t e mc a na u t o m a t i c a l l ya d j u s t t h e p r o j e c t so u t p u t ，w i t ht h eh e l po f c a m e r a t h e r ea r et w ok e yt e c h n o l o g i e s ：g e o m e t r y c a l i b r a t i o na n dc o l o rc a l i b r a t i o n w e p u tf o r w a r da n e wg e o m e t r yc a l i b r a t i o na p p r o a c h ，w h i c hc a nb eu s e di nm a n y d i s p l a ys u r f a c e s t h ea p p r o a c hu s e sac o m m o nd i g i t a ls c r e e n s h o to ft h ed i s p l a ys c r e e n t ob u i l dt h eg e o m e t r yr e l a t i o n s h i pb e t w e e np r o j e c t e di m a g ea n dc a p t u r e di m a g e t h e n ， a d j u s tt h ep r o j e c t e di m a g et oas t a n d a r dp o s i t i o na n ds t o r et h eg e o m e t r yr e l a t i o n s h i pi n at a b l e i no r d e rt os e a m l e s sc o n c a t e n a t e w ec a l i b r a t ei nr e a lt i m er e n d e r w ea l s op u tf o r w a r dan e wc o l o rc a l i b r a t i o na p p r o a c h a tf i r s t ，w ec a p t u r et h e p r o j e c t sc o l o rv a r yc u r v e ，a n dt h e na d j u s tt h ec o l o rc u r v et ot h es t a n d a r dc u r v e w e s t o r et h i sr e l a t i o n s h i pi nat a b l e ，w h i c hw i l lb eu s e di nr e a lt i m er e n d e r s ow es o l v e t h ec o l o rp r o b l e m b a s e dt h eg e o m e t r yc a l i b r a t i o nr e s u l t ，w ed e f i n ea no v e r l a pr e g i o n ， i nw h i c ht h ep o i n t sh a v ei n t e n s i t yc o e f f i c i e n t t h eo v e r l a pr e g i o nc o l o rv a l u ew a s d e c i d e db yt h er e a lc o l o rv a l u ea n dt h ei n t e n s i t yc o e f f i c i e n t o u rm u l t i - p r o j e c t sh i g h - d e f i n i t i o ns c r e e na u t o m a t i cc a l i b r a t i o nt e c h n o l o g yw a s u s e di nm a n yc o m m e r c i a ls y s t e m sa n di tw o r k sf i n e w eb e l i e v eo u ra p p r o a c hw i l lb e w i d e l yu s e df o ri t sa u t o m a t i o n ，c o n v e n i e n c ea n dl o w c o s t k e y w o r d s ：m u l t i - p r o j e c t o rc a l i b r a t i o n ，c o m p u t e rv i s i o n ，g e o m e t r y c a l i b r a t i o n ，c o l o rc a l i b r a t i o n ，i n t e n s i t yb l e n d i n g 浙江大学硕士学位论文 图目录 图目录 图1 1 四台投影仪的拼接。校正前后1 图1 24 投影仪的异形幕校正结果2 图1 3h i s p a c e 系统。2 图1 4e d p r o j e c t o r 系统3 图1 5 远程手绘系统3 图1 6 大屏幕显示墙及交互式投影工作平台4 图2 1 透视投影到2 d 图像的一般模型，1 0 图2 2 一般投影仪校正物理模型1 4 图2 3 投影仪投到屏幕上的投影区域及投影内容1 6 图2 4 几何校正结果2 0 图2 54 台投影仪的投影区域2 2 图2 - 62 视点的成像模型2 4 图3 1 摄像头晌应函数4 0 图3 2 颜色曲线和虚拟颜色曲线4 1 图3 3 几何与颜色校正结果4 1 图4 1 系统硬件组成4 5 图4 2 系统网络结构4 6 图4 3 几何标定流程4 6 图4 - 4 颜色校正流程4 6 图4 5l i v e ! f l o o r 系统软件架构4 7 图5 1 河海大学的4 投影仪1 8 0 度环幕拼接图4 9 图5 2 实验室2 * 3 的3 维立体环幕场景5 0 图5 3 天津航道局带交互的使用场景5 0 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特另o , l i a 以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 文作：弘嗽期：渺年1 月j 日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝江盘堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 以涨 ， 签字日期：一年6 月1 日 导师签名： 签字日期：矿年1 月r 日 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 近年来，随着数字摄像机和投影仪在成本上逐渐降低和在外形上逐渐变小， 有关它们应用的研究课题也越来越多。 在研究中，我们可以把投影仪看作可编程的光源，通过摄像机获得场景的详 细信息，在摄像机的辅助下，即把摄像机看作传感器，改变投影仪的投影，从而 在任意的屏幕上显示出高质量的图像。或者在摄像机的帮助下，和外界做交互， 投影仪投出外界感兴趣的画面。 1 1 投影仪摄像机系统综述 摄像机和投影仪的应用系统很多，下面就是一些典型的应用，包括人机交互 系统、自校正显示系统和远程协同工作系统等。 自校正显示系统主要应用于投影仪梯形失真的自动校正【l 】，以及多投影仪的 自动拼接显示【2 】，见图1 1 ，还有一些不规则形状的显示屏幕的校正，如图1 2 。 它们借助摄像头得到投影仪与屏幕的几何变换关系，通过调整投影仪的显示，使 屏幕上的画面有最佳的显示效果。 图1 1 四台投影仪的拼接，校正前后 浙江大学硕士学位论文 第1 章绪论 图1 - 24 投影仪的异形幕校正结果 r i c h a r dm a y 3 】等人研制的h u m a ni n f o r m a t i o nw o r k s p a c e ( h i s p a c e ) 是一个典 型的交互系统。h i s p a c e 是一个由摄像机、投影仪、麦克风组成的桌面交互环境 系统，见图1 3 。该系统能够识别手势、物件和语音输入，用户可以通过显示桌 面及麦克风与系统进行简单的人机交互。 图1 - 3h i s p a c e 系统 另一个系统是c l a u d i op i n h a n e z 4 人的e v e r y w h e r ed i s p l a y sp r o j e c t o r ( e d - p r o j e c t o r ) 系统，该系统将一些标志和信息通过投影仪投影到周围环境中，利 2 浙江大学硕士学位论文 第1 章绪论 用摄像机识别手势及手的运动，实现与系统的交互，见图1 4 。 图l 4 利用e d - p r o j e c t o r 可以将信息生成在房问的任意表面上 n t a k a o 【5 】等人开发的远程手绘系统t e l e g r a f f i t i ，如图1 5 ，是个典型的 远程协同工作系统。该系统将信息投影在本地的纸面上，利用摄像机捕获用户手 写的内容，然后将用户手写的内容和投影信息一起传输到远程的机器，远程机器 将接受到的内容投影在远程的纸面上。 图1 - 5 远程手绘系统 这些系统都利用了投影仪与摄像头，通过投影仪可以投影画面，提供输出显 示能力，通过摄像头可以捕获外界的输入，比如识别手势等，这样就产生了输入 的能力。摄像机和投影仪的组合系统提供了输入和输出能力，使系统具备人机交 浙江大学硕士学位论文第1 章绪论 互的条件，产生了一种新的人机交互方式。 1 2 投影仪拼接系统综述 在一些需要大规模数据的可视化显示的领域，比如军事仿真、工业设计、虚 拟制造、以及气象预报等，或者一些大型复杂的监控系统，都希望能有大型的高 分辨率、高亮度的投影显示系统，能讲图形化的数据显示在大屏幕上，可以方便 对数据进行分析或者让监控人员方便的进行统一的指挥和协调。 一 大屏幕投影系统主要就是利用多台投影仪将画面投影到大屏幕上面，来提高 投影的分辨率和亮度的。投影仪间可以是独立的、可自由组合的。投影仪具有投 影后画面很大、亮度很高的、而且投影出来的画面与投影到的屏幕相关等特性， 对于有多个投影仪的投影系统，投影仪间的重叠区域非常亮，在不同的屏幕上投 影出来的画面也不规则。 国外对这方面的研究也很多，比较著名的有普林斯顿大学的大屏幕显示墙嘲 以及斯坦福大学的交互式投影工作平台【7 】等，如图1 - 6 。 图1 - 6 左：普林斯顿大学的大屏幕显示墙右：斯坦福大学的交互式投影工作平台 一般的大屏幕投影显示系统涉及到一个屏幕、投影仪阵列、以及集群控制系 统。投影仪将画面投影到屏幕上，集群系统控制投影仪的投影达到无缝拼接的效 果，一般的拼接技术包括纯硬件的方法、或者纯软件的方法、还有软硬结合的方 法。由于硬件价格昂贵且不灵活，软件或者软硬结合的方法越来越受重视。 浙江大学硕士学位论文第l 章绪论 由于投影仪阵列投影到屏幕上的画面受到投影仪的位置和角度，屏幕位置以 及屏幕的几何表面的影响，会出现几何梯形扭曲【引，而且通过手工的方式调整很 难。因此我们有必要对投影仪阵列进行几何校正。y c h e n 9 1 描述了一个多投影仪 阵列的自动排列算法，它使用摄像机来记录投影仪间的相对位置，通过对相邻投 影仪的点匹配，来对投影仪进行几何拼接，由于采用了计算机视觉的方法，建立 摄像头树的方法，可以使用几个摄像头做校正，所以特别适合投影仪数量非常多 的情况，它们还采用了集群来控制，算法要求投影屏幕是平面的。r r a s k a r 0 0 1 认 为随着投影仪越来越便宜，体型越来越小，搭建一个投影仪显示系统应该会更加 的灵活，所以他们提出一个自我几何识别和自我配置的算法，他们依靠摄像头和 倾斜传感器。还有其它一些人【1 1 】【1 2 1 也提出过相关的算法来解决几何拼接的问题。 这些算法都有一个问题，他们或者不能解决环幕的几何拼接问题或者需要使用到 昂贵的硬件设备。 不同的投影仪设备，显示出来的颜色效果不同的，随着投影仪使用时间的增 加，投影仪的颜色会变暗，显示效果要差。因此需要对投影仪进行颜色校正，m c s t o n e1 1 3 认为可以将投影仪当作设备独立的投影空间，将投影仪的输出调整到 标准值，以达到消除投影仪间的颜色差异。g w a l l a c e 【1 4 】的方法采用一个色度计， 在投影显示墙上进行颜色色度匹配，使整体画面颜色一致。另外也有提出利用光 辐射度计【l5 j 的方法。这些方法大多依靠使用硬件来校正颜色。 无缝拼接技术还有一个问题需要解决，就是投影仪问的重叠区域，由于多台 投影仪叠加，重叠区域的亮度倍增。有文章也专门研究了处理重叠区域的技术。 y c h e n 【1 6 】提出了一种投影的无缝拼接，重叠区域的亮度混合方法。r r a s k a r t l 7 】 介绍了常用的亮度混合技术。 另外，对于大屏幕显示系统，一般使用计算机集群系统进行控制和处理。r s a m a n t a o s 介绍了他们在这方面的工作。 1 3 投影仪自动拼接系统的关键技术 上面介绍了投影仪拼接技术的发展现状和研究背景，由于投影仪和摄像头越 浙江大学硕士学位论文第l 章绪论 来越便宜和普及，低成本的简单方便的多投影的自动拼接技术会受到更多的重 视。 本文描述的是一个低成本的多投影自动拼接技术，我们的算法适用的屏幕可 以是很粗糙的墙面，也可以是特制的金属屏幕，我们的算法不但适用于大平面的 屏幕，也适用于环幕，甚至也适用于一些稍微不规则的曲幕。 我们认为多投影的自动无缝拼接技术主要包含二个关键的技术，几何校正， 颜色校正。至于处理重叠区域的融合技术，它综合运用了几何校正和颜色校正的 结果，重叠区域的融合效果很大部分取决于几何标定与颜色标定的结果的准确 性，所以我们不单独讨论。下面分别简要的介绍我们的自动拼接系统是如何实现 这些关键技术的。 1 3 1 几何校正 现在的大部分算法解决的是投影屏幕为平面的情况，还有算法依靠传感器【l o 】 能实现投影屏幕非平面的情况。我们的算法只需要一个普通的摄像头就可以完成 整个的拼接工作。我们首先确定投影仪要投影的画面和投影在屏幕上的画面经捕 获后的图像之间对应关系，通过考查点的坐标，并且用b e z i e r 1 9 】曲面函数来表示 这种对应关系。然后确定整个系统要投影的内容和摄像机捕获的目标屏幕投影区 域的对应关系。通过标定上面的关系，我们就确定了每台投影仪的每个像素点和 实际要投影画面的对应关系。应用它们的对应关系，将要投影的画面映射到投影 仪上，投出来的画面就在我们屏幕的目标区域。 1 3 2 颜色校正 现在的算法大多依靠硬件如色度计和光辐射度计来实现颜色的校正，我们通 过摄像头来捕获投影仪的颜色变化，将每台投影仪的颜色映射到一个统一的颜色 曲线空间去，调整每台投影仪的颜色输出到标准的颜色曲线上，校正投影仪间的 颜色差异问题。 利用几何标定的结果，我们定义投影仪的一部分区域为重叠区域，对重叠区 域的点，每点赋予一个0 到l 的权值，确保屏幕上重叠区域的点在对应的投影仪 6 浙江大学硕士学位论文第l 章绪论 的点的权值和为1 ，重叠区域的点的颜色是它的真实颜色和对应的权值的乘积。 为了方便校正程序的使用以及提高效率，我们建立重叠区域的颜色查找表。这样， 就解决了重叠区域的融合问题。 1 4 本文的研究目标和结构 通过以上的介绍，我们知道了拼接系统的研究发展现状，以及这些算法在处 理几何校正和颜色校正问题中存在的缺点。因此，本文的研究目标就是提出新的 算法，解决上面存在的问题，并能方便的实现多投影仪的自动拼接系统。 该系统具有以下特点和优势： 1 ) 只需要一个普通的摄像头就可以方便的实现高精度的几何校正。不使用其 他昂贵的硬件设施。特别的，我们的几何校正算法能解决的屏幕类型包括平面的， 环形的，甚至一些不规则的。 2 ) 我们借助摄像头，通过纯软件的方法解决颜色问题，避免使用昂贵的硬件 设施如色度计，辐射度计。 3 ) 我们的算法对环境和硬件设施要求不高，可以消除摄像头的几何畸变以及 投影仪的梯形扭曲。 4 ) 利用几何标定和颜色标定的结果很好的处理了重叠区域的融合问题。 本文的主要研究内容和组织结构为： 第1 章：绪论。介绍本文的研究背景和现状。首先介绍了现有投影仪摄像机 系统的研究现状，然后详细介绍了多投影仪拼接显示系统的特点和关键技术，最 后简略的介绍我们所作的工作及本文的研究目标和结构。 第2 章：投影仪摄像机系统的几何自动标定。这一章是本文的重点之一，正 确的标定几何关系是解决几何校正问题和重叠区域融合的关键。在本章中，首先 阐述了几何标定的基本原理，然后详细介绍了在单摄像机多投影仪模型下，我们 的几何标定算法，最后介绍在多摄像机多投影仪模型下，如何进行几何标定，并 且解决了3 6 0 度环幕的校正| 可题。 第3 章：投影仪摄像机系统的颜色自动标定。这章也是本文的重点之一，正 7 浙江大学硕士学位论文第l 章绪论 确的标定投影仪的颜色是解决颜色校正和重叠区域融合的关键。本章给出了我们 校正颜色的理论，详细介绍了颜色标定算法，以及我们处理重叠区域问题的方法。 第4 章：系统实现与应用。本章介绍如何利用第2 章和第3 章阐述的算法生 成的几何标定与颜色标定结果，来实现几何校正，颜色校正以及重叠区域的融合。 简单介绍了我们校正程序包的架构和使用接口，以及整个几何标定算法和颜色标 定算法流程。 第5 章：结果与改进。通过分析我们的几个实际应用的效果，分析了本文算 法常见误差以及算法的不足，并加以改进。 第6 章：展望：总结了本文所作的工作，针对本文算法的不足与本系统的特 点，提出了未来工作的重点和方向。 1 5本章小结 本章简要介绍了课题的背景以及研究意义，介绍了典型的摄像机投影仪系统 和多投影仪自动拼接技术的发展现状，阐述了摄像机投影仪拼接系统的关键技 术，几何校正，颜色校正，最后介绍了本文的研究目标和主要工作。 浙江大学硕士学位论文第2 章投影伐摄像机系统的几何自动标定 第2 章投影仪摄像机系统的几何自动标定 我们研究的大屏幕显示系统，主要由投影仪阵列、集群控制系统、以及显示 屏幕组成。一般的，投影仪的摆放比较随意，满足相邻投影仪间有一定的重叠区 域，集群系统负责整个系统内容的绘制和控制，显示屏幕可以是大的平面、环幕、 还有一些更复杂点的曲面。由于投影仪的梯形畸变，显示屏幕的几何特性，以及 投影仪的摆放位置角度，投影仪投放到屏幕上的画面存在比较厉害的梯形扭曲和 几何畸变，因此有必要对整个显示系统进行几何校正。 本文研究的大屏幕显示系统的自动几何校正，主要是通过摄像头采集数据， 运用计算机视觉的方法，标定相关的几何对应关系；通过纯软件的方法，自动实 现投影仪间的无缝拼接。 本章讨论的几何自动标定技术，主要的目的是为了实现多台投影仪的几何无 缝拼接提供准确的相关几何数据。通过运用本章介绍的方法，我们将得到每台投 影仪的缓冲区与要投影的内容的对应关系，有了这些关系，我们就可以很容易的 实现几何校正。 2 1摄像机模型的几何表示 2 1 1 透视成像模型 在计算机视觉中，三维空间中的物体到像平面的投影关系简称成像模型，理 想的投影成像模型是光学中的透视投影，也称针孑l 模型1 2 川。在针孔模型中，物体 表面的反射光都经过一个针孔投影到像平面上，即反射光是直线传播的，像点是 物点和光心的连线与图像平面的交点。实际的摄像机成像系统比较复杂，多由透 镜或者透镜组组成，但是它们的成像原理和针孔模型是相同的。因此，在视觉领 域一般把针孔模型作为摄像机的成像模型。 假设摄像机的坐标系与世界坐标系重合，则针孔模型的几何表示形式如图 2 1 所示，为了方便，在图2 1 中我们使用前图像平面代替成像平面，它和实际 目标位于光心同一侧，到光心距离为f 。在前图像平面上的目标，与在实际图像 9 浙江大学硕士学位论文第2 章投影f 之摄像机系统的几何自动标定 平面上的点有相同的比例，方向与实际目标相同。根据图2 1 我们得到透视投影 几何模型计算公式( 2 1 ) 。 x , f = x c z c ( 2 1 ) y i f = y c z c 、 。 e = 匕 图2 1 透视投影到2 d 图像的一般模型 z c = z 。 ，z w ) 一般情况下，世界坐标系w 与摄像机坐标系c 是不一致的，为了得到我们 的几何模型，我们需要：1 ) 摆放好摄像机，使它的坐标系与世界坐标系重合；2 ) 转动摄像机，使它与w 坐标系方向一致；3 ) 平移摄像机，从合适的位置观察目 标，使所有的目标点都能够投影到摄像机的图像平面；4 ) 最后对图像坐标进行缩 放变换，得到目标点的像素坐标。所有的步骤都能够用矩阵形式来表示，如公式 ( 2 2 ) 所示。 阿c 矿 ， 矿 l 卜钆 = h q 。屯l l 岛l 乞2 c 3 3 1 j “p ： v p “p ： 1 ( 2 2 ) 还需要指出的是，这些模型是理想状况下才成立的，对于一般的摄像机，会 1 0 浙江大学硕士学位论文 第2 章投影 迂摄像机系统的几何自动标定 存在几何畸变问题，正是由于严重的几何畸变，我们采用了新的方法替代传统的 求仿射矩阵的方法。在下面我们会具体讲如何解决畸变的问题。另外，我们下面 的几何标定过程中没有使用到3 d 坐标，因为我们不需要恢复显示屏幕的几何表 面模型，这也大大地简化了校正难度，同时提高了校正的稳定性和精度。 2 2自动几何拼接校正的原理与方法 2 2 1 二维空间配准 在本章用到了一个通用的数学模型。公式2 - 3 显示出二维空间m 上的点和二 维空间i 上的点之间的可逆映射关系。事实上，m 和i 都可以是任意的2 d 空间 坐标。从一个2 d 坐标空间到另一个2 d 坐标空间的映射称为2 d 变换f 2 l 】。 溉篆m g 黜僦h 易 亿3 ， 砸s ，f 】兰- 1 ( s ，f ) ，叫( j ，) 】 、。 函数g 和h 在m 上的点i x ，y 和i 上的点【s ，t 】之间建立起对应关系，通过这 个关系，可以求出二维空间m 中的点在二维空间i 中的对应点的位置。如果映射 可逆，利用逆映射可以反求出i 中的点在m 中的对应位置。这个模型表达了2 个 通用2 d 坐标空间的数学映射关系。 如果坐标变换的形式是： u2 a l i x + q 2 y + a 1 3 v 2 口2 i x + a 2 2 y + a 2 3 ( 2 4 ) 则该变换称为仿射变换( 2 2 】。坐标u 和v 是原坐标x 和y 的线性函数，且参 数“均是由变换类型确定的常数。仿射变换表示的是平行线映射到平行线且有限 点映射到有限点的变换。平移、旋转、缩放、反射和错切是仿射变换的特例。任 何仿射变换都可以由这五种变换的组合表示。 如公式2 4 所示，一般的2 d 2 d 仿射变换需求出六个参数，根据线性方程组 的求解，6 个未知参数，3 组匹配点对就足够了。考虑到这些点可能存在一定的 误差，因此求出的参数也可能存在误差，为了控制误差，通常使用最小二乘估计 来求解。定义误差指标函数【2 3 】，见公式( 2 5 ) 。 浙江大学硕士学位论文第2 章投影仪一摄像机系统的几何自动标定 占( q l ，q 2 ，q 3 ，呸l ，) = n ( ( q 。哆+ 乃口1 2 + q ，一材j ) z + ( a 2 1 x j + y j a 2 2 + a 2 3 - - v i ) z ) ( 2 5 ) j = l 根据最d x - - 乘估计算法，由公式( 2 5 ) 可以得到六个线性方程。解线性方程组， 可以得到这6 个未知参数的具体值。方程组的矩阵表示形式见公式( 2 6 ) 。 巧2 x j y j x j 00 0 h _ 乃巧y j 000 i | q ： _y j1 00 0 忙， 000 巧x j y j _ i l 呸。 0 00 x j y j y ；y j 忙： 000 x jy j1 _ 1 h “x j “，乃 甜， v j x j v j y j yv - ， ( 2 6 ) 2 2 2 贝塞尔曲面 。 贝塞尔( b e z i e r ) 曲面【1 叨常用于计算机图形学，c a d 建模技术等。b e z i e r 曲面 由控制点来决定，通过控制点可以对b e z i e r 曲面进行精确的控制，同时还可以直 接控制切向量，而且b e z i e r 曲面函数是连续且一阶可导的，具有很好的数学性质。 一个b e z i e r 曲面可以由一系列的控制点来定义。其定义如下： 给定空间上( + 1 ) ( m + 1 )个定点p 口( 扛o ，l ，n ；j = o ，l ，m ) 后，我们 称n m 次参数曲面为n x m 次b e z i e r 曲面 m 尸( z ，) = bf ( 甜) b 夕( ，) pu ；甜，v 【o ，1 】 ( 2 7 ) f = 0j = 0 其中 掣( 甜) ) ， b 夕( ，) ) 皆为b e m s t e i n 基函数，其定义为： b ，”2 万南( 1 一材) ”- | v ( 2 8 ) p ，( ，= 0 ，1 ，n ；j = o ，1 ，m ) 称为b e z i e r 曲面的控制点。 如果我们知道不同u ，v 及其对应b e z i e r 曲面上的点，m ，n 确定。考察式 2 7 ，p 口( f - o ，1 ，n ；j = 0 ，1 ，m ) 为未知数 ，p ( u ，d 和 掣 ) 矽( 功( f = o ，1 ，n ；j = 0 ，1 ，m ) 都己知，式2 7 是一个有( + 1 ) ( m + 1 ) 未 1 2 浙江大学硕士学位论文第2 章投影1 之摄像机系统的几何自动标定 知数的方程。如果可以得到( + 1 ) ( m + 1 ) 个及以上的方程，就得到了一个线性 方程组。我们可以通过求解线性方程组得到p 扩( ，= 0 ，1 ，n ；j = 0 ，l ，m ) 的值。 记q ( 甜，) = ) 酵p ) 式2 7 为 方程组形式为： nmnm n ， ( 蚝，哆) c o 吖( ，u ) c ( 蚝，h ) j = oj = oi = 0j = 0 j = oj = o 其中u s ，u 【o ，l 】；s = 0 s ，t = 0 t s ，f = 0 t ( 2 9 ) 氏m ： p v m 当s m ，丁n ，我们就可以求出p “( f = 0 , i ，n ；j = 0 , 1 ，m ) 。 p ( u o ，1 o ) p ( u o ，q ) p ( u ，v f ) ( 2 1 0 ) 有了( + 1 ) ( m + 1 ) 个控制点，我们就确定了一个b e z i e r 曲面。在实际的使 用中，如果我们知道u ，v 点及其在曲面上对应得点，我们可以求出控制点，从 而可以确定整个的b e z i e r 曲面。同时，一旦知道了b e z i e r 曲面的控制点，我们就 可以轻松的得到不同u ，v 在b e z i e r 曲面上的对应点坐标。 2 2 3 图像空间和投影空间 在一般的投影系统中，如图2 2 所以，一台投影仪连接一台p c 机，还有一 台电脑连接到摄像头，负责通过摄像头采集数据，控制自动校正过程。 o = s = o 匕略 乃 、， l 甜 ，l 矿 ( 吖脚 脚 = 、j匕 l p wc m 脚 瑚 、j ”hg m 间 间 、， ” m 舢 瑚 哆，kmc 肘脚 脚 匕” mq m 舢 瑚 盼” m 脚 脚 浙江大学硕士学位论文第2 章投影仪摄像机系统的几何自动标定 图2 - 2 一般投影仪校正物理模型，其中1 为屏幕； 2 6 为p c ；7 1 0 为投影仪；1 1 为摄像头。 在这个投影系统中，4 台p c 机负责绘制内容，每台投影仪分别把连着的p c 绘制的内容投影到屏幕上，p c 机上绘制的内容和我们看到的投到屏幕上的内容 是一致的，他们间存在一一对应关系。p c 把绘制的内容保存在缓冲区内，绘制 好后把缓冲区的内容输出到显示设备。可以把缓冲区的内容看成是一张图片，图 片的大小就是显示设备的分辨率，它是一个规则的矩形。定义缓冲区内最左下角 的点为原点，将缓冲区内任一点相对原点的水平和垂直距离作为该点的坐标。这 样，缓冲区就是二维空间，我们称为投影空间。投影空间点的2 d 坐标表示的就 是该点在p c 屏幕上的位置坐标。由于每台p c 的投影空间处于不同的坐标系，所 以每台p c 都有一个自己的投影空间。 如果我们用摄像头来捕捉投影仪投到屏幕上的内容，投影的内容在拍摄的图 片上有一个2 d 坐标，我们定义这个2 d 空间为图像空间。图像空间的2 d 坐标表 示的是该点在摄像头拍摄的图片上的坐标。很明显在不同位置捕捉得到的图像空 间是不同的。有时候在一个位置无法将整个系统拍全，囚此需要从不同位置捕捉 画面进行校正，这种情况我们需要将几个不同位置的图像空间校正到一个统一的 浙江大学硕士学位论文第2 章投影f 迂摄像机系统的几何自动标定 图像空间，我们用虚拟图像空间来表示。 很明显的，当固定了投影仪、摄像头和屏幕的位置，p c 屏幕上的任意一点 必然和摄像头拍摄的图片上某一点对应；反过来也成立，拍摄图片上的投影仪投 出来的区域内的任意一点，可以找到p c 屏幕上的某一点于此对应。也就是说投 影空间和图像空间存在一一对应关系。 令m 1 为投影空间中的点x 的坐标，m 2 为点x 被投到幕上被摄像头拍摄后， 在图像空间的坐标，m 1 和m 2 间的关系可以用函数晟表示为： m 2 ；b l m l ( 2 1 1 ) 由于m 1 和m 2 的一一对应关系，我们要求函数晟是可逆的，也就是说存在 最一，使下式成立。 m 1 = e 。1 m 2( 2 1 2 ) 2 2 4 投影区域和投影内容 在上面的投影系统中，我们引入了投影空间和图像窄间的概念，我们将继续 基于上面的投影系统讨论。在这个系统中，4 台p c 上绘制出来的东西经过投影 仪投到屏幕上应该刚好拼成一个整体，而且我们希望投影仪绘制出来的内容刚好 在屏幕的区域内，如图2 3 所示。其中黑色的区域表示幕，橙色的区域表示各个 投影仪投到幕上的区域。蓝色区域表示几个投影仪在幕上的投影仪区域。 在整个系统中，如果不经过校正，我们看到的是幕上4 幅凌乱的匦面，我们 希望经过校正后，看到的是一幅整齐的画面，如图2 3 中的蓝色区域所示。绿色 的直线将整个蓝色区域分割成4 个区域，每台投影仪对应一个区域，经过校正后 每台投影仪把它的画面投影到其对应得区域内。我们引入投影区域和投影内容的 概念，投影区域就是我们校正后的，投影出来的画面在屏幕上的目标区域。这个 目标区域在我们校正中，指的就是在虚拟图像空间的区域，下面讨论的投影区域 指的都是虚拟图像空间的区域，因此投影区域也是一个2 d 空间。还有投影仪的 投影区域指的是每台投影仪投出来的画面在虚拟图像空间的区域。投影内容指的 是整个系统要投影的内容在投影空间的表示，投影仪的投影内容指的就是每台投 浙江大学硕士学位论文第2 章投影仪摄像机系统的几何自动标定 影仪要投影的内容在投影空间的表示。为了方便，我们将投影内容规格化为坐标 在【0 ，l 】区间的投影空间。对于由n 台p c 负责绘制的系统，每台p c 绘制的内容 只是整个 0 ，l 】投影空间的一部分，所以投影空间和投影内容间存在一一对应关 系。在图2 3 中每台p c 绘制的只是整个投影内容的一部份，投影仪的投影内容 只是投影内容的一部分。 图2 - 3 投影仪投到屏幕上的投影区域及投影内容 很明显的，投影区域和投影内容间存在一一对应关系。令，1 为投影内容中的 点x 的坐标，f 2 为点x 在投影区域的坐标，f 1 和t 2 间的关系可以用函数鼠表示为： f 2 = 马f 1( 2 1 3 ) 由于f 1 和f 2 的一一对应关系，我们要求函数最是可逆的，也就是说存在及， 使下式成立： f 1 = e 。t 2( 2 1 4 ) 由于每台p c 负责绘制整个投影内容的一部分内容，所以它们间存在着一一 对应关系，而且是仿射变换，令s 1 为每台p c 要绘制内容中的点x 的坐标，s 2 为 点x 在投影内容的坐标，s 1 和s 2 间的关系可以用仿射函数h 表示为： 1 6 浙江大学硕士学位论文 第2 章投影仪摄像机系统的几何自动标定 s 2 = q s l ( 2 1 5 ) 由于s 1 和s 2 的一一对应关系，仿射函数q 是可逆的，也就是说存在q ，使 下式成立。 j 1 = 县一1 s 2( 2 1 6 ) 式2 1 5 和2 1 6 表示的就是，如果图2 2 所示系统中，如果每台p c 绘制的内 容一样，鼠皆为单位矩阵。当整个系统要绘制的内容很大，我们就可以考虑每台 p c 只绘制里面的一部分内容，这样提高了整个系统的效率，就不是单位矩阵。 一旦我们确定了上面的一一对应关系，我们就可以实现投影仪间的无缝拼 接。由式2 1 2 ，2 1 3 可知每台p c 投影空间中点x 的坐标聊1 与投影内容的坐标t 1 的 关系为： m 1 = b 。1 岛r 1( 2 1 7 ) 由式2 1 5 ，2 1 7 可知投影空间中点x 的坐标m 1 与要p c 绘制内容的坐标s 1 的 关系为： m 1 = e 一垦且s 1 ( 2 1 8 ) 确定了尽，垦，q 函数，我们就可以标示式2 1 8 ，我们在绘制的时候只要 按式2 1 8 的点对点的对应关系绘制，我们就能实现无缝校正，应为绘制出来的内 容刚好如图2 3 所示的蓝色区域，每台p c 负责整个蓝色区域内的一部分，恰好 被绿色线分割开的区域。 因此投影仪的自动校正就是要标示出上面的这些一一对应关系，有了这些对 应关系，我们就可以把投影内容绘制到投影区域内，投影仪间几何无缝的拼接在 一起，从而达到了我们的目的。 2 3 单摄像头多投影仪几何标定 前面讲述了几何拼接的基本概念原理。这节我们讲述在只有一个摄像头，整 个校正过程中位置不动的模型下，如何得到上节中提到的对应关系，从而实现几 何的无缝拼接。 浙江大学硕士学位论文第2 章投影仅摄像机系统的几何自动标定 2 3 1 图像空间与投影空间的标定 首先图像空间和投影空间的标定，主要就是确定式2 1 l 和2 1 2 中的墨和尽_ 1 函数。对于每台投影仪，我们可以单独标定，因为每台投影仪的投影空间是独立 的。 我们在上面讨论了二维空间的配准问题，以及一般的解决二维空间配准常用 的方法，仿射变换。从上面的讨论中，我们知道图像空间和投影空间，投影区域 和投影内容都满足仿射变换。但在我们的自动校正中，仅仅使用仿射变换是无法 满足我们的精度要求的，主要原因是： 1 ) 我们系统要校正的屏幕类型很多，不仅包括平面的，还有曲面的如环幕， 甚至还有一些不规则的如图2 4 。对于几何表面复杂的显示平面，仿射变换已经 无法适应这种情况。 2 ) 我们使用的采集设备摄像头很普通，精度也是有限的，摄像头的畸变很严 重，尤其是图像的边缘区域被拉伸的厉害，虽然理论上二幅图像间的配准满足仿 射变换，但在实际的运用中，对于畸变厉害的图像，效果不好。 3 ) 我们的拼接对精度要求很高，因此我们必须使用新的高精度的，抗摄像头 畸变的方法来表示二维坐标间的对应关系。 我们采用b e z i e r 曲面函数来表示图像空间和投影空间的关系，实践中取得了 很好的效果。主要原因是： 1 ) b e z i e r 曲面函数可以高精度的控制曲面，另外我们常用的幕不管是大屏幕、 环幕、还是其他形状的幕，这些显示幕的几何表面形状都可以用一个b e z i e r 曲面 来很好的表示。 2 ) b e z i e r 曲面函数有很好的数学性质，它本身表示的就是二个面的对应关系， 我们所要配准的二个空间刚好也满足这条性质，所以b e z i e r 曲面函数可以用来表 示二者间的配准，实践中精度非常高，完全满足实用。 具体的做法如下： 1 8 浙江大学硕士学位论文第2 章投影仪摄像机系统的几何自动标定 2 3 1 1 投影区域检测 第一步首先需要确定投影屏幕在摄取图像中所占区域。这个区域将作为模 版，在后面的步骤中用于消除环境引起的副作用。 在投影区域中分别显示全屏黑和全屏白的图像，然后将两幅图像做减法，就 能够去除亮度变化较小的环境像素从而得到整个投影区域。在这一步以及后面的 图像处理中，我们都采取了拍摄多幅图像来消除噪声。 2 3 1 2 获取采样点 摄像机在拍摄过程中的径向畸变总是难以避免的，为了在畸变存在，还有幕 的不规则的情况下，仍能够得到较为精确的映射关系，我们采取的是逐点扫描的 方法。一般情况下在p c 屏幕上绘制一个小正方形方块，记录下这个正方形方块 的中心坐标m 1 ，皆