多路摄像画面实时合成的研究与应用——毕业论文

1、百度文库-让每个人平等地捉升自我Zhe j i ang I nst it:ute of Med i a and CoBBun i ca*t i ons本科毕业设计（论文）论文题目多路摄像画面实时合成的研究与应用Real-time Synthesis of Multi-imageinto Video Screen for Study and Application百度文库让每个人平等地捉升口我多路摄像画面实时合成的研究与应用摘要：近年来，随着广播电视技术和IT技术的迅速发展，我们所熟悉的模拟技术以 及其产品儿乎都被数字技术及其产品替代。视频监视技术的日益成熟，不仅给传统的监 看工作带来方便，同时

2、，其越来越广的应用范圉，使之逐渐融入到我们的生活和匸作中。 而多画面合成是其中一项不可缺少的关键技术。多路摄像画面实时合成的推广，其LI的是为了获取多路视频信号，再将多路视频画 面合成一路输出。多路视频合成主要关注的是视频结构和图像处理的问题。针对这两个 问题，本文提出了视频结构的原理、数字图像本质以及图像的两种压缩域。并进行综合 考虑分析，解决实验过程中的问题。多路摄像画面实时合成是山摄像头获取信息，通过USB接口进行视频传输，最后将 得到的视频进行处理。而为了更好的研究视频合成这方面，本文还对来自文件的多画面 合成进行研究与实验，为本文最终的测试奠定良好的基础。最后，本文实验对多路摄像画面

3、实时合成进行了仿真实验，成功的将多路视频信号 合成一路，并实时输出。关键词：视频监视；多画面合成；图像处理百度文库让每个人平等地捉升口我2REAL-TIME SYNTHESIS OF MULTI-IMAGE INTO VIDEOSCREEN FOR STUDY AND APPLICATIONAbstract： In recent years, with the rapid development of radio and television technology and IT technology, the analog technology and its products we know

4、, are almost all replaced by digital technology and its products The technique of video surveillance becomes more mature day by day, it not only brings convenience to the traditional monitor working, but also changes it to the increasingly wide range of applications and make the technique get into o

5、ur life and work Multi-image composition is one of a key technology which is indispensableIn order to get multiple video signals and composite this signal into one signal for outputting, we promote to synthetize multi-image for video. The main concern of multiple video compositing is the video stiuc

6、ture and the image processing For these two problems, this paper comes up with the theory of the video structure, two of the image compression domain and the nature of digital images. By comprehensive consideration of these theory, we can solve the problem in the experiment.Synthetizing multi-image

7、for video is consists of getting information from the camera, video transmission by a USB interface and video processing in the last. In order to have a better research on the aspect of video composition, this paper also study and experiment the multi-image composition where the video is from the do

8、cument. And lay good foundation for the experiment at last in this paper.In the end of this paper, we have a simulation experiment on the real-time synthesis of multi-image into video screen, and synthesis multi-channel video signal into one channel for oil中utting successfully.Key words： video surve

9、illance; multi-image composition; image processing目录1绪论 .1选题背景及意义.1国内外研究现状.1研究目的及意义.2百度文邮-让每个人平零地捉升口我32多路摄像画面实时合成概要研究 .3多路摄像画面实时合成应用方向及特点.3多路摄像画面压缩合成原理.5 1K I 丿 52.2.2像素域合成.7参路摄像画面合成设计思路.83多路摄像画面实时合成的谍细设计 .9来自实时拍摄的参画面合成.93.1获取通过USB接口的视频图像 .93.1.2图像压缩编码 .103.1.3视频图像格式转换 .103.1.4图像在矩阵中的农示.II来自视频文件的参画面

10、合成.123.2.1视频文件转码.123.2.2视频序列的获取.14多路摄像画面合成流程图.153.3来自视频文件的多画面合成图 .153.3.2来自实时拍摄的多画面合成图 .164多路摄像画面合成的实验与测试 .17实验环境、.174.1实验平台 .174.1.2运行环境 .18来自文件的多画面合成测试.18来自实时拍摄的多画面合成测试.205总结和展望 .24总给： .24展望.25致谢 .26最后再一次感谢曾经关心和帮助过我的老师、同学和朋友们，感谢你们在我学习和生活上的支持和帮助。 在未来的日子里，我会更加努力的学习和工作，不辜负父母对我殷切期望和老师的教诲，做出好成绩， 来回报曾经的

11、每一个恩情。参考文献 .26百度文库-让每个人平零地提升自我11绪论选题背景及意义近年来，随着广播电视技术和IT技术的迅速发展，我们所熟悉的模拟技术以及 其产品儿乎都被数字技术及其产品替代，电视信号也山模拟与数字相互兼容、相互 共存的状态向全数字化转变。视频图像处理技术和多画面显示系统的逐渐成熟，使 得电视制播系统发生了不小的变革，并且在各领域的应用范圉也越来越广，如特定 场景的监视，多剧悄电视电影的特效，不同路画面实时比较等等。在过去，有线前端对传输的电视信号监看，大部分是用一台监视器对一个图像 显示，不能很好的实时监看每一路视音频画面，也没有任何的监控、报警、录像的 手段，若某个节目出现了

12、图像或伴音问题，也难以及时发现，不能保证安全播出。 山于是人力的监看、监听，所以安全播出、安全传输的要求就越来越高，与此同时 相关工作人员的压力越来越大，难度也越来越高。如今，数字前端传输节U的成 倍增加，再加上传统屏幕的大小有限，使得传统的电视机对数字电视传输的每个节 U进行监看是不现实的。并且对于各种非法插播的防范，更是传统方法无法实现的。 因此，画面分割与多路视频画面的合成的研究就成为了人们关注的应用技术热点之O国内外研究现状视频监控历史悠久，在过去都广泛应用于安防领域。但是随着图像处理和电视 技术的发展，动态监测和现场监控已成为现在的主流。视频系统是以直观、方便、 信息内容丰富等优点而

13、被用于金融系统、交通系统、公安系统、教育系统和医疗系 统等众多领域。与传统的相比，运用了计算机等技术，并能实现智能监控的系 统已逐渐成为未来的发展方向。在人类获取的信息中，视觉信息约占60%,曲此可见视觉信息获取重要性，而 视频图像正是人类获取视觉信息的主要途径。在国外，早期的图像处理是以人为 对象，将人眼所观看到的效果进行改善，例如输入质量低的图像，而得到的则是改 善后的图像。他们常用的方法有图像增强、复原、编码、压缩等。运用这些技术， 也帮助他们先后获得两次巨大成就。首次成功的应用是美国喷气推进实验室(JPL) 。他们对航天探测器徘徊者7号在1964年发回的儿千张月球照片进行图像处理，如

14、儿何校正、灰度变换、去除噪声等等，另外乂考虑了太阳位置和月球环境的影响， 山计算机成功地绘制出月球表面地图。随后为了得到月球的彩图以及全景图，基于 更精确的图像处理技术，乂处理了近十万张来自探测飞船拍摄的照片，促使了数字 图像技术的诞生。而另一个巨大成就是用x射线来讣算断层摄影的装置，他是在1972 百度文库-让每个人平零地提升自我2年由英国EMI公司工程师Housfield发明的，也就是大中称呼的CT(Computer Tomograph)。根据人头部的横截面所得到的投影，CT经计算机处理，重新建立横 截面的图像，也称作为图像的重建。1975年，EMI公司乂成功研制出全身用的CT装 置，获得

15、了在人体每一个地方的断层图像。在1979年的时候，这项技术获得了诺贝 尔奖，这个奖项证明了这技术人类社会所做出的重大贡献。纵观国内外图像技术的发展史，自20世纪60年代，是因为计算机和VLSI(Very Large Scale Integration)技术的发展而产生、发展和不断成熟起来的一个新兴技术领 域，即数字图像处理技术，它在理论上和实际应用中都取得了巨大的成就。到了20 世纪70年代，人工智能技术和科学思维研究、计算机技术的迅速发展，将数字图像 的处理技术推向更高方面发展。用计算机系统来分析图像已经是人们开始研究的重 点，就像我们用视觉来感觉外面的世界，这个技术叫做图像的理解，乂或者可

16、以称 为计算机的视觉。在很多发达国家，他们投入比一般国家更多的物力和人力到这个 研究项目上，并且取得了不小的成绩。具有代表性的成果就比如是70年代末MIT的 Marr提出的视觉计算理论【口，这个理论在后来成为了讣算机视觉领域在后面十多年 的主要思想。到了20世纪80年代的后期，该技术被人们应用在了地理位置信息系统 上，并对海图的自动生成、自动读入方法进行研究。随着时间的推进，数字图像技 术没有停止拓展。20世纪90年代初，变换方法与小波理论的迅速发展，使该技术攻 克了傅里叶分析技术局限于全部分析等方面的难题，并且被人们视为是在这半个世 纪以来调和工作的结晶。在19跆年，Malla顺利地将小波分

17、析用在了于图像重构和分 解上。他是在数学方法上，图像分析与信号的重大突破。进入21世纪后，随着计算 机理论技术的迅猛发展及其理论的完善，数字图像的处理技术在生物医学工程、航 空航天、机器人视觉、工业检测、军事制导、公安司法、文化艺术等领域极为的受 到重视。另外在取得了重大的开拓性成就后，也成为一门前景远大、引人注U的新 型学科。研究目的及意义多路画面合成技术，使人们能获得其更直观、方便、信息丰富的内容，以方 便对多路视频信号进行统一实时监控。除了在电视节U制作时的监看，很多地方也用到多路摄像画面合成，比如在 灾难现场上，利用多画面的合成，能全方位的观察该地方的惜况，以便做出正确 的决定；如今的

18、现代化通信指挥系统大多采用集中指挥、分散控制的操作模式以 实现快速响应，各类指挥、态势信息分布在各讣算机终端上，将多种重要信息以 多画面的形式集中显示在一台大屏幕显示器上，可使指挥员能够全面、实时地了 解战场动态信息，做出正确的指挥决策【7】；另外，作为一种新的拍摄特效，多画 百度文库-让每个人平零地提升自我3面显示在一个显示器里，可以同时让多个惜节随着单一画面播出，再重点播出主 线剧悄，这种设计方式给人节奏感强，惜节紧凑的效果；除了这种特效，我们还 能用多路的摄像机对一景色进行360度角的拍摄，再多画面的合成，给人一种立体 感。在电视台，有一种高标清同播的播放方式，利用视频画面合成，将一节U

19、及 其上或下变换的画面放在一个显示器上，以便工作人员对其高标清的效果作比较。虽然H前有一些功能强大的多画面分割器，例如Kalcido一Aho,但是安全系 数低、任何台等离子或分割器发生故障都将对节U制作造成极大影响，所以平时 需要对出现问题的原因进行仔细的分析，并做到心中有数。另外等离子监视器分 辨率最高为1366X768,分割后子画面分辨率低，颗粒感强，分割画面不宜太小同。 因此，对多画面合成，减少处理时间，提高工作效率，使之变得简单明了就显得 非常重要。综上所述，研究多画面实时合成技术具有十分重要的实践和理论意义。该技 术的研究不仅可以用于人们工作，提高信息获取的效率，还可以推动视频智能检

20、 测发展，使视频检测技术得到更广泛的应用。论文在论述安排上主要分为以下儿个部分：第一章简要介绍多路摄像画面合成的研究背景，国内外现状以及本课题的主 要研究目的和意义；第二章简要介绍多路摄像画面合成的概要研究,包括多路摄像画面实时合成 的应用方向及特点、多画图像的压缩和合成原理和多路摄像画面合成设计的总体 思路；第三章详细介绍多路摄像画面合成的设汁方法,包括实时拍摄的多画面合成 和来自文件的多画面合成，并对两者画出了流程图；第四章进行实验测试，得出结果；第五章总结全文，指出自己所做工作以及设计和论文需要进一步改进的地 方。2多路摄像画面实时合成概要研究多路摄像画面实时合成应用方向及特点随着电视技

21、术以及计算机的快速发展，过去用于安防领域的监视监看已经不能 满足我们当代人的需求。相比视频监控悠久的历史，现代数字图像处理技术和数字 电路技术使得图像信号的数字化和处理变得普遍，其技术也具有相当高的灵敬度和百度文库-让每个人平零地提升自我4射频输入-四解调器匚VIDEO 1VIDEO2VIDEO3VIDEO4四画面合成器合成视 _录像机首频1234电视多轨记录可靠性。多画面视频监控以它直观而信息丰富等等优点，被广泛应用于各个场合， 其应用方向有大致如下儿个方面：（1）在电视台广告部方面的应用。省级电视台一般都有儿套自办节目，并对 这儿套节目的播出都要实时记录。但是多数电视台现在都还是一套节口对

22、应一台录 像机，所以需要用多台录像机来记录一天下来播出的节U,节忖带也要将近十盘， 从而使得查询也不方便。假如用一个视频（或射频）输入的四画面合成器，并且与 电视台自动锁相的时标显示，用一台录像机就可以完成四套节LI的实时记录，并在 屏幕上有精确的时间显示，这样不仅节省了三个录像机和75%的录像带，更重要的 是查询效率提高了3倍。这样的系统在大连电视台、辽宇电视台已经使用了儿年。 系统应用图如图2-1所示【9】。中央 2（VIDEO）图2 1系统应用图（2）在转播车方面的应用。电视台的转播车，最重要的问题便是空间容量。 过去的做法，是一个信息通道对应一个电视监看器，监看器所用空间比较大，大大

23、降低了转播车的空间利用率。所以减少监看器，增加空间大小后，就可解决利用率 低的问题。使用八画面、十二画面或十六画面、二十四画面的视频合成器（1U机箱）, 就能使多个信号集中在一个监看器上，从而减少了N- 1个监视器。（3）在通信监视监看上的应用。现代化通信监视监看系统大多是山多台联网 的计算机终端组成，用集中的监看、分散的控制等操作模式进行快速正确的响应。 同时多画面组成，能为工作人员提供全面的、实时的信息，了解现场动态信息，做 出正确的指挥决策。（4）在多剧情影视制作上应用。不论是使用“特技效果编辑”还是“非特 技效果编辑”的节目内容，都会大量的采用画面合成技术。画面合成是一种特殊 效果，但

24、不一定是“效果编辑”。画面合成的应用，使许多看来难以拍摄的情节成 为可能。特别是电视合成画面手段的许多优越性，让制片人有更多更有效的方法， 百度文库-让每个人平零地提升自我5将电视节目的内容变得的更加绚丽多彩，更加诱人，同时也拓宽了节LI制作的范围 领域。一些原本需要现场实况拍摄的画面，就只需要分成两边拍摄，如外景拍和演 播室，然后再用画面合成，制作成现场拍摄的效果。（5）在立体视觉效果上的应用。圆筒状合成彩虹全息图可以将各种二维图象 合成为伴有动作的360度立体动态影像，这种合成全息技术可以显示被拍摄物体的 动态过程中角度的多路合成，是一种电影摄影与全息摄影完美融合的技术，达到三 维立体的真

25、实感。多画面合成技术有以下儿个特点：（1）多画面的合成，使得信息能集中的显示在一个监看器上，从而降低工作 人员压力，而信息量的丰富以及获取信息的快速，更能提高工作的效率，保证质量。（2）由于采用了合成的技术，使得设备数量减少，降低了成本。（3）电视画面合成的操作非常方便、迅速和经济，并且可进行多次重复。画 面合成的技术乂不断吸取电子的新技术，如计算机技术、数字技术等等，使它具有 蓬勃发展的活力。（4）满足系统数字化进程的推进时所带来的设备智能化程度、系统复杂化程 度越来越高的要求。多路摄像画面压缩合成原理多画面合成指的是将来自多个视频源的视频数据，通过一定的合成算法，合并 成一路数据，使每个终

26、端显示器都可以同时监看多个其它终端的图像。相对于传统 监视监看来说，它把每个终端接收的视频信息变得更加丰富，信息量也成倍增加。 多画面合成的实现方法有多种多样，但主要分为两大类：像素域合成和压缩域合成2.2.1压缩域合成汗缩域合成是对多路已压缩的源视频编码数据不进行解码，而是先将视频数据 进行结构上的数据重组，重组后的数据即是多个终端合成后的数据。在这里用到的是的技术。是多媒体通信中压缩与编码视频图像的重要算法，是 和视频终端必备的视频功能，其算法在多画面合成技术上十分重要。编码原理则是 先通过离散余弦变换将图像素据进行压缩，接着用变长编码进行再压缩，然后对视 频数据进行4层复用数据结构封装，

27、山上到下是图像层、块组层、宏块层和像素层,百度文库-让每个人平零地提升自我6+ 1) mod 32(2-2)该封装用来对视频数据的重组。最后进行纠误帧结构封装，完成时钟同步和数据校 验功能。在压缩域内多画面合成的制作时，规定了QCIF和CIF两种图像格式1叫在像素 上看，CIF图像的数LI是QCIF的4倍。而从图像的4层复用数据结构分析，两种格式 的块组层，宏块层以及像素层结构相同，只有图像层结构不同，BIJCIF格式的图像 包含12个块组，而QCIF格式的图像包含3个块组。因此基于数据结构，多画面合成 就存在可能性。在对多画面进行合成时，要先解封纠误帧，即使用定帧序列(0001 1011)对

28、纠误帧进行定帧，然后取出每位定帧数据之后的512bit数据，判定这数据 的第一个比特位：若为“0”则丢掉；若为“1”，就将其后的492bit数据保存到一 个缓冲区中。通过纠误帧解封后，得到的4层图像复用数据结构，合成操作就在该 结构上。另外还要完成3方面的操作。首先是对图像时域参考量TR的处理,TR为5bit, 可以取32个值，其取值公式：TR二(Ns + Nd + 1) mod 32(2-1)式中Ns：已经发送的图像素；Nd：从上次发送的图像之后所丢掉的图像素。时 域参考量是用来平滑视频的播放，让人的视觉流畅，是保证视频质量的重要方法， 在合成图像中时域参考量TR可以按照下列方法取值：式中T

29、RTAST是合成图像上一次的取值，Ndl、Nd2、Nd3和Nd4分别是4路 视频流所丢弃的图像素。接着处理图像层头域，图像层头域在图像合成之后只有显 示一组，需要处理4组来自源数据的图像层头域。当得到4路4层图像复用数据结构 之后，只保留第一路的图像层头域，丢掉其他路的。其中时域参考量域TR按照上面 讨论的方法填充，类型信息域PTYPE的第4位，由原来的“0”改变为“1”，亦即 由QCIF图像标示修改为CIF图像标示。然后处理块组层头域：合成过程需要把4组3个QCIF块组合并成一组12个CIF块 组。首先定位到各个QCIF块组，根据该块组将要放到合成CIF图像的位置，修改块 组层头域中的组序号

30、域GN,如图2-2所示。通过对4层图像复用结构的解封再合成, 形成了一个合成的CIF图像，最后进行纠误帧的封装，得到了通信网络上传输的数 据。百度文库-让每个人平零地提升自我7第二路QCIF1保持不变I3保持不变5保持不变合1成CIF1 1改为73改为9一5改为111234567891011121改为23改为45改为61改为83改为105改为12第四路QCIF解码器解码器解码器解码器?对YUV抽样对YUV抽样对YUV抽样对YUV抽样对YUV 数据进 行四画 面合成编码器CIF编码流图2 2多画面合成中块组层的组序号域修改2.2.2像素域合成像素域合成是将多路压缩的源视频编码数据进行解码，将解码

31、后的YUV（或 RGB）数据按照一定线性规则进行排列，合并成一路YUV（或RGB）视频数据，再将 合并后的视频数据进行编码。像素域内多画面合成，一般通过MCU （ Mult-point Control Unit,多点控制单元） 来完成。MCU同时与多个视频终端建立连接关系，4个终端也在同一时间向MCU 发送H.261CIF的视频数据，MCU接收到4路视频数据后，进行H. 261解码，处理后 的图像大小均为352X288像素。此时，在MCU端需要对4路352X288像素的视频数 据按像素进行抽样，使图像按一定比例缩小。然后在像素域内，将4路数据按照一 定规则进行排列。排列后的YUV像素数据就是合

32、并后的YUV图像，最后再对YUV 图像进行H.261编码，在将编码后的视频数据发送给所有与会终端，则每个终端 可同时显示多个图像，即完成了多画面合成功能。其整个过程系统结构如图23所示。4 路 CIF 编码流图2 3像素域内多画面合成系统结构图对YUV图像抽样与四画面合成的原理如图3所示。先分别对4路YUV数据的 Y,U和V分量在行和列上进行抽取，即每2行取1行，每2列取1列，若最后不够2行 第一路QCIF笫三路QCIF百度文库-让每个人平零地提升自我8第1路第2路第3路第4路或者2列的分别取第1行或第1列（此处352, 288等均正好被2整除）。对于4路 源视频数据，Y分量的个数由352X2

33、88变成176X144；U和V分量个数分别由176 X144变成88X72o则4路352X288像素点的视频数据都变成了4路176X144像素点 的视频数据,其大小均压缩为原来的四分之一。在对4路数据抽样之后，再将4路176 X 144像素的视频数据按照一定的空间排列方式，组合成1路352X288像素的视频 数据。其组合方式如图2-4所示，第1路图像在左上角，第2路图像在右上角，第3路图 像在左下角，第4路图像在右下角。至此,完成了4路YUV图像到1路YUV图像的合 成。图2 4像素域内四画面合成算法原理图多路摄像画面合成设计思路多画面合成的步骤如下：（1）将所得图像转化为我们所需的格式，图像

34、格式有RAW、BMP、TIFF、 PCX、GIF、JPEG等。（2）将转化完成后的图像进行编码解码的处理，压缩为所要求的大小，并进 行合成。多路画面合成所需视频的来源有很多，主要还是来自本地视频文件和实时拍摄 所得到的视频数据。对所得到的视频进行处理，根据视频结构而分解成一帧帧图像。 通过压缩、合成等图像处理技术，我们得到完成后的图像，该图像的效果是显示了 四路图像的信息，并按顺序安置在一张图上。然后将数张其至千白张完成后的图像, 按照一定顺序排列在一起，利用人眼特性，送出播放时便有了视频播放的效果。在 这里，来自文件的视频与来自实时拍摄所得视频，在处理图像以及播放时，有着顺 序上的差别：因为

35、文件视频是整体的，多有图像的只需要一次性处理完，再播放即 可；而实时拍摄的视频是即拍即处理的，即拍摄所得到一帧图像时，就实时的将该 图像进行处理输出，然后再得到一帧图像，再处理输出，如此循环，直至结束。总体设计流程如图2-5所示。百度文库-让每个人平零地提升自我9图2 5总体设计流程图3多路摄像画面实时合成的详细设计本文多画面合成设计是用MATLAB软件的编写来实现，主要针对视频序列的结 构原理、图像处理技术等方面，组合成一个多画面的视频流。来自实时拍摄的多画面合成实时拍摄是通过将摄像头所获得的视频数据，经过USB接口而进入PC机中。山 于MATLAB集数学计算结果可视化和编程于一体，所以他是

36、能够方便的进行科学计 算和大量工程运算的仿真软件。基于仿真运算，对视频数据进行运算和处理，从而 得到四路视频合成的多画面视频。3.1.1获取通过USB接口的视频图像摄像头主要山镜头、影像传感器（CCD/CMOS器件）、DSP等组成，其工作原 理大致为：（1）景物通过镜头（LENS）生成的光学图像投射到图像传感器（SENSOR）表面 上；（2）将光信号转为电信号，经过A/D（模/数）转换后变成数字图像信号；（3）把信号送往数字处理芯片（DSP）中加工处理，再通过I/O接口传输到电脑中 进行处理后，再通过显示屏（DISPLAY）就可以看到图像了。其工作原理图如图3-1所示。百度文库-让每个人平零地

37、提升自我10景物LENS像感 图传器A/D字号理 歎信处芯I/O图3 1摄像头工作原理图本文实验的视频获取以及输出，除了摄像头与电脑之间信息交流外，还需要 MATLAB的对这些数据信息进行处理，尤其是图像，要考虑多方面的因素。3.1.2图像压缩编码视频可分为图像层、块组层、宏块层和块层四个层次组织码流，图像层则是一 帧帧图像按顺序排列而成，而MATLAB对视频处理，就是对每帧图像的处理。在处 理图像时，MATLAB提供了功能强大的图像处理工具箱，其中就包含了儿个视频编 码过程中用到的重要函数。(1) imread:读取图像素据;(2) imshow或immovie:用于显示图像;(3) dct

38、2:用于二维DCT变换；(4) blkproc:用于对图像进行分块；(5) quiver:用于画运动矢量图。3.1.3视频图像格式转换RGB (Red, Green, Blue)是计算机中最常见的色彩空间。它通过红、绿、蓝3 基色的相加来产生其他的颜色。山于其设备的独立性，它被广泛应用于计算机图形、 成像系统和彩色电视之中。YUV色彩空间是描述灰度和色差的概念，是一种基本的色彩空间，它被PAL(Phase Alternation Line), NTSC(National Television System Committee)和SECAM (Sequentiel Couleur Avec Me

39、moire or Sequential Color with Memory)用作复合色彩视 频标准。其中Y指颜色亮度(Brightness),也就是图像的灰度值(Gray value),而U和V 则是指色调(Chrominance),即描述图像色彩及饱和度的属性。黑口系统只使用Y信 息，因为U和V是附加上去的，所以黑口系统仍能正常显示。YUV的容易实现压缩, 方便传输和处理，所以被广泛应用于广播和电视系统，同时也被广泛应用于计算机 视频和图像处理之中，如JPEG图像和MPEG均使用YUV作为存储像素的格式。在电图像百度文库-让每个人平零地提升自我11(3-1)(3-2)灰度值获得显示硬件支持的

40、悄况下，使用YUV还可以减少和消除色彩变换处理，极大地加 快图像的显示速度。处理现实世界的图像时，并非很有效，因为它对所有色彩都用等长像素点的R、 G、B 3色加以合成。这就使得每个像素在R、G、B 3个成分上拥有相同的像素深度 和显示分辨率。而且，处理RGB色彩空间的图像也不是最有效的，所以此时就要将 RGB转化为YUV。数字视频是以数字形式记录的视频，和模拟视频相对。数字视频有不同的产生 方式，存储方式以及播出方式。但是要通过PC以及特定的播放器才能播放出来。II- 算机工作在RGB空间，因此，就要将数字视频的格式转换成RGB格式，这样在计 算机上就能直接播出。在这里，我们用MATLAB处

41、理后所播放的视频图像格式就需 要是RGB格式2】。RGB与YUV之间转化对应关系如下【：Y = +0.299/? + 0.587G + 014B U = -0.147/? - 0.289G + 0.436BV = +0.615R - 0.515G - 0.00BR = Y+0.00U + A4V SelfMov3、SelfMov4,再将另外三个 视频导入其中。转换格式AVI百度文库-让每个人平零地提升自我21SelfMovDatal=用于把SelfMov 1视频上的一帧帧图像转换为矩阵。再用for 的循环语句，读取一帧帧的图像，再对图像进行处理。山于制作的需要，在这里 只提取125帧画面，即函

42、数语句为for i=l:125o然后用imgl=SelfMovDatal i, 将第一个每次视频循环提取时所得到的图像赋给imgl,通过 a=imresize(imgl,360,240)函数，把该图像大小变为长360个像素点，宽240个像 素点。以此类推，同样得到其他经过压缩处理后三个视频图像，再分别赋给b、c、 do而且基于矩阵拼接需要，a、b、c、d图像大小必须是一样的，即都为360X240。图像的合成相当于矩阵的拼接，可用函数,、；将同样大小的矩阵进行横向 或者是纵向的拼接。例如xl二a,b是将图像a与图像b进行横向拼接，如图4-2。 而xl=a;b则是将图像a与图像b进行纵向拼接，如图

43、4-3o)f BfUKK 1宦更医1ViU !4K Vi XM 八 A $ a 0E 口图4 2图像a与图像b横向拼接图4 3图像a与图像b纵向拼接根据这用于矩阵拼接的函数，我们就可将四张图像合成在一起，组成一张四 画面的图像。曲于程序使用for循环语句，一共125帧，每处理完一帧图像，都 会通过M(i)二getframe函数，将合成后的图像放入M(i)中，直到帧读取结束。这百度文库-让每个人平零地提升自我22最后用函数 movie2avi（M；7FPSl）,将所有M参数组合起来，转换为AVI时就会得到M(l)到M(125)这125个自定义参数，并且每个参数都被赋予一张图 像。格式的视频，其实

44、验结果如图44所示。图4 4输出的四画面视频来自实时拍摄的多画面合成测试来自实时拍摄的多画面合成实验，需要摄像头获取视频图像，再经过USB接 口，将所得到的数据传输到电脑中，通过MATLAB处理，输出成像。每个摄像 头在插入电脑时，都会自动编号，方便辨认，所以在对摄像头所拍摄的视频进行 处理前，我们需要了解摄像头的参数，如适配器、所获得的图像像素信息等。百度文库-让每个人平零地提升自我23MATLAB的图像获取工具箱为我们提供了 imaqhwinfo(),来获取PC上以安 装的图像获取硬件信息。输入函数info=imaqhwinfo,如图4-5。 info=imaqhwinfoinfo =In

45、st alledAdapt ors: coreco winvideoMATLABVersion: 7. 9 (R2009b)?ToolboxName: Image Acquisition ToolboxIoolboxVersion; 3. 4 (R2009b) i图4 5适配器査询可以看到电脑上安装两个适配器，而我们需要的是第二个适配器winvideo1, 通过函数 win_info=imaqhwinfo(,winvideo,),即用 imaqhwinfo 函数对 winvideo 适 配器进行查询，得到电脑上摄像ID信息，如图4-6所示，ID显示一共有4台摄 像设备。win_info =Ad

46、aptorDllllame: 1x81 charAdaptorDUVersion; 3.4 (R2QQ9b)Adapt o rllame: vinvideoDevicelDs: 1234DeviceInfo: 1x4 structI图4 6摄像头ID査询获得了摄像头的ID,即明确了四个摄像头的各个ID号码，然后就能根据ID 来控制相对应的摄像头，对号入座。但是每个不同的摄像头，它所拍摄的图像格 式以及像素大小是不同的，运用函数就可以查看图像格式及像素，如图4-7是本 次用于实验的四个摄像图像参数，从上到下依次对应ID1至ID4：百度文库-让每个人平零地提升自我24*YUY2_ 280 x102

47、4*Colimns 6 thr ouhYUY2-352K288 anf：=rYUY2_60 x20* ans =r YUY2_ 3 60 x120- ans =YUY2_】60 x】20YUY2.1280 x560*YUY2.640X480-YUY2J76 小 4x YUY2_ 176x144-YUY2_】76x】lTYUY2_ 160 x120-YUY2.320K240-YlTf2_320 x240zxYUY2_320 x210zYUYSlToxlir YUY2-352*2S8YUY2_352K288YUY2.352翼288YUY2 320 x240*-m2. 64 0 x 48 0z*m2

48、_60 x480z-m2_6；0 x480z各种参数的查询, dev_wdn_info. Support edromat s ans =Colunns 1 through 5图4 7拍摄图像格式及像素都是为后面制作实时流视频处理的操作提供参考和依据。如程序运行时，要读取ID为1的摄像头，并选择视频图像格式及大小，就要使用函数vidl = videoinput(,winvideo 1, YUY2_352x288)。函数videoinput对适配器中ID为1的摄像头进行读取，并选择摄像头自带的格式YUV和像素352x288,然后赋值给自 定义参数vidlo其他三路摄像原理相同，依次赋值给vid2、

49、vid3 vid4o接着用figure函数新建一个窗口，其LI的是将视频放入其中：lfigureCumberTitle*, off/Name,E62EpVMenuBar,none,color,black,Position0, 0, 1, 1, Visible； on)如上函数所示，NumberTitle设置为OFF,新建窗口将不显示该窗口数量大小； Name赋值为视频，使得新建窗口的最上方名称显示为“视频” ：color为black,即 窗口背景色为黑色。这些都是为了设计的美观而设置的。另外，Position的定义，使 新建窗口自显示器的左下角开始，占满整个画面。接下来就是对图像获取以及处理做

50、循环的运行，在这里，我们不用for循环语句, 而是用while判断语句，while ishandle(h)这个函数判断了图像对象句柄是否有效，若 无效，即h为0,则跳出判断，运行结束；若有效，则进行视频处理以及对从视频上 得到的图像进行处理。先拿ID为1的摄像头进行处理，用函数语句a=getsnapshot (vid 1)得到视频vid 1的 快照，即得到一张图像，实现了从视频中获取一帧图像的美好愿望。然而，山于，百度文库-让每个人平零地提升自我25MATLAB只对RGB图正常显示，对YUV格式的图像显示失真。如图4W所示，左边 是YUV格式，右边是RGB格式。图4 8 YUV与RGB图像格式

51、比较因此，在得到一张YUV格式图像时，就需要用函数al=ycbcr2rgb(a),将快照后 得到图像的a进行转换，变成RGB格式。另外三路图像也是进行同样的转换。对处理好的图像进行合成时，所用方法与来自文件多画面合成的方法一样，也 是用函数；,进行，然后将处理好的图像直接输出，同时再得到一张快照，再处理 再输出。而连续快速的图像输出，就会形成一个多画面实时合成的视频效果，如图 4-9所示。百度文库-让每个人平零地提升自我26图4 9多画面实时合成的视频实时拍摄的多画面合成已经完成，但是画面之间的无间隔，使得整体效果看起 来不是很舒服，若是有隔离线将他们分离开，就会有独立感和实在感。用函数 ve

52、rLine=zeros(size(a 1,1 ),2),画出一条宽度与ID为1的图像一样的线条，并且长度为 两个像素点。经过xl=al ,verLine,bl函数处理，使得ID为1与ID为2的图像和所画出 的线条拼接在一起，同理，即可得到有隔离线的多画面合成视频，如图4-10所示， 与图4-9相比，更具有真实感。图4 10加入分隔线后多画面实时合成的视频5总结和展望总结多画面实时合成以它直观、方便、信息量多而被广泛的使用，如电视台节制 作的监视监看、交通安全的监视监看、节U特效的运用等等。本文创造性的对图像 压缩合成，实现了以Matlab为研究环境的多路摄像画面的实时合成。多画面的实时合成，最

53、重要的技术便是对图像压缩合成技术。科技的发展，使 图像压缩合成的实现有多种路径，但主要就只有两利即像素域合成和压缩域合成。 压缩域合成不需要对视频源解码，而是对视频的结构进行重组，形成多个终端合成 的数据。而像素域合成不仅需要对视频源进行解码，还要将数据进行线性排列，使 得多路数据合成一路，以便最后进行该路数据的编码。翻查资料，了解了多路视频画面合成的视频源可以有两种，一种是来自文件， 百度文库-让每个人平零地提升自我27另一种是来自实时拍摄。最简单也最易懂的，便是来自文件的多画面合成。所以为 了能最后实现多路摄像画面实时的合成，我便循序渐进，先对来自文件的多画面合 成进行研究，再对来自实时拍

54、摄的多画面合成进行研究与实验。此外，山于实验需 要，本文还介绍了RGB和YUV格式原理与区别，一帧图像的矩阵表示以及AVI视频 文件原理。这些都是在实验测试过程中，遇到问题后所查找的资料，是本文实验内 容的核心。通过本次对多路摄像画面实时合成的研究与实现，我对数字图像压缩合成技 术和数字视频处理技术有了更深刻的认识，有实现多画面实时合成的能力，包括 对MATLAB开发环境以及一些图像处理的知识等都有了一定的了解。对多画面 合成的代码编写不仅需要扎实的语言基础，还需要触类旁通、举一反三、善于思 考总结的学习能力。在展开程序编写之前，先规划了算法步骤中的各部分功能模 块，再选择合适的开发环境进行详

55、细设汁。所以通过此次设计，不仅学到了很多 程序开发上的知识，还对多画面实时合成有了更深入的理解。展望由于时间和水平有限，本论文的研究和工作难免存在不足之处，因而对今后有 待重点硏究和改进的地方所作的儿个设想：（1）对每个画面标记符号：现在很多地方都用了多画面实时监看这类技术， 而画面的增多，难免会导致工作人员分辨不清该画面是哪路摄像机所得到的，所以 都会在每路画面上标记名称，如CAM1等。后面的研究，即是考虑如何在新建的窗 口里，利用像素点，标记出自己想要的符号内容。（2）对多画面中某一画面的触发：画面的繁多不仅容易将某一画面与摄像机 编号混淆，而且山于多画面都集中在一个视频监看器上，使得原本正常的画面需要 进行多陪的压缩，从而使得画面变得有些模糊不清，不利于对画面的观察与研究。 所以，需要研究对画面的触发，即设置触发信号