多视角实时合成的研究与实现——毕业论文

毕业设计(论文) 论文题目 多视角实时合成的研究与实现 Real-time Synthesis of Multi-view for Study and Realization学 生 姓 名： 学 号： 二级学院名称： 电子信息学院 专 业： 广播电视工程 指 导 教 师： 职 称： 合作/企业教师： 职 称： 浙江传媒学院本科毕业论文 多视角实时合成的研究与实现多视角实时合成的研究与实现摘要: 近年来，随着网络多媒体技术的迅速发展，以往的广播、电视、报纸等传统媒体在对抗不断兴起的新媒体传播方式这场没有硝烟的战争中收到了巨大冲击。传统媒体的劣势逐渐显现，很多事件从发生到广泛传播时间间隔久，时效性差，普通人群参与度低，互动性差。越来越多的人开始尝试新的传播方式，尤其是人们观看影像的方式发生了重大改变。多视角实时合成给人们提供了一种不一样观察的方式，在近几年备受关注。多视角的实时合成，其目的在于同时获取多路视频信号，在有限的时间内获得更多图像信息。多路视频合成主要研究的是画面整合以及视频发布的两个问题。本次使用Helix Server作为流媒体服务器并使用Real-Producer Plus进行广播与录制，在数据库中录入摄像头信息，浏览器中嵌入RealPlayer播放器，在浏览器中可以实时查看摄像头画面并实现视角切换。多视角的实时合成是由摄像头获取信息，通过USB接口进行视频传输，最后将得到的视频进行处理。而为了更好的研究视频合成这方面，本文还对来自文件的多画面合成进行研究与实验，为本文最终的测试奠定良好的基础。关键词：视频监控；多视角合成；图像处理；流媒体REAL-TIME SYNTHESIS OF MULTI-VIEW FOR STUDY AND REALIZATIONAbstract: In recent years, with the rapid development of network and multimedia technology, therefore, news media development in the new media age challenged the survival of traditional media. The disadvantages of traditional media gradually appear, many events from the occurrence to the wide spread time interval, timeliness is poor, the participation of ordinary people is low, and the interaction is not good. More and more people are beginning to try new ways of communication, especially in the way people watch and think. Real-time Synthesis of Multi-view provides people with a different way of observation, and it is considered to be a popular technology in recent years.Real-time Synthesis of Multi-view, the purpose is to obtain multi-channel video signals at the same time, and we can get more image information in a limited time. This paper mainly studies two problems: image integration and video release. Helix Server was used to be Streaming media server in this research, and broadcasting and recording with Real-Producer Plus. Inputting camera information to DB. The browser is embedded with RealPlayer player, so that it can view real-time video from the cameras and switch to different view angle.Multi-view real-time synthesis is to obtain information from the camera, transmit video signal with the USB, and finally process video. In order to study the video synthesis better, this paper also studies and experiments on the multi image synthesis based on local file, which lays a good foundation for the final test.Keywords: video surveillance; multi-view composition; image processing; stream media目 录1 绪论11.1 选题背景与意义11.2 国内外研究现状11.3 研究目的及意义31.4 本文主要研究内容42 多视角的实时合成总体方案设计52.1 多视角实时合成系统功能和需求分析52.2 系统总体结构53 多视角实时合成方法的实现63.1 流媒体服务模块63.2 视频信号实时采集录制模块73.3 媒体流实时网络传输模块73.4 数据库元数据存储与管理模块83.5 WEB流媒体发布模块84 多视角实时合成的实验与测试94.1 实验环境94.1.1 实现平台94.1.2 运行环境104.2 基于本地视频文件的多画面合成104.3 基于单摄像头的实时直播114.4 基于多摄像头的多视角实时合成134.5 基于网页访问实现多视角的实时合成与切换145 总结和展望165.1 总结165.2 展望17致谢18参考文献191 绪论随着通信技术和网络多媒体技术的发展，人类获取外界信息的途径已经不仅仅局限于语音和数据，数字视频已经取代语音成为了人类信息的主要来源1。曾经放学回家守着电视观看各类电视节目的年代已经渐渐远去了，现在网络视频直播、视频实时监控、视频的远程教育以及多人视频聊天等各种多媒体新形式逐渐兴起，人们对于影像观看的要求越来苛刻，简单而传统的媒体形式已经无法满足人们对视频图像多样的需求。1.1 选题背景与意义近几年，国家经济的发展提高了人们的生活水品，人们不再只求温饱，而是更加注重丰富自己的娱乐休闲方式，获得更多视觉感官等刺激。从2D电影的平面影像到3D电影越来越真实的观影体验，意味着胶片电影时代逐渐没落，数字电影的舞台才刚刚拉开帷幕2。爱奇艺、优酷、陌陌等都推出了视频直播功能，满足了人们随时随地表达自我的需求3。另外，视频图像处理技术和多画面显示系统技术的逐渐成熟，也改变了人们工作的一些习惯。例如多画面视频会议系统的实现，减轻了公司出差开会时路途奔波的麻烦；电视制播系统中，在过去是有限前端对传输的电视信号进行监看，大部分是一对一的模式，一台监视器监控一路图像信号，并不能很好地实时监控每一路视音频画面，无法及时发现节目质量问题，难以做到安全播出；视频监控也是同理，现在摄像头的数量成倍增加，若是以电视墙的形式进行实时监控，不仅占地面积大浪费资源，而且人眼无法同时观察这么多屏幕，不容易捕捉画面细节，导致监控漏洞的出现。本课题致力于实现多路视频信号的实时合成，提高屏幕利用率和视频图像处理速度，因此，多视角实时合成的研究与实现具有一定实际意义。1.2 国内外研究现状多视角实时合成技术是近年来人们关注的应用技术热点之一，尤其是被广泛应用于安防领域。安防需求主要集中在公安、交通、司法、金融、能源、科教卫和智能楼宇等七大行业4，视频监控领域的70%以上的数据分析是用来进行图像识别。大中小城市也在不断推进平安城市建设，目前我国摄像头数量最多的城市是北京，数量达到115万，摄像头分布密度为71个/平方公里；上海摄像头的数量仅次于北京，数量达到100万个；而杭州则是摄像头分布密度最高的城市，达到了130个/平方公里。在曾经传统的城市视频监控体系中，主要还是有线网络进行视频流的传输5。随着城市化的程度越来越高，有线网络面临搭建成本投入过高，架设困难，完成周期过长等一系列难题，无线网络将会逐渐取代有线网络。无线网络对公安部推动全国公安机关视频图像信息整合与分享工作任务更为便捷有益，对视频监控体系可以实现有用整合，进一步综合开发利用视频图像信息。海康威视成为视频监控行业的领军人物，持续五年（2011-2015）占据iHS环球视频监控市场占有率第一位，并在2016年，A&S安全自动化公布的“环球安防50强”中位列世界第一。海康威视在流媒体网络传输和控制技术、大数据分析技术、视频图像处理技术、嵌入式系统开发技术、云计算技术、视音频编解码技术、视频分析与模式识别技术、视音频数据存储技术、专用集成电路的应用技术等九大核心技术全部拥有自主知识产权6。2007年海康威视研发成功全球第一台16路D1实时DVRDS-8016HF-S；在2015年，海康威视发布了“鹰眼”全景相机、工业相机以及立体相机。大华也推出了多镜头全景拼接相机，其典型代表作品就是四目4K全景网络相机DH-IPC-PDBW8808-A180系列，可应用于对画质要求比较高且大场景监控的场所。四目4K全景相机处于行业先进技术，实现了更高清、全智能、大全景、星光级、图像拼接等功能。全景多目摄像机可以更好地实现了用户更全角度的大场景监控需求，有其独特存在的应用价值。大华四目全景网络摄像机由4个镜头为1/2.8200万超低照度CMOS图像传感器、3mm定焦特制镜头组合，可以拍摄四个角度，经由过程大华智能算法，主动识别四组画面之间的重复区域，并可以自动修改及拼接，输出40961800全景画面，从而实现水平180、垂直87的超广角度展现，且拼接画面平整无畸变，视频结果更直观，高清监控一览无余7。近年来，基于多视角的图像拼接技术迎来了它的春天，主要包含了计算及视觉问题以及图形图像问题。APAP算法的实现将网格优化变形应用于图像拼接，TJ CHIN通过将图像划分为密集网络，一个单应矩阵对应一个网格，利用对网格的变形，实现图像的矫正和拼接。对于视频拼接而言，时下较为流行的做法，是一边进行视频拼接，一边进行视频的稳定，即视频去抖，不仅是可以实现对本地视频文件的高质量拼接，还可以做到在线的实时拼接。对于视频的实时拼接而言，时下较为流行的一种做法是，一边进行视频的拼接，一边进行视频的稳定，即视频去抖，不仅为是可以实现对本地视频文件的高质量拼接，还可以做到在线的实时拼接。除此之外，关于图像处理技术不得不提到AR和VR，AR（Augmented Reality增强现实）和VR（Virtual Reality虚拟现实）是计算及视觉领域最为热门的技术。VR与AR的区别主要在于，VR看到的全都是虚拟场景，是开发者创造出的模拟世界，比较著名的产品包括索尼Play Station VR、HTC Vive VR以及三星 Gear VR。虽然VR技术可以说是目前而言十分先进的技术之一，VR电影、VR游戏等层出不穷，但是格里贝茨曾说过“VR很酷炫，然而它只是通向增强现实的一块垫脚石”。AR技术的使用者并不会觉得计算机所生成的虚拟物体和原来的现实世界两者之间格格不入，可以实现对于真实世界进一步的分析与探索。通过实时交互，还可以在有限的时间和空间中完成对相关知识领域的深入学习。2000年，Bruce H.Thomas开发了世界上第一款基于手机的AR游戏，2008年不同厂商开始将AR技术应用于手机地图软件；Goole在2013年向世界发布了广为人知的Goole眼镜；2015年，Hololens成为第一款可将虚拟的计算机图像用过AR设备嵌入到使用者真实的世界中8。1.3 研究目的及意义多视角实时合成技术为人们提供了一种更加直观、更为方便、包含更多信息量的观看方式，人们可以在有限的时间内更加快速递获取尽可能多的视频信息，有利于在人力资源不足的情况下进行实时监控。而流媒体技术为视频、音频或者其他多媒体文件在网络中传输提供了可能性9。多视角的实时合成技术应用非常广泛。例如电视节目制作时可以进行实时监看，一档现场的综艺节目通常配备多台摄像机，不仅要从各个角度去捕捉主持人和嘉宾之间的互动，也要不是抓拍台下观众的反应，将多台摄像机画面同时传输到同一终端显示可以方便导播根据现场需要实现视角的切换。除此之外，多视角的实时合成技术还可以应用与电影广告的拍摄。现在广告制作周期非常短，尤其是拍摄期间，由于人工、设备费用比较昂贵，通常需要在最短的时间内拍摄尽可能多的画面。这种情况下往往需要多台摄像机同时工作，多机位拍摄已经成为常态。但是对应也需要有多个监视器，对于剧组来说多监视器携带相当笨重，导演也无法同时观看三个摄像机拍摄的画面。每次单个回放摄像机画面也是非常浪费时间，多视角的合成可以解决这类问题，提高拍摄效率，降低拍摄成本。多视角的实时合成还可以运用到灾难现场的救灾行动，便于全方位实时了解灾情，在营救灾民、控制险情时制定出合理高效的解决方案，减轻灾难的伤亡程度以及财产损失，还可以为抢险救灾争取更多的宝贵时间。同样，利用多视角实时合成技术可以实现实时视频会议，通过这种方式可以减少与会人员往返于两地之间花费的时间，可以更快地传达公司总部的会议决定。根据以上所阐述的优点，对于多视角实时合成技术的研究无论从理论方面还是实践运用方面，都十分具有意义。通过该技术，人们在工作时，可以提高对于信息获取的效率；另外，还可以通过不同视角间的切换，使得多视角实时合成技术应用更加广泛。1.4 本文主要研究内容本课题主要对多视角实时合成的研究与实现进行以下几个方面设计分析： 1、确定视音频流的传输方式：视频和音频的传输方式通常被分为有线传输和无线传输两种传输方式。有线传输布线复杂、成本高，无线传输则更加适合本次实验，搭建简单，不需要额外的设备。本次实验除了采用无线网络传输的方式，还结合了数字多媒体技术来实现传递视频图像信息。2、流式传输方式的优势：本次实验中的视音频信号的采集均有外接的USB摄像头和电脑自带的摄像头完成，服务器用于存放和控制流媒体数据10，视音频信号流由RTSP（实时流传输协议）完成数据传送。最终，播放器提供客户端监看摄像头传送回来的画面，可以实现边传边播，达到实时监看的效果。3、视频信号编码以及发布的处理方法：视音频信号流由USB摄像头和电脑自带的摄像头实时采集，经由RealProducer对其进行实时编码处理，每次完成编码，就会将本次采集到的视音频文件以.rm格式保存到预先设置好的本地文件夹中。通过服务器MyWebServer进行发布，可以在浏览器中访问摄像头实时传输过来的画面。本次利用了RealProducer自身的转码器，自动实现了视音频文件的编码工作以及流媒体文件的存储工作。4、数据库中元数据的存储与管理：在数据库中录入本次摄像头的信息以及每个摄像头对应的视音频信号文件地址，通过数据库管理流媒体文件的元数据信息。5、对结果进行分析，包括基于WEB服务器流媒体发布系统以及数据库连接时遇到的困难，还有对未来的展望。2 多视角的实时合成总体方案设计2.1 多视角实时合成系统功能和需求分析这个时代，是一个被网络媒体层层包裹的时代，广播电视技术和计算机技术飞速发展，现代数字图像处理技术和网络多媒体技术愈加成熟，视音频信号数字化处理已经是目前较为普遍的技术11。得益于IT领域与视音频多媒体技术领域的不断创新与提高，新兴的网络的媒体形式更加丰富多样，从而促进了多种媒体形式的融合与发展，激化了各大视频平台之间的竞争，也更加要求不同媒体生产商发掘自身的资源优势以及革新自身的技术。多视角的实时合成技术以其直观、高效、信息量丰富等优势，可被广泛应用于各个场合，其应用的方向主要有以下几点：（1） 影视节目制作方面的应用；（2） 安防监控领域方面的应用；（3） 多角度监测险情方面的应用；（4） AR、VR、全息投影等新兴视觉技术方面的应用。综合以上几个方面来考虑，本系统需要具备以下几个功能：（1） 摄像头视频信号的实时采集与传输；（2） 对视音频信号实时转码以适合在网络中传输；（3） 通过数据库可对包含不同视角信息的流媒体文件进行元数据的存储与管理；（4） 实现多视角的实时合成功能以及不同视角间切换的功能。2.2 系统总体结构根据上面所阐述，明确这次实验所需要实现的功能，确定整体的框架结构。本文所采用的是一种将视频信号进行实时采集发布的多视角实时合成方法，本次实验选用RealProducer Plus作为实现对视音频信号的实时采集与转码模块，并将转码的文件保存至本地文件夹，同时完成创建网络媒体流输出等工作。另外，配置网络流媒体服务器进行数据流传输，在数据库中录入摄像头信息以及流媒体文件地址，通过WEB服务器发布到网页相应位置进行播放。其中需要对Helix Server进行流媒体服务器配置，包括流媒体服务端的IP地址绑定，当服务器被成功安装在一个拥有数个不同的IP地址的系统上时，需要指定服务器去侦听的IP地址12；除此之外，还要配置加载点，加载点是和WEB服务器虚拟目录十分相似，直接指向文件实际存放位置，一定会出现在Helix Server的每一个连接中。通过MyWebServer发布，以浏览器作为容器来播放实时画面，实现多视角合成以及不同视角的切换。摄像头传输画面RealProducer实时转码并存储到本地开 始前期工作预设网页通过WEB服务器发布连接数据库视频文件缓存释放播放实时视频画面结 束建立网络实时传输流 图2-1 多视角实时合成流程图3 多视角实时合成方法的实现3.1 流媒体服务模块本次采用Helix Server作为流媒体服务器，Helix Server是一款可实现跨平台播放的服务器，支持多种多样的媒体文件格式，可以将高质量的多媒体文件发布到被网络覆盖的所有终端。流媒体服务器将RealProducer采集封装的实时视频流以流式协议的形式直播给客户端，本次实验采用的是RTSP协议，RealPlayer作为播放前端。本次实验需要对Helix Server进行IP地址的绑定和加载点的配置，为流媒体文件提供播放支持，所有播放的SMIL文件都被保存在加载点目录下。使用加载点目录可以在客户端使用RTSP协议向服务器请求视音频流传输时，地址更加精简，提高访问效率。需要注意的是，加载点名称不宜使用中文，包括后面WEB服务器中的服务目录，这些目录对中文的支持并不是特别理想，可能会影响实验结果，比如无法获取视音频流，或者是打不开页面等。绑定IP地址的目的在于指定侦听的IP地址，由于本机的IP地址是动态分配，每次开机都会改变，因此我选用了来代替本机所有的IP地址。如果不从其他终端获取本机服务端的视音频流，可以不绑定IP地址。因为绑定IP地址的目的是选择侦听的地址，可以从其他终端通过IP地址访问到本机服务器，从而获得多媒体内容。3.2 视频信号实时采集录制模块Real-Producer Plus是一款功能非常强大的视频编码器，它可以提供多种不同的编码速率来适应各自相差较大的网络状况，以保证视频和音频信号的传输过程较为顺畅。本次实验选择摄像头作为视音频流采集设备，因为摄像头是目前图像采集最常用的设备。在电脑上通过USB集线器外接了三个摄像头，另外加上电脑自带的一个摄像头，一共4个摄像头，在RealProducer中选择外接设备接收视音频流，RealProducer具有压缩速度快，压缩率较高的特点，比较适合本次实验。在开始转码之前，需要对Real-Producer Plus配置服务器目的地，Real-Producer Plus将采集到的拍摄画面进行编码以 “推”的方式发送到流媒体服务器中。推流的目的在于，把采集阶段转码封装好的视音频流通过流式协议传输到服务器。在开始转码之前，为了能在实施浏览结束后，还能回看刚才的视频，需要对每一路视频信号进行保存设置。Real-Producer Plus编码器将摄像头的视频信号进行编码转化成rm格式进行保存，rm格式文件是一种容器格式文件，这类通过保存为rm格式的文件，可以实现即时播放，意味着可以先从服务器上下载一部分媒体内容，缓冲一部分后就可以一边缓冲一边播放，即“边下载边播放”，这也是本次实验中实时合成的关键。3.3 媒体流实时网络传输模块本次采用RTSP（实时流传输协议）对媒体文件（视频和音频）进行封装，RTSP是一个可以对多媒体播放进行控制的协议，并且允许同时多个串流需求，降低了服务端的网络用量。同时利用一条时间线可以对多个串流进行控制，精简了代码的复杂度，这为本次实验多个摄像头画面同时传输、实时合成、实时浏览提供了保障。RTSP可以使用TCP或者UDP完成数据传输。另外， RTSP协议也支持传输在不同服务器端的媒体内容，可以实现不同服务器上的多媒体文件之间的同步以及交流。RTSP控制媒体流的传输，一方面要有协议，另一方面则要有对应的媒体播放器(RealPlayer)和媒体服务器(Helix Server)。媒体服务器与媒体播放器的关系是服务器与客户的关系13。图3-1 服务器与播放器之间RTSP交换3.4 数据库元数据存储与管理模块数据库中需要提前录入每个摄像头的信息以及每次调用的SMIL文件存储地址，在网页中点击对应的链接，可以读取数据库中文件存储地址，RealPlayer就会向流媒体服务器发出请求，接收传输过来的实时视音频流，提供网页端对摄像头传输画面的播放。本次在ASP脚本中通过与ODBC DSN建立连接，实现数据库连接。需要在电脑中下载安装64位（本机为64位系统）的ODBC数据源，然后对配置数据库ODBC数据源。在配置过程中，需要知道所对应的数据库的服务器名称、登录ID以及密码，在创建数据源输入相关信息，通过测试数据源来确定DSN是否创建成功。最终编写脚本和数据库建立连接，ADO（ActiveX Data Objects ） 提供 Connection 对象，可以使用该对象建立和管理应用程序和ODBC数据库之间的连接。在脚本编写过程中，主要注意文件保存时的文件编码，文件编码不对则会导致网页显示乱码或者无法正确连接数据库。3.5 WEB流媒体发布模块通过播放器内嵌WEB网页发布媒体内容，媒体链接通过元数据存储在数据库中。WEB服务器可以解析ASP文件，将动态响应的产生委托给ASP脚本文件，通过在脚本文件中监听服务器的IP地址，实现数据库与WEB服务器的连接。服务器通过读取数据库信息，向浏览器提供网页中有关摄像头的表格信息。本次实验搭建了WEB服务器，通过将RealPlayer播放器嵌入在网页中，利用网页来浏览摄像头传输的实时画面，而在网页中设置链接可以实现不同视角间的切换。这种做法的优势在于一方面可通过脚本实现连接数据库的操作，获取媒体文件路径，实现流媒体文件播放；另一方面也可在网页中对播放器位置进行调整，使整体页面布局更加合理。4 多视角实时合成的实验与测试从多视角合成技术而言，视频文件的来源可分为本地视频文件或者是实时录制所得到的视频文件。要实现多视角的实时合成，可以从本地视频文件入手。由于本地视频文件是提前录制好的，不需要对其编解码，实现起来效果会更加稳定。再基于本地视频文件得到的经验，尝试对实时拍摄的视频文件进行合成。从实现局部功能，单一摄像头实时浏览，再到整体多视角的实时合成。4.1 实验环境4.1.1 实现平台本系统主要有媒体采集设备、流媒体编码器、流媒体服务器、数据库服务端、WEB服务端五部分组成，系统拓扑结构如图4-1所示。图4-1 多视角实时合成系统拓扑结构由于本次作品设计涉及到多种类型的服务器，需要不同类型的服务器分工合作，各方面协调整合，包括：Real-Producer Plus节目录制服务端：对摄像头画面进行实时录制传输以及文件保存上传；WEB服务器：提供用户的网页访问；数据库服务器：提供媒体文件路径访问，采用MySql作为数据库前端；流媒体服务器：提供流媒体文件播放支持，总体采用Helix Server所提供的流媒体方案。4.1.2 运行环境 （1）操作系统：Windows 7 旗舰版64位（Service Pack1 ）（2）处理器：Intel(R) Core(TM) i5-3337U CPU 1.80GHz 1.80GHz（3）内存：4.00GB（3.89GB可用）（4）显卡：NVIDIA GEFORCE 720M（5）硬盘：700G4.2 基于本地视频文件的多画面合成本文使用Helix Server作为流媒体服务器，用户名admin，密码admin。需要对其绑定IP地址，由于本机的IP地址属于动态分配，每次连接网络后，电脑分配到的IP地址都并非一样，所以IP地址绑定我选择了用来代替我本机任何一个IP地址。对于加载点的配置，选定自己存放媒体文件的文件夹，以/GYY/这个虚拟目录来简化原本较为复杂的目录。通过SMIL语言，将四段本地视频文件在播放器中合理分布，使其能在指定位置播放，且互不影响，如图4-2。图4-2 本地视频文件四路图像合成本模块的工作主要是为流媒体文件播放提供支持，如图4-3,是SMIL文件代码。图4-3 本地视频文件合成代码4.3 基于单摄像头的实时直播本文提出的摄像头画面实时合成过程采用了Real-Producer Plus 11对摄像头传输的画面进行实时转码，一方面保存为.rm格式的流媒体文件，另一方面以“推”流的形式发布到流媒体服务器端。在不同的网络条件下，Real-Producer Plus 11提供多种编码率，以此保证视音频数据能够流畅传输与播出。它以推“流”的形式进行传输，对于视音频信号流来说，可以在最短的时间内被传输到流媒体服务器上，以实现实时浏览摄像头画面的功能14。本模块的准备工作是对输入的视频图像进行转码，将采集到的拍摄画面进行编码以 “推”流的方式发送到流媒体服务器中，通过RealPlayer播放器向Helix Server服务器发送请求报文，服务器对其响应，然后播放实时流画面，如图4-4所示。图4-4 Real-Producer Plus 11实行对摄像头传输的画面编码如图4-5所示，对将要采集录制的摄像头画面进行流媒体格式保存及文件保存路径设置，设置文件名为“2017.4.22a”，文件格式保存为rm或rv，此处选择保存类型为rm，保存目录为save。 图4-5 进行流媒体格式保存及文件保存路径设置在RealPlayer播放器中直接请求播放流媒体文件：rtsp://broadcast/playlist4.4 基于多摄像头的多视角实时合成由于有多路视频信号同时传输，因此需要4个RealProducer Plus分别对其转码以及流媒体文件格式保存。需要注意的是，每个流的名称不可以相同，否则会产生冲突导致无法播放，1号摄像头的流名称是playlist，2号为playlist2，3号为playlist3，4号为playlist4。在SMIL文件中整合四路视频信号，使其在各自位置上独立播放，互不干扰。首先用一路视频实时流模拟四路视频信号同时传输，SMIL文件中四路视频信号的位置均为rtsp://broadcast/playlist，在RealPlayer播放器中观察播放效果，如4-6图所示。图4-6 在RealPlayer中实现多视角实时合成经测试播放延时时间约为2秒，播放能够完全同步。然后尝试4路视频信号同时播放，如图4-7。图4-7 在RealPlayer中实现4路信号多视角实时合成4.5 基于网页访问实现多视角的实时合成与切换由于在播放器中对于视角的切换并不是特别理想，所以对于视角的切换我选择了基于网页端实现。通过在数据库中录入摄像机的信息以及媒体文件保存路径，例如摄像机编号、摄像机名称、文件地址和摄像机方向等。因此，需要在数据库中添加相应的字段，以下图4-8是创建数据库的代码，图4-9是创建完数据库后录入摄像机信息后的表格：图4-8 配置数据库图4-9 数据库中录入摄像机信息配置完数据库之后，WEB网站与数据库进行连接，将数据库中的元数据在页面上进行显示。网站连接数据库代码，如图4-10：图4-10 网站连接数据库代码并网页内嵌RealPlayer播放器播放直播流，将网页在WEB服务器中发布15。网页以表格的形式呈现本地发布到服务端的摄像头相关信息（如摄像机编号、摄像机名称、文件地址和摄像机方向）。当点击“摄像机序号”超链接时，能够采用RTSP流媒体协议播放方式在RealPlayer播放器上进行观看到4路视频信号实时合成画面，如图4-11所示。 图4-11 通过网页查看4路摄像视频信号合成画面并且通过不同的超链接可以观察到不同视角的实时画面，如图4-12所示。图4-12 切换单一视角画面网页遍历数据库的代码，并提供链接访问，如图4-13：图4-13 遍历数据库以及提供链接访问代码5 总结和展望5.1 总结在这个信息爆炸的时代中，人们对于信息处理要求越来越高，速度要求越来越快，多视角的实时合成以其更加直观、高效、包含更多信息量而占据更大优势，电视台节目制作、影视广告拍摄、安防监控监视、视觉图像技术的创新等各方面都可以运用或参考多视角实时合成技术。本次实验通过多个摄像头画面集成到同一屏幕显示，可以在一定程度上缓解屏幕不断成倍增加的压力，降低设备器材的成本，提高对有限资源的利用率。从长远角度，视频画面的实时直播分享也符合现今直播热潮一浪高过一浪的趋势，多屏互动将会提高用户的参与度，增加更多趣味，扩展观众的视觉体验。本次实验结合当下多种类型的主流服务器，结合数据库相关知识，以流媒体形式将多个摄像头拍摄的画面上传到网页端，实现多视角的实时合成与不同视角的切换。本次采用Helix Server作为流媒体服务器，可对其IP地址绑定和加载点的配置。通过RealProducer Plus编码器对摄像头传输过来的视频信号进行采集和实时录制，并可以将视音频以及文件形式保存到本地文件夹。由于经过RealProducer Plus转码，视音频信号在播放时会有一定的延时，经测试大约在5秒。视音频文件由MyWebServer发布到网页端，通过嵌入在浏览器中的RealPlayer播放器播放，用户可在浏览器中观看到合成画面以及不同视角间的切换，并且可实现暂停、播放等操作。本次最终能完成较为完整的实验效果，离不开前期不断地对本地视频文件的合成试验。本地预先录制好的文件操作更加简单，而且视频不需要经过RealProducer Plus转码，不存在延时问题，播放质量更加稳定，为后续工作打下基础。每次成功一步之后，再往下开展后面的内容，注意替换成摄像头拍摄的画面。遇到问题，查阅了大量的相关文献资料，不断尝试前人提出的一些解决办法。通过本次对多视角实时合成的研究与实现，我对数字视频处理技术以及流媒体技术有了更深刻的认识，也掌握了与多视角实时合成相关的知识模块，甚至在查阅有关资料时扩展了我对视觉图像处理的理解，惊讶于AR、VR技术的发展。这次毕业作品设计也是对大学四年所学知识的一个汇总，既涉及到了数据库相关知识，也锻炼了自己对程序代码的掌控能力。除此之外，对毕业作品开展也有较为清晰的规划，从局部功能的实现到最终设计，也常常会陷入困境，出现不确定是否能实现这个功能时想要放弃或者更改选题的想法。通过这次毕业设计，让我社科感受到不同课程内容之间紧密相关，只有平时不断积累，对所学知识融会贯通，才可以在束手无措时打破瓶颈。5.2 展望由于时间和水平有限，本论文的研究和工作难免存在不足之处，因而对今后有待重点研究和改进的地方所作的几个设想：（1）将多视角实时合成移植到手机端：由于Android手机浏览器不支持RealPlayer播放器，无法实现通过浏览器嵌入播放器播放实时画面。而手机上的一些播放软件都RTSP协议支持不是特别理想，也有一部分可能手机对视频的解码能力相对于电脑弱很多，导致对于本地文件播放很勉强，对于摄像头拍摄画面根本无法播放。后面的研究可以深入学习去解决在手机端播放问题。（2）降低延时时间：本次实验经过测试，播放画面和真实事件发生之间的时间间隔平均相差约为5秒，这个时间间隔相对来说还是有一点久，尤其是对于监控行业来说，这个时间给予了一些犯罪分子躲过监控的可趁之机。因此需要尽可能缩短延时时间，改进编解码方式，提高转码效率。（3）进一步实现视频拼接：本次毕业设计只实现了不同视角的合成，只是对画面的整合，还没有达到对画面的无缝拼接。这样四个画面的关联性不过紧密，在观看每个画面时需要用户自己在脑中模拟拼接过程，如果可以实现全景拼接就可以以一个更广的视角实时获取更多信息，减少用户思考，提升用户体验。（4）根据带宽自动适应画质：由于带宽限制，画面在传输时容易出现卡顿，或者需要较长的加载时间，可以通过SMIL来在代码中设置，根据不同带宽选择播放不同文件。降低画质以解决播放卡顿等问题，以播放流畅为首要目的，其次尽可能提高画质。第 19 页 共 19 页 致谢大学四年，匆匆而过，曾经笑过哭过奋斗过的日子都转瞬即逝，之鞥成为今后人生中不是回忆起的青春往事。临近毕业，才惊觉没有再好好看一眼这个呆了四年的地方，顿生依依不舍之情。在这学习生活的四年，见证了我逐渐走向成熟，学着长大，学着去承担责任，学会为人处世，不再像个孩子一样任性胡闹。这次毕业论文设计，我得到了很多老师和同学的帮助，不仅是学业上的指点，更多的是对未来对人生的点拨。首先要感谢我的导师老师，李老师对于教学认真的程度一直是让我极为敬佩和敬重的原因之一。李老师在平时上课时一直都会花费大量的时间去备课，尤其是一些课程相关资料比较少，更是耗费大量心血，以便在为我们上课时课件通俗易懂。当我们遇到任何专业上的问题，李老师都会耐心解答，在解决问题之后也会告诉我们为什么会遇到这样的问题，下次如何避免。大概正是由于李老师这样认真的教学态度，使我对自身专业有了深度了解的兴趣，端正了对学业精益求精的态度。除此之外，当我在平时的生活中遇到挫折或者迷茫不前时，李老师也会以风趣幽默的话语开导我，让我少走弯路，认清脚下前进的方向，明白了很多学习之外的人生道理，在此谨向李老师致以最真诚的谢意。本次的毕业设计也得到了李老师悉心指导，从论文选题到开题答辩，从作品最初一时的想法到如今基本功能全部实现，李老师都不吝啬自己的时间给予我指导意见，尤其是在我多次尝试失败以后陷入