毕业设计（论文）-基于Gopro的全景视频拼接与实现.docx

中国传媒大学毕业论文绪论保密类别 编 号 毕 业 论 文基于GoPro的全景视频拼接与实现学部(院) 理工学部计算机学院 专 业 计算机科学与技术 班 级 2013级计算机科学与技术 姓 名 指导教师 中 国 传 媒 大 学2017年05月10日基于GoPro的全景视频拼接与实现摘要随着全景图像领域的飞速发展，全景视频作为全景图像的一个重要分类也受到越来越多的关注和应用。不同于全景图片或者普通视频，全景视频具有景深、音频、时间轴等内容，并且视角完整、具备诸多交互功能，能够给观看者带来沉浸式体验，极大地体现全景视频本身的特点和使用全景视频展示景象的优势。本文通过校园全景视频展示系统的搭建过程，对全景视频的拍摄方法、拼接原理和展示效果开展探索与研究。本文选取两种目数的GoPro全景相机组进行介绍，对它们的设计原理和拍摄效果进行对比，并叙述全景视频的拍摄和拼接过程。同时，本文阐述了搭建校园全景视频展示系统所用技术和相关方法，分析了通过校园全景视频展示系统来进行全景视频展示的优点和意义。关键词：全景视频；图像拼接；GoPro；校园地图全套设计加扣 3012250582IMPLEMENTATION of PANORAMIC VIDEO STITCHING BASED ON GOPROABSTRACTWith the rapid development of panoramic image technology, panoramic video as an important classification of panoramic images also has much more attention and application. Different from the panorama picture or ordinary video, panoramic video with more information like depth of field, audio, timeline and so on, has perspective of integrity and many interactive features can bring immersive experience to the viewer. Such characteristics greatly show the advantages of panoramic video display. This paper shows the panoramic video shooting method, stitching approach and display result of campus panorama video display system. In this paper, we introduce two kinds of GoPro panoramic camera groups, compare their design principle and shooting effect, and describe the shooting and switching process of panoramic video. Besides, this paper describes technologies and related methods of campus panoramic video display system used. The display effect and significance are also dicussed.KEYWORDS:Panoramic video; Image stitching; GoPro; Campus display目录摘 要. ABSTRACT. 目 录. 1 绪 论. 11.1 全景视频展示的背景与发展现状. 11.2 全景视频展示的主要方法. 21.3 本文主要内容. 52 全景视频图像采集. 72.1 全景视频拍摄工具. 72.2 全景视频拍摄视角. 82.3 拍摄原理和方法. 112.4 本章小结. 123 全景视频图像拼接. 143.1 全景视频拼接工具. 143.2 全景视频拼接过程. 163.3 拼接效果比较. 203.4 本章小结. 214 全景视频前端展示技术. 224.1 全景漫游实现工具. 224.2 全景漫游实现机制. 234.3 本章小结. 235 校园全景视频展示系统. 245.1 架构设计与功能设计. 245.2全景视频嵌入实现. 265.2.1全景视频格式转换. 265.2.2 全景视频嵌入操作. 275.2.3 全景视频漫游页面. 285.3全景视频功能实现.305.3.1热点. 305.3.2字幕. 315.3.3指南针. 315.3.4文本框. 325.3.5皮肤菜单. 335.3.6补地图片. 345.3.7开场图片. 345.3.8校园地图. 355.3.9高德地图. 355.4 本章小结. 376 总结与展望. 38参考文献. 40致谢. 41中国传媒大学毕业论文绪论1绪论1.1全景视频展示的背景与发展现状全景视频是指可以从拍摄点左右上下360度任意观看的视频，一般来说，全景视频的拍摄使用数个摄像机，将摄像机以一定角度和方法固定起来，在同一时间分别拍摄周围不同角度的景物，并通过视频拼接缝合技术，将这几个摄像机所拍摄到的相同拍摄点不同视角的视频合为一体，生成完整的可各个方向360度交互观看的全景视频，真实地再现摄像机群所拍摄的实况全景，使每位用户可以在进行全景视频漫游的同时实时观看到周围人物的移动、事件的发生以及景象的改变，并且可以为观看者带来沉浸式体验。首先，不同于全景图片，全景视频拥有时间轴，可以展现一定时间段内的景物变化、事件发展，同时又具有音频内容，通过声画对位展现更为丰富的信息，而且全景视频的拍摄视点是可移动的，拍摄者可以通过一定逻辑的镜头移动来录制位置移动和空间变化，从而展现拍摄内容的物理位置关系。其次，又不同于普通视频，全景视频视角非常完整，可以涵盖视点周围几乎所有方向，最大程度上记录周边人物、景物和事件，同时，全景视频一般具有交互性，可供观看者自行调整画面方向，选取观看视角，让人感到身临其境，从而带来沉浸式体验。再次，相较于虚拟建模图像，全景视频的真实感更强，这是因为全景视频是由真实拍摄的实景视频图像素材拼接而成，能够最大程度上体现真实的视觉效果。可以说，全景视频在内容上完整丰富，真实地再现拍摄的人、事、物，在形式上独特新颖，具有创新性和交互性。随着近年来全景图像领域热潮的兴起，全景视频作为全景图像领域当中一种重要形式，展现出了巨大的潜力。在2008年，国际市场涌现了大量的一次成像设备，成像的方式就包含全景视频模式，使全景视频的拍摄制作更加便捷1。如今，全景视频在国防安全、监控摄像、旅游宣传、影像医学、娱乐产业等诸多行业都有着巨大潜力和许多应用2。例如，在航空航天领域，使用全景视频拍摄技术全方位记录航天器周围的景象，真实而全面地还原浩渺宇宙，为航空航天领域的发展提供详实的影像资料；在医学领域，现在的微创手术利用腹腔镜、胸腔镜等医学领域成像器材进行，将这些器材升级为全景拍摄器材，通过实时全景视频更加全面地显示患者体内的手术部位，帮助医生更安全、更便捷地完成手术；在旅游行业，用全景视频拍摄景点的山水风光、博物馆、展览馆、展览会，让游客实现足不出户实景游览名胜古迹；在娱乐领域，现场记录文艺演出、体育赛事等等，进行全景实况转播，让观众仿佛置身舞台赛场。不过，现在的全景视频应用还属于起步阶段，相关技术还在不断更新完善，全景视频的也还没有完全发挥出发挥它的巨大价值，可以想见的是，全景视频作为全景图像领域当中不可或缺的一部分，具有难以忽视的潜力和优势。全景视频的应用前景十分广阔，应用价值也非常巨大，相关领域的相关技术也在不断的发展创新，也会为全景图像的其他诸多领域提供发展助力，总而言之，对全景视频进行研究和探索，具有深远并且重大的意义。1.2全景视频展示的主要方法为了能够让用户更为便利地进行全景视频观看和交互，本项目展示全景视频的方法是，设计并搭建一个校园全景视频展示系统，在系统中嵌入可以进行全景视频漫游的网页，展示全景视频的拍摄制作成果，通过校园全景视频展示系统完整地将其呈现在用户面前。在近十年前，就已有学者认为三维全景技术将会影响网络地图服务3。本项目的校园全景视频展示系统就将全景视频与中国传媒大学校园地图结合起来，以期在展示全景视频的同时，体现全景视频的内容价值。全景视频不同于普通视频，除了播放、暂停等基本功能之外，还向用户提供更多交互操作，例如，针对全景视频可以360度观看的独有特性，全景视频需要在播放时向用户提供使用鼠标拖动或者按下方向键进行视角转换的功能。后缀名为mp4等格式的全景视频虽然也可以使用一般视频播放器观看，但观看的画面不能呈现360度环绕的形式，而是铺开为一张平面，就如同市面上常见的世界地图，需要全景视频专用播放器播放，才可以真正进行360度环绕的全景体验。图1.1使用普通播放器播放全景视频的效果图1.1即是使用普通的视频播放器播放mp4格式的全景视频的播放效果，如图中所示，这段全景视频拍摄于中国传媒大学图书馆正门前的广场，在普通的视频播放器中，整个画面平铺开来，虽然视频仍可进行正常播放，可以明显观察到人物的走动，但体会不到360度全景视频应有的立体环绕观看体验，并且不能进行视角的变换，同时，画面自水平中线到上下两端，呈现越来越严重的图像扭曲状态，例如建筑物的上边沿，本应该是水平线或者倾斜的直线，但已经被扭曲为弧线，地面缝隙的扭曲变化也十分明显，观看体验较差。图1.2 使用全景专用播放器的效果1图1.3使用全景专用播放器的效果2图1.2和1.3即是使用专用的全景视频播放器播放同一段全景视频时，在不同视角之下的播放效果。两图中可以看出，视频画面显示正常，并没有产生画面扭曲的现象，而且可以进行改变视角的交互操作，只需要用鼠标拖拽，即可以体验水平和竖直方向360度环绕式观看，让观看者体会到身临其境般的观看感受，给观看者带来沉浸式体验。如上所述，全景视频需要专用播放器来播放，才能让观看者正常体验全景视频的360度环绕式观看特性。然而，如果要求用户使用专用的全景视频播放器来观看全景视频，需要用户自行下载安装全景视频播放软件，这给用户造成了不便，提高了用户观看全景视频的学习成本，因此，本项目寻找到了一种更为方便地为用户展示全景视频的技术方法，即使用相关工具，实现全景视频网页漫游，通过在网页上嵌入全景视频播放引擎来免去用户下载全景视频播放器的麻烦，同时利用互联网实现全景视频的线上观看，还能免去用户下载全景视频的步骤，让用户轻松实现全景视频的观看和体验。同时，本项目的所有视频均在中国传媒大学校园内进行拍摄，为了在展示全景视频的沉浸式观看的同时，展现本项目所拍摄的全景视频的内容价值，本项目选择设计并搭建一个校园全景视频展示系统，在校园全景视频展示系统中，将本项目拍摄的全景视频和本校的平面地图结合起来，增强本项目中所有全景视频拍摄地点之间的地理位置逻辑关系，从而使每一位用户在观看时更能感受到全景视频带来的沉浸式丰富体验。在本项目的校园全景视频展示系统中，全景视频地图作为平面地图的补充，更为直观的为观看者带来沉浸式的校园的景物观赏体验，同时为观看者提供校园内各个主要地点间的简便行走路线，方便对校园不熟悉的观看者。综上，本项目选择以网站的形式搭建校园全景视频展示系统校园全景视频展示系统，利用全景视频漫游网页来展示全景视频，目的即是在让用户更为便利地进行全景视频的观看和交互，免去下载全景视频专用播放器的麻烦；同时利用互联网和全景视频技术，将全景视频地图和平面地图结合起来，以更为丰富新颖的方式多角度展现校园地图。最终在探索和研究全景视频拍摄、制作、展示相关技术的同时，宣传中国传媒大学校园风光和人文风貌。1.3本文主要内容本文主要分为六个板块，分别阐述整个项目的相关理论与实践内容，并对项目进行经验总结，最终得出相关结论。除却第一部分绪论以外，本文主要包含以下五部分内容：本文的第二部分为全景视频图像采集，介绍全景视频素材的获取工具，即六目和八目GoPro全景相机组，并对这两种全景视频相机组的拍摄视角进行研究，对比了两种GoPro全景相机组的优点和缺点，同时补充两种针对八目GoPro全景相机组缺点的改进方案，最后说明本项目拍摄全景视频素材时依据的原理和拍摄方法。本文的第三部分为全景视频图像拼接，首先介绍本项目选取的全景视频拼接工具，即缝合视频所用的软件，然后对主要的拼接步骤进行说明，最后对本项目所用的两种全景视频相机组拍摄的全景视频的最终拼接效果进行对比分析，然后在两种全景视频相机组拍摄的全景视频中选择一种，嵌入校园全景视频展示系统，对本项目拍摄制作的全景视频进行播放和展示。本文的第四部分为全景视频前端展示技术，本项目的全景视频展示方式是搭建一个校园全景视频展示系统，即一个可以进行全景视频漫游的网站，其中最重要的步骤即是实现全景视频在网页上的漫游，这一部分主要就是介绍在网页前端嵌入全景视频需要的工具和实现全景视频漫游的相关机制，为校园全景视频展示系统的搭建做好前期准备。本文的第五部分为校园全景视频展示系统，主要内容有三方面，首先介绍校园全景视频展示系统的架构设计与功能设计，概括校园全景视频展示系统的主要模块。其次是全景视频嵌入实现，就是说明将全景视频嵌入校园全景视频展示系统当中的具体方法。最后介绍全景视频功能实现，即介绍全景视频漫游中的几种功能的实现方法。用户在观看校园全景视频展示系统中的全景视频时，可以进行一些简单的交互操作，这一部分主要是介绍实现用户交互操作的技术与方法。本文的第六部分，是对本项目的总结与展望，概述本项目主要的研究工作，并对本项目的结论和成果进行总结，反思存在的问题和不足，归纳全篇，最后表达对全景视频相关领域的未来展望。39中国传媒大学毕业论文全景视频图像采集2全景视频图像采集2.1全景视频拍摄工具本项目选取的拍摄工具为六目和八目GoPro全景相机组，主要包含6个或8个GoPro相机、六目或八目GoPro全景相机组专用支架、三脚架、蓝牙遥控器、存储卡、充电器、读卡器等部分。本项目之所以选用GoPro全景相机组是因为它优良的拍摄性能和强大的使用功能，而且价格适中。GoPro是美国运动相机厂商GoPro所研制发售的一款享誉世界的多功能摄像机，它体型小巧，便于安装固定和随身携带，可使用蓝牙或语音控制，拥有拍照录像功能和多种拍摄模式，拥有触摸屏，可让操作更简便，具有优良的防水防震功能，提供多种可选镜头模式便于适应多种拍摄情况，经常被使用在冲浪、滑雪和跳伞等极限运动当中。使用多个GoPro相机与GoPro全景相机支架可以方便地构建一个全景视频制作系统，全景视频制作系统一般是指，在一个圆圈中排列多个摄像头，以捕获周围环境的设备群9。目前，市面上已经有多种目数的GoPro全景相机支架可供使用者挑选。可以说使用GoPro全景相机组来完成本项目是非常合适的。图2.1和2.2是市面上常见的两种GoPro全景相机支架，分别可以安装5个和14个GoPro相机进行全景视频的素材拍摄：图2.1 五目GoPro全景相机支架（主视图）图2.2 十四目GoPro全景相机支架（俯视图）2.2全景视频拍摄视角目前，市面上已有多种目数的GoPro全景相机支架可供使用者挑选，不同的支架所需GoPro相机数目不同，GoPro相机摆放角度各异，拍摄素材画面和拼接效果也不完全一样，理论上来说，GoPro相机的数目越多，每个GoPro相机承担的拍摄角度越小，所拍摄画面的细节越多，拼接生成的全景视频的画面越精细、质量越高。本项目在多种目数的GoPro全景相机组中选择六目和八目GoPro全景相机组，一方面是考虑到这两种GoPro全景相机组成像效果的代表性，另一方面也从便携性和经济性上考虑，以这两种GoPro全景相机组作为拍摄工具，研究比对全景视频拍摄的相关原理。下面展示的分别是六目和八目GoPro全景相机组和它们的拍摄视角。图2.3六目GoPro全景相机组如图2.3所示，六目GoPro全景相机组的GoPro相机固定方式是6个Gopro相机两两背对，形成一个一条对角线竖直摆放的立方体。相邻两个Gopro相机之间夹角为90度，组成一个封闭的立方体。整个立方体支架选取一条对角线竖直放置，使重心更稳定，并将三脚架接口放置在立方体的顶点位置，避开相机。图2.4六目GoPro全景相机组截面相机位置图2.4是六目GoPro全景相机组的一个截面示意图，所选截面为其中任意一台GoPro相机的平行面。从此图中可以看出，将一个平面看成一个圆，圆心为拍摄点中心，表示一个平面的360度视角，在此平面中，四个GoPro相机围成一个正方形，将平面圆四等分，划分为四个扇形，每个扇形代表一台GoPro相机的拍摄视角，扇形自身的夹角为90度。也就是说，同一平面中四个GoPro每个负责拍摄90度视角的画面。整个六目GoPro全景相机组呈立方体状，立方体的六个面中每个面都放置一个GoPro相机，将整个立体空间六等分，每个GoPro相机拍摄同等大小的画面，从而完整地拍摄视点周围各个方向360度的画面。图2.5八目GoPro全景相机组如图2.5所示，八目GoPro全景相机组的GoPro相机固定方式是8个Gopro相机，一个水平摆放拍摄上方，七个竖直摆放拍摄水平方向。水平方向七个Gopro相机紧密排列，相邻两个Gopro相机之间夹角约为128.6度。图2.6八目GoPro全景相机组截面相机位置图2.6是八目GoPro全景相机组的一个截面示意图，所选截面为其中任意一台GoPro相机的平行面。从此图中可以看出，将一个平面看成一个圆，圆心为拍摄点中心，表示一个平面的360度视角，在此平面中，水平方向七个Gopro相机将水平面七等分，划分为七个扇形，每个扇形代表一台GoPro相机的拍摄视角，每个GoPro相机拍摄约51.4度的画面。顶部相机拍摄上方画面，底部图像缺失。理论上来说，因为八目GoPro全景相机组的相机数量更多，所以拍摄的细节更多，视频拼接所需要的特征点更多，从而视频缝合效果会比六目GoPro全景相机组的效果更好一些。2.3拍摄原理和方法六目和八目GoPro全景相机组都可以进行全景视频的素材拍摄，它们的原理类似，就是用数个摄像机在同一时间段从同一位置分别拍摄不同方向的视频，然后通过技术手段，将所有视频按照摄像机摆放的位置关系，以相邻视频画面之间的重叠部分为依据，缝合到一起，形成一个封闭的环绕图像。将全景视频素材拼接为完整的全景视频，相当于将拍摄的画面拼接为一个球壳，画面显示在球壁内侧。观看者在观看全景视频时看到的图像，就像站在球心，向各个方向观察球壁内侧时观看到的景象。六目GoPro全景相机组的优点是六个GoPro相机围绕成一个立方体，拍摄到的视角几乎没有遗漏，所拍摄的范围更广，视频内容更加丰富，没有信息的丢失；缺点是相邻图像之间重合部分相对来说比较小。重合部分过小会导致拼接时能够选取的特征点过少，受到干扰较多，进行匹配时容易出现错误4。八目GoPro全景相机组的优点是水平方向相邻图像之间重合区与较大，拼接时特征点较多，拼接更加便利一些，而且四周景物细节更丰富；缺点是上方只有一个GoPro相机，容易造成细节丢失，而且没有GoPro相机拍摄下方，造成下方图像缺失的情况。在这里补充一点，弥补八目GoPro全景相机组底部图像缺失问题的方法有两种，一种是另外增添一个单独的GoPro相机和支架，将此GoPro相机固定在八目GoPro全景相机组的下方，专门用来拍摄地面信息，这样做的优点是可以拍摄当时场景的真实地面信息，缺点是需要准备另外的相机和支架，而且会拍到三脚架的一部分；另一种方法是直接添加图片或者其他视频，遮挡住底部缺口，这样做的优点是更加简便快捷，缺点是仅仅在视觉效果上进行了填补和美化，底部依旧会遗漏细节。在拍摄之前，要先进行GoPro相机的设置，因为全景视频要将所有GoPro相机拍摄的画面拼接起来，为了方便拼接，并使画面尽量完整与和谐统一，要求GoPro相机拍摄设置的统一，而GoPro全景相机支架在安装GoPro相机时，是将镜头朝外、触摸屏朝内的，因此要在安装GoPro相机之前，调整GoPro相机的镜头设置、镜头焦距和远近景模式，同时打开蓝牙功能，使用蓝牙链接遥控器与所有GoPro相机，保证后续录制的正常进行。本项目拍摄的全景视频分为两种，第一种是视点固定的全景视频，具体的拍摄过程及注意事项如下：本项目选取中国传媒大学内几处标志性建筑，例如主楼、孔子广场、图书馆等，在这些建筑附近选定一个合适位置，安放GoPro全景相机组支架，将GoPro全景相机组固定在支架上，尽量保证三脚架竖直放置，避免GoPro全景相机组的倾斜，并保持GoPro全景相机组的稳定，拍摄视点固定的全景视频，用于展示标志性地点的景象；第二种是视点移动的全景视频，拍摄方法是选取几条两个标志性建筑之间的路线，将GoPro全景相机组固定在自行车上，通过自行车在所选路线上的行驶，来拍摄视点移动的全景视频，用于直观展示校园标志性地点之间的行走路线，让对校园不熟悉的观看者更便捷的找到自己想要到达的目的地。在两种素材拍摄完成后，就可以使用这些素材来拼接和缝合全景视频了。在拍摄视点固定的全景视频时，首先确保GoPro相机电量充足、储存卡空余位置足够，设置GoPro拍摄属性，将GoPro相机安装在全景支架上，使用蓝牙链接每个GoPro相机与遥控器。然后在所要拍摄的校园地点寻找最佳视点，即拍摄位置，安放GoPro全景相机组支架，将GoPro全景相机组固定在支架上，调整支架高度和相机角度。接着使用蓝牙遥控，控制所有相机同时开始录制视频素材，并数次击掌或播放音乐，此举的目的是在视频开头留下较为清晰的音频资料，方便后续拼接。最后在合适时间使用蓝牙遥控，控制所有相机同时结束录制视频素材，一段全景视频的素材就拍摄完成了。拍摄视点移动的全景视频的过程与以上步骤类似，不过要先将GoPro全景相机组固定在自行车上，在所选路线的起始位置开启GoPro全景相机组进行拍摄，到达所选路线的结束位置后关闭相机，结束拍摄过程。在拍摄过程中，尽量保证GoPro全景相机组的稳定，减少视频拼接难度，提高视频拼接成功率。2.4本章小结在本章中，首先介绍了六目和八目GoPro全景相机组，解释选用它们作为拍摄工具的原因，对比了两种目数的GoPro全景相机组的拍摄视角和优劣，详述了拍摄全进视频的方法和过程。中国传媒大学毕业论文全景视频图像拼接3全景视频图像拼接3.1全景视频拼接工具本项目使用KolorAutopano Video Pro和KolorAutopano Giga这两种软件来进行全景视频的拼接和缝合。图3.1Kolor Autopano Video Pro操作主界面KolorAutopano Video Pro（以下简称AVP）是一款极为优秀的全景视频拼接软件，图3.1是AVP的操作主界面。AVP界面清爽，功能强大，能将多个镜头拍摄的全景视频素材拼接为360度全景视频，并且支持自动创建和缝合；另外AVP更是拥有强大的渲染功能，不但效率快而且占用电脑内存较少，能够直接将拼接的全景视频渲染输出为mp4格式，最大程度上方便用户的使用。图3.2 KolorAutopano Giga操作主界面图3.3 KolorAutopano Giga编辑界面KolorAutopano Giga（以下简称APG）是一款超强的全景图片缝合制作软件，图3.2是APG的操作主界面，图3.3是APG的编辑界面。APG是一款可以将多个图像素材，通过，同时提供许多简化全景图片拼接过程、完善全景图片拼接结果的工具。在编辑界面中，用户可以对视频素材可视化操作，进行视频素材的拖拽移动、水平线的校准、重叠区域特征点的选取等等。AVP主要实现全景视频的预拼接，将素材导入AVP，然后利用视频的音频资料或者动作捕捉匹配时间序列，并实现全景视频的简单拼接，然而AVP的拼接效果一般较为粗糙，而直接在AVP上进行拼接效果的调整也较为复杂，因此需要调用APG完成全景视频的精细拼接。AVP可以将某个帧的图像传入APG，APG将这个帧当作一张普通的全景图片，让用户可以直接进行全景图片的拼接和优化，在拼接完成之后，APG将相应拼接结果告知AVP，AVP根据所得信息重新拼接全景视频，按照时间序列逐帧进行图像拼接，然后进行全景视频渲染输出，就可以得到一个360度全景视频了。联合使用AVP和APG，可以更加方便快捷地拼接全景视频。3.2全景视频拼接过程在拼接全景视频时，首先要进行时间序列的匹配。虽然录制的开始和结束是由蓝牙遥控进行统一控制的，但由于每个GoPro相机与蓝牙遥控的距离并不相等，每个GoPro相机开始录制的时间并不是完全相同的，所以在拼接时，不能直接使用每个视频素材的第一帧进行拼接，这样很容易因为相邻时间错开而出现“鬼影”移动物体突然从画面中消失或者出现的情况。因此，首先要利用音频匹配时间序列，在第二张第四节全景视频拍摄方法中提到的，在开始录制全景视频后进行数次击掌或者播放音乐，就是为时间序列的匹配提供音频依据，通过对音频进行判断，找到每个视频素材时间序列上的相同时间刻度，从而找到时间点匹配的帧。找到每个视频时间点匹配的帧之后，就可以依据这些帧图像进行全景视频的拼接了。全景图像拼接流程分为两个部分，即图像的匹配和图像的无缝拼接5。首先进行图像的匹配，即分析与确定图像的位置，将所有图像摆放到球面投影坐标系当中。先通过图像重合区域的相似性，判断图像之间的位置关系，将相邻图像按照真实空间位置关系摆放，然后在素材的重合区域上，选定数量足够多的特征点，将相同的特征点匹配到一起，然后依据所得的位置关系，重叠重合区域，从而准确匹配两张相邻素材。使用特征点来查找所有图像之间的匹配关系，即可以解决多图像匹配问题，将视频素材缝合为全景图像 10。图3.4是一个选取并匹配特征点的示例。图3.4 选取匹配特征点示例图3.5Kolor Autopano Giga CP编辑器界面图3.5是APG的CP编辑器界面，在此界面就可以进行特征点的选取和匹配。特征点也被成为角点、兴趣点，一般是指在某个全景视频素材中与相邻素材的重叠部分上，相对于此点本身的相邻区域，能够表现出其自身特异性的点，同时此点还应能在相邻全景视频素材的重叠部分上，找到与自身相似的点。通过将特征点和该特征点的相似点对应重叠起来，找准这两个全景视频素材的位置关系，从而实现两张图像的拼接。换言之，重叠区域是实现图像特征匹配的基础，图像匹配具有区域性6。从而实现这两张全景视频素材的拼接。之所以需要选取特征点来进行图像的拼接，是因为特征点能够排除由于视频图像的旋转、扭曲、透视改变等因素的干扰，通过相邻图形重叠区域的精准匹配，更为精确地进行全景视频图像拼接。理论上而言，选取并匹配的特征点越多，拼接效果越好，如果只是单纯手动地进行特征点的匹配和选取，不仅费时费力，拼接效果也难免较差，因此需要找到一种更为便捷的、能够自动进行匹配点选取的方法。而APG通过应用特征点检测算法，提供给用户自动的特征点选取功能，在利用该功能大量选取与匹配特征点后，相应的全景视频图像就能够依据这些特征点进行位置的确定和图像的拼接融合了。实际上，我们在拼接过程中可能会发现部分图像的特征点不能与其相似点完全匹配，这是因为，我们在拼接之前根据音频信息匹配时间刻度时，是可能存在一些误差的，如果差异较大，可以返回时间序列匹配阶段，重新进行匹配，如果差异较小，可以选择性忽略这一问题。因为暂时还没有可以快捷进行时间序列精准匹配的方法，即便花费大量时间手动匹配时间序列，也未必能达到精确的匹配效果，而微小的差异对最终的全景视频质量影响可能并不大，因此我们通常选择忽视些许误差。而由误差带来的图像重叠区域的重影问题，可以通过遮盖、隐藏等方法来消除。全部视频素材的帧图像两两匹配成功之后，即可缝合成为整幅全景视频图像了。图3.6是一个由两个全景视频素材的帧拼接完成后的示例，就是缝合图3.4中两个已经选取匹配点的帧图像得到的图像。图3.6 图像拼接示例此时，虽然已经得到了一副相对完整的全景图像，但拼接工作还没有完全完成。Gopro全景相机组在拍摄时，每个相机所拍摄的方向各不相同，不同拍摄方向的光线条件不同，就会导致不同全景素材的曝光、亮度、色调等因素的差异。在拼接为完整的全景图像后，整个全景图像可能会出现一些明暗交替的现象，甚至会有几条明显的色差分界线，十分影响观看体验。因此还需对全景图像进行亮度与曝光的处理，使整幅全景图像的画面颜色更加均衡，美化全景视频的展示效果。这样一来，全景图像就基本拼接完成了。以拼接完成的全景图像为依据，按照时间序列依次缝合全景视频素材的每帧图像，就可以将全景视频素材缝合为一段完整的全景视频。在完成以上步骤之后，使用AVP进行渲染和输出，即可得到一段可以360度观看的全景视频。3.3拼接效果比较图3.7 六目GoPro全景相机组所摄素材拼接图图3.7是六目GoPro全景相机组拍摄的全景视频的一张平铺截图，拍摄地点是中国传媒大学图书馆正门前的广场，整个画面由六个GoPro相机拍摄的六个画面拼接而成，图中数字为6个视频素材编号，数字所在位置为该视频素材画面的中心，两个视频素材之间的连线表示它们的拼接关系。整个全景图片中明显可见多处缺口，经过渲染之后，输出的全景视频是可以使用全景视频播放器进行360度观看的，但是图中缺口部分都为较为明显的纯黑色，缺失了许多细节，非常影响观看感受，可以说效果并不理想。图3.8 八目GoPro全景相机组所摄素材拼接图图3.8是八目GoPro全景相机组拍摄的全景视频的一张平面截图，拍摄地点是中国传媒大学操场，整个画面由八目GoPro全景相机组和添加的地面GoPro相机拍摄的九个画面拼接而成，图中数字为所拍摄的9个视频素材的编号，数字所在位置为该视频素材画面的中心，两个视频素材之间的连线表示它们的拼接关系。从图中可以看出，整个全景图片拼接较为完好，几乎没有细节丢失，播放效果和观看效果较好，基本达到预期值。对比上面两段视频，可以明显发现八目GoPro全景相机组所拍摄的全景视频素材经过拼接缝合和渲染输出后的全景视频效果要优于六目GoPro全景相机组，虽然八目GoPro全景相机组所拍摄的视频下方图像有所缺失，但是在本项目中，视频下端的内容为地面，并没有重要信息，而且拍摄时增加了一个拍摄下方的GoPro相机，后期也可以增加遮罩图片，所以综合而言，八目GoPro全景相机组拍摄的全景视频效果更佳优异一些。因此本项目在校园全景视频展示系统当中，统一选用八目GoPro全景相机组所拍摄的全景视频进行全景视频展示。3.4本章小结在本章中，首先介绍AVP和APG两种软件和其使用方法，然后对全景视频的拼接步骤进行详述，对比分析两种目数的GoPro全景相机组的拍摄效果，决定使用八目GoPro全景相机组进行后续的全景视频展示。中国传媒大学毕业论文全景视频前端展示技术4全景视频前端展示技术4.1全景漫游实现工具目前，可以进行全景视频漫游的前端设备有许多，包括电脑、手机和VR头盔等等，这三种设备各有特点也各有利弊，例如手机小巧方便，使用触屏或者陀螺仪感知视角变化，能让用户随时随地进行全景视频漫游；VR头盔可以通过对使用者进行头部动作捕捉来判断视角的改变，能够带来高度沉浸式的体验；而电脑使用鼠标或者方向键控制视角转换，拥有更多更丰富的可实现功能。在本项目中，选择在电脑端实现全景视频的网页漫游，以期在较为便捷的情况下在漫游中添加更多功能。本项目实现全景视频的漫游网页的工具为Krpano，使用的语言为Krpano所提供的可以搭建全景漫游平台的脚本语言。Krpano是一款基于Flash的三维全景播放器，功能较为全面，适用面也较广，它性能优良，而且占用内存低，使用起来非常简洁便利，拥有高效率和小体积等优势7。Krpano作为一种基于Flash的可跨平台的播放器，向用户提供了许多交互功能接口，也允许用户自行使用代码编写脚本实现新功能，可以说是当前最受欢迎的，集播放器和播放器编辑功能为一体的全景领域多用途工具。Krpano提供了许多独特功能，除却最基础的允许用户自行在网页中嵌入自己的全景图片、全景视频功能之外，它还支持脚本控制，允许用户自己开发和创新漫游功能，同时还有丰富的接口和插件可以提供给用户选择和使用，使用者甚至也可以自行研发创新，设计出新的插件，实现更全面的全景漫游和展示。实际上，Krpano的目前提供的功能大多是针对全景图片使用的，其中一些功能可以迁移到全景视频上，在网页中嵌入全景视频实现全景视频的网页漫游的方法就是基于网页嵌入全景图片的方法，将全景图片漫游系统进行部分替换和修改，增删更改一些脚本代码，实现全景视频的网页漫游。由于全景视频的用户较少，因此全景视频行业发展还不够完善，相关领域的技术处于初级研究阶段，所以Krpano提供的全景视频网页漫游相关开发文档并不详尽，相关功能接口插件也并不丰富，因此，本项目主要目标是尽量完善地进行全景视频的网页展示，搭建尽量完整的校园全景视频展示系统，以期实现全景视频的便捷展示和校园人文风貌的宣传。4.2全景漫游实现机制若以全景视频前端展示的技术支持来看，电脑、手机等前端设备的全景视频展示皆基于球面模型构建，如下将对全景视频播放器的模型构建及Krpano网页播放全景视频时对内部文件的调用进行介绍。全景视频播放器实现全景视频的播放效果，首先要建立一个球体物理模型，然后将全景视频画面映射到球体模型上8。就像前文所提及的那样，八目Gopro全景相机组中的几个Gopro相机拍摄的全景视频素材画面原本是各自独立的，进行全景视频的拼接缝合之后，实际上只是形成了一个长方形的普通视频，就像图1.1展示的使用普通播放器播放的那样，图像中存在线条的扭曲。而全景视频播放器实现全景视频的漫游，需要将整个视频贴合在球体模型上，这个过程就像是将一张世界地图贴合在地球仪上，在贴合过程中，需要通过坐标变换，将长方形图像的左右两边相接，上下两边无限缩短，缩短为就如同地球的南北极点一样的点，整个画面随之变换，最终在进行全景视频漫游的过程中，线条不再扭曲变形，用户就如同观看真实场景一样，感受到沉浸式全景视频观赏。全景视频漫游页面工作的流程是，首先使用浏览器打开html文件，然后由html文件来打开js文件、swf文件以及xml文件。其中，js文件包含html引擎和JavaScript脚本，由它来保证整个网页的正常运行；swf文件实际上是Krpano播放全景视频所需要的Flach引擎；而xml文件是设置全景视频漫游中的各种属性和各类参数的文件，它使用Krpano脚本语言编写，是实现全景视频漫游最重要的文件，也是本项目用于实现全景视频诸多交互功能的文件。4.3本章小结在本章中，介绍了实现全景视频网页漫游的实现工具，即Krpano三维全景播放器，简要描述了Krpano实现全景视频网页漫游的机制，为后续校园全景视频展示系统的搭建做好前期准备中国传媒大学毕业论文校园全景视频展示系统5校园全景视频展示系统5.1架构设计与功能设计本项目所搭建的校园全景视频展示系统的主要模块有两部分，一部分是校园平面地图，校园平面地图使用html和JavaScript来实现。另一部分是校园全景地图，主要是用Krpano的脚本语言实现全景视频漫游系统，并给用户提供简单的全景视频交互操作。用户在使用校园全景视频展示系统时，可以首先阅读校园平面地图，在校园平面地图上选择自己想要进行浏览的地点，就可以通过超链接打开相应地点的校园全景视频漫游页面进行全景视频的欣赏观看了。同时，用户也可以选择自己想要观看的路线视频，打开相应路线的全景视频漫游，根据全景视频中提供的行走路线来到达目的地址。图5.1校园全景视频展示系统架构图图5.1是校园全景视频展示系统架构图的架构图，如图中所示，校园全景视频展示系统由校园平面地图和全景视频地图组成。校园平面地图展示了中国传媒大学的普通地图，在平面地图上标注了一些点和路线，可以通过在平面地图上选择这些点进行鼠标点击操作，跳转到全景视频漫游页面，进行相应地点的全景视频漫游和欣赏。在全景视频地图中，除了基本的全景视频漫游之外，还有如下几个功能模块：第一个是热点，用于在不同全景视频之间进行跳转，每个热点都可以显示指向的地点名称，用鼠标点击热点，热点图标会有动画效果，同时页面会跳转到指向地点的全景视频漫游。第二个是字幕，可以随时间显示音频的文字信息。第三个是指南针，用于指示当前视角的地理方位，指南针的指针可以随着用户交互产生的视角变化而转动，时刻保持指向当前视角的真实方向。第四个是文本框，可以显示更多文字内容。第五个是皮肤菜单，提供了许多皮肤插件的交互功能。第六个是补地图片，用于遮挡下方三脚架或空白区域。第七个是开场图片，开场即出现，一定时间以后消失，也可以点击关闭。第八个是校园地图，即