（计算机应用技术专业论文）基于帧内编码地理信息视频系统的设计与实现.pdf

浙江大学硕士学位论文摘要 摘要 基于帧内编码地理信息视频系统是一个结合了地理信息系统和视频系统的 综合应用系统。在地理信息和视频结合的需求不断增长的大背景下，本文对现有 的地理信息系统和视频系统的结合应用方式进行了分析，通过对比现有研究的优 缺点，结合地理信息和视频本身的特点，研究了基于帧内编码地理信息视频系统 的设计与实现方法。 本文所研究的基于帧内编码地理信息视频系统的模块主要包括地理信息视 频数据采集编码、视频解码播放、采集模型数据重建和视频片断地理信息检索等 部分。本文研究的地理信息采集编码模块在原有视频采集的基础上，提出了在地 理信息视频中需要采集的相关数据定义，并提出了采集功能的具体实现方法；通 过改造m p e g 2 编解码器，采用帧内编码的方式将地理信息编码在视频的帧数据 中，提高了应用开发的便捷性，并使用t s 封装增加了对网络流服务的支持；在 改造的m p e g 2 编解码器的基础上，提出了在地理信息视频系统中播放器的设计 与具体实现方法；结合地理信息的操作特点，提出了使用采集数据模型对视频以 及视频片断进行检索并播放的方法，并通过g o o g l ee a r t h 进行了实现演示。 关键字：地理信息视频系统，m p e g 2 ，帧内编码，视频检索 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t g e o g r a p h i ci n f o r m a t i o nv i d e os y s t e mb a s e do nf r a m ei n t r a c o d e di sac o m b i n e d s y s t e mw h i c hc o n t a i n e dg i sa n dv i d e os y s t e m i nt h eb a c k g r o u n do fg r o w i n g d e m a n d si nc o m b i n a t i o no fv i d e os y s t e ma n dg e o g r a p h i ci n f o r m a t i o ns y s t e m ，b y c o m p a r i n gt h es t r e n g t h sa n dw e a k n e s s e so fe x i s t i n gs t u d i e s ，c o m b i n e d 晰t hg e o g r a p h i c i n f o r m a t i o na n dv i d e of e a t u r e s ，d e s i g na n di m p l e m e n t a t i o no fg e o g r a p h i ci n f o r m a t i o n v i d e os y s t e mb a s e do nf r a m ei n t r a - c o d e dw e r es t u d i e d m o d u l e so fg e o g r a p h i ci n f o r m a t i o nv i d e os y s t e mb a s e do nf r a m ei n t r a c o d e d i n c l u d eg e o g r a p h i ci n f o r m a t i o nv i d e oc a p t u r ea n de n c o d i n g ，v i d e od e c o d i n ga n d p l a y i n g ，c a p t u r em o d e ld a t ar e c o n s t r u c t i o na n dv i d e oc l i p sr e t r i e v a lu s i n gg e o g r a p h i c i n f o r m a t i o n e x c e p tt h eo r i g i n a lw a yo fc a p t u r i n gv i d e o ，t h ed e f i n i t i o no fr e l e v a n t g e o g r a p h i ci n f o r m a t i o nd a t aa n dc a m e r ad a t ai ng e o g r a p h i ci n f o r m a t i o nv i d e oc a p t u r e f u n c t i o nw a sp r o p o s e d t h r o u g ht h em o d i f i c a t i o no fm p e g - 2c o d e c ，u s i n gi n t r a - c o d e d w a yo fg e o g r a p h i ci n f o r m a t i o ne n c o d e di nt h ev i d e of r a m ed a t a , t h ee f f i c i e n c yo f a p p l i c a t i o nd e v e l o p m e n tw a si m p r o v e d ，a n dn e t w o r ks t r e a m i n gs e r v i c ew a ss u p p o r t e d b yu s i n gt h et sp a c k a g e d e s i g na n di m p l e m e n t a t i o no fag e o g r a p h i ci n f o r m a t i o n v i d e op l a y e rw e r ep r o p o s e du s i n gt h em o d i f i e dm p e g - 2c o d e c 。av i d e or e t r i e v i n gw a y u s i n gt h ec a p t u r em o d e ld a t aw a sp r o p o s e da n dad e m o n s t r a t i o no ft h i sf u n c t i o nu s i n g g o o g l ee a r t hw a ss h o x v n k e y w o r d s ：g e o g r a p h i ci n f o r m a t i o nv i d e os y s t e m ，m p e g 一2 ，f r a m ei n 仃a - c o d e d ， v i d e or e t r i e v i n g 浙江大学硕士学位论文 图目录 图目录 图3 1 基于帧内编码的地理信息视频系统的模块1 4 图3 2 地理信息视频系统数据采集过程示意图1 5 图3 3 视频采集系统角度参数示意图1 6 图3 4g i s 视频系统的地理信息数据存储示意1 8 图3 5m p e g - 2 视频序列数据结构1 9 图3 6 视频播放器的结构图2 2 图3 7 地理信息解码流程2 3 图3 8 视频采集模型构建过程2 5 图3 9 检索命中示意图2 9 图3 1 0 命中判断流程图3 2 图4 1 三维方向上i p h o n e 的重力感应计的轴3 6 图4 2s d l 视音频播放流程。4 2 图4 3 视频播放器对g o o g l ee a r t h 的控制4 4 图4 4 镜头跟踪方式重现拍摄场景4 5 图4 5 检索实验中的视频采集位置4 6 图4 6 检索实验的检索结果4 7 图5 1 视频节目播放客户端架构5 0 图5 2 电视节目地理信息显示效果图5 1 图5 3 多路实时监控系统架构5 2 图5 4 真实游览场景再现应用界面5 3 i v 浙江大学硕士学位论文 表目录 表目录 表3 1g p s 接收模块获得数据类型1 7 表3 2g i s 视频系统需要编码的g p s 数据1 7 表3 3g o ph e a d e r 的码流语言表示2 0 表3 4 视频采集模型中的记录数据结构2 5 表3 5 多路复用实时流采集模型记录的数据结构2 7 表4 1s d l 中涉及视频输出的主要函数和数据结构4 0 表4 2s d l 音频播放相关数据结构和接口函数的说明4 1 表5 1 多路视频监控实施切换相关技术及说明5 2 表5 2 真实游览场景相关技术及说明5 4 表6 1 基于帧内编码地理信息视频系统技术特点5 5 v 浙江大学硕士学位论文致谢 致谢 短暂的硕士研究生的学习生活就要结束，在这两年半的学习生活中，我深深 被浙大的求是精神所激励，不仅自己学识上有所提高，而且自身素质有所提升。 首先我要感谢我的导师何钦铭老师，在整个硕士研究生的学习期间，不 论是在学习上还是生活上，何老师都一直给予我最大的帮助，不仅使我学会了如 何做学问，更使我学会了如何做人。特别是在完成本论文的过程中，何老师那严 谨的治学态度深深感染了我。另外，我还要感谢浙江大学智能软件实验室的陈奇 老师，陈老师在多个实际的应用项目中给予我指导与帮助，使我的项目经验不断 的增加，专业技能不断的提升，非常感谢他。 我还要感谢浙江大学智能软件实验室的徐家、宋国兵、黄浩和潘禹辰，在与 他们的合作中，他们的优秀品质，使我受益匪浅。我还要真诚的感谢何江峰、车 延辙、车建华和钱峰师兄们对我的帮助，他们无私的将自己的项目和学习经验与 我分享，使我少走很多弯路。 我还要感谢深圳华为公司的温长城、许中清、金洪波，上海中茵泰格公司的 冯杰、蔡心亮，与他们的合作使我对整个计算机行业的市场有了新的认识，并从 他们那里学到了很多项目开发和实施的经验。 最后，我要感谢我的父母，是他们含辛茹苦给了我接受教育的机会，是他们 的爱给了我前进的动力；以及千里之外的妻子和将要出世的孩子，是他们的理解 与支持才能使我不断向前，衷心感谢他们。 王志鹏 2 0 1 0 年1 月于求是园 浙江大学硕士学位论文第1 章绪论 第1 章绪论 1 1 地理信息和视频系统结合的需求 随着人们对地理信息的需求量的逐年增加，地理信息系统得到了前所未有的 快速发展。不仅专业从事地理信息研究和系统开发的人员对地理信息感兴趣，随 着越来越多便捷简便的地理信息系统的出现，普通大众也加入了对地理信息追逐 的队伍中来。最为明显的例子，就是g o o g l ee a r t h 和g o o g l em a p 的广泛应用，这 两个系统的发布和推广，使得普通大众也有了近距离获得地理信息，甚至发布添 加地理信息的能力。用户可以在g o o g l e 的服务器中添加地标，标注照片，获取交 通路线，公交信息等等，这无疑大力推广了地理信息系统在日常生活中的应用。 随着这些应用的日渐成熟，另一种应用需求逐步展现出来，就是视频系统和 地理信息系统的结合。在各种应用场景中，都涌现出了这种需求： ( 1 ) 通过地理信息系统扩展视频服务的用户体验 当用户在观看视频节目时，如果这一视频节目内容本身就有很多的“隐含地理 信息”，那么用户就会有一种需求将这种“隐含式的地理信息”展现出来。l l o i - 当 用户观看动物世界节目的时候，背景介绍音经常会出现这样的介绍：“这是发 生在非洲某某草原的一次成功的捕猎”，这段介绍里面“非洲某某草原”就是一个地 理信息，这个信息看似已经定位到了非洲，但实际上，很少有人知道具体的位置 在非洲的哪个区域，因此我们称之为“隐含式的地理信息”。此时，作为普通观众， 非常迫切希望知道这个某某草原到底在什么位置，如果能直观的从地图上标示出 来，对于普通观众来说，将是一种前所未有的用户体验。这就需要地理信息系统 和视频系统的结合。 ( 2 )使用地理信息对视频文件进行检索 普通用户在外出游玩的时候，已经不满足于拍摄相片留念，而是更趋向于进 行视频录制来永久保留自己的记忆。和普通的相片不同，视频录制出的文件，一 般都比较大，随着清晰度的增加，占用的存储空间也会显著增加。这就衍生出另 一个问题，视频文件的管理，由于很多的视频都是外出游玩时录制的，那么当用 户在回顾这些视频时，有很多时候希望通过地理信息来进行检索和管理，用户只 浙江大学硕士学位论文第l 章绪论 关心曾在哪里游玩，然后在地理信息系统中浏览到相关位置时，系统能自动将附 近拍摄的录像标示在地图上，方便用户选择播放。通过地理信息对视频文件进行 检索，也是逐渐展现出来的一种需求。 ( 3 ) 视频监控结合地理信息 在城市交通视频监控系统中，一般采用流技术对监控视频进行传输，在管理 中心需要将视频流和对应的道路信息进行结合才能起到监控、管理、指挥的目的。 当在地理信息系统中选定特定路段时，希望监控系统能及时切换到相应的视频传 输流上，在多路视频监控流同时传输的系统中，这种需求变得越来越强烈。在移 动监控设备传输回来视频数据的同时，也需要明确监控设备当前的地理位置及工 作状态，这些需求都需要地理信息系统和视频系统的结合。 1 2 国内外研究现状 最近几年，国内外很多学者在相关研究和实践项目中都提出了将地理信息和 视频进行结合的方法，并提出了具体应用中对视频进行检索以及地理信息和视频 进行交互操作的方法。主要有以下几种方案和设计： 2 0 0 0 年，b e r r y 提出了在视频的一个声道中精确记录地理位置和对应时间数 据的方法川。 2 0 0 1 年，唐冰和周美玉提出了基于视频图像的既有线路地理信息系统【2 】。该 系统的最主要的应用就是记录铁路或者公路沿线的设施和附属物，方便铁路部门 和公路部门对既有线路进行管理。技术关键在于将视频帧号和路线里程相对应， 存储于帧号里程数据库中，当用户输入对应里程进行查询时，数据库输出帧号， 由播放器按当前指定帧号进行播放，并通过当前播放的帧号来校正数据库中的里 程，从而获得更加准确的地理信息位置。 2 0 0 2 年，n a v a r r e t e 提出了建立视频片断的地理索引的方法【3 】，即将视频片断 和地理信息相结合，生成在地理信息系统中调用的超视频。建立地理信息索引的 方法就是生成一个帧相关的x m l 文档，其中，每一个帧记录都含有坐标属性， 但是其没有对如何取得这些数据以及如何管理和存储这些数据给出详细设计。 2 0 0 4 年，k i mkh 提出了视频地理信息系统的概念【4 】，即把视频本身作为一 个地理信息系统，基于视频本身进行地图浏览、查询等地理信息操作。提出了将 2 浙江大学硕士学位论文第1 章绪论 视频流、地理信息、摄像机信息共同存储的数据源，并设计两种服务器一地理 服务器和视频服务器来访问这个共同的数据源来进行不同的操作。 2 0 0 4 年，j o oih 等提出了通过视频地图交叉引用以及双向搜索技术对视频 和g i s 进行整合【5 1 。通过对视频帧中出现的物体进行辨别，提供了基于内容对视 频进行检索的支持。 2 0 0 6 年，赵祥模等提出了基于g p s 的公路视频影像系统【6 】。提出了基于g p s 坐标的里程推算算法，有效地控制了里程误差，将g p s 信息引入了地理信息视频 系统中。在里程和视频帧号对应的基础上又增加了g p s 信息的对应，增加了地理 信息和准确性，并将这些对应信息存储于关系数据库中。 2 0 0 7 年，丰江帆等提出了基于g p s 与g i s 的视频直播系统【1 7 1 。该系统第一 次将g p s 的数据编码在视频中，采用m p e g 4 的编码格式，在实时获取视频图像 的同时，将g p s 数据( 包括时间，经纬度，卫星数，海平面天线高等) 统统写入 脚本命令并增加在m p e g - 4 编码中。 2 0 0 7 年9 月，郭浩，孔云峰提出了视频g i s 数据采集系统的设计与实现【8 】。 提出了视频g i s 建立空间位置和视频帧图像之间内在关联，支持地图与视频之间 的交互操作的概念。同样是纪录g p s 数据和视频文件的帧数，在生成a v i 视频文 件的同时，生成一个t x t 格式的空间信息视频索引文件。 2 0 0 8 年，邹永贵等提出了基于多模态元数据的v i d e og i s 解决方案【9 】。第一 次提出了v i d e og i s 中的视频与普通视频的不同之处在于每帧视频在采集的时候 都通过实时编码加入了g p s 定位信息。但是其主要的实现方式却是将g p s 接收 机接收到的空间定位信息作为数据填充，增加在a s f 视频文件容器中，并没有真 正和视频本身编解码融合。 从国内外的研究现状，可以看出，将视频系统和地理信息进行结合，目前分 为以下两个主流方向：一是将视频的帧位置和地理信息位置对应，将这个对应数 据存储在外部数据库或者外部文件中；二是在视频采集的过程中产生该对应数 据，但是编码在视频文件本身中。随着技术方案的提出，也有很多应用使用了将 地理信息和视频进行结合的方法。在车载移动视频指挥系统中【1 0 】，城市道路交通 智能管理系统中【l l 】，以及视频监控结合g i s 在森林防火中的具体应用f 1 2 】，将地理 信息和视频结合产生的应用系统更是会对我们的日常生活带来可喜的变化【1 3 j 。 浙江大学硕士学位论文 第1 章绪论 1 3 本文的工作和创新 基于帧内编码的地理信息视频系统首先应该是一个视频系统，即包含视频系 统的主要功能：视频的采集编码、解码播放、以及视频文件的管理。本文的研究 工作主要是：基于帧内编码地理信息数据，将地理信息与视频系统应用相结合。 具体包括：地理信息和视频的采集与编码、地理信息和视频的解码与播放、含有 地理信息数据视频文件以及视频片断的检索。 ( 1 ) 本文对m p e g 2 标准进行了研究，提出了在m p e g 2 的帧内编码中添加 地理信息数据的方法。本文对视频采集设备工作的原理进行了研究，结合地理信 息的特点，提出了编码在视频帧中的地理信息数据的定义以及具体存储结构。并 结合实际应用中的软硬件条件，对地理信息数据的采集方式进行了研究。 ( 2 )本文对传统的视频播放器的工作原理进行了研究，结合地理信息的特点， 提出了基于帧内编码地理信息视频系统的播放器的设计与具体实现方法，以及解 码地理信息数据并进行应用的方法。 ( 3 ) 本文对使用地理信息的检索方式进行了研究，提出了地理信息视频采集 模型重建的方法，以及通过地理信息视频采集模型对地理信息视频和视频片断进 行检索的方法。 本文的创新点主要在于：将地理信息编码在视频帧数据中，真正将视频图像 和地理信息数据融为一个新的对象带有地理信息的图像。在对视频流进行解 码的同时，自然就解码并获得了地理信息数据，对于播放时使用地理信息数据来 说，和普通的播放过程相比，几乎没有多余的开销，而且通过采集模型的重建， 对比传统的使用语音识别、图像处理建立的检索库【1 4 】，本文研究的系统也可以快 速的对视频文件或者视频片断进行检索，大大提高了视频系统和地理信息系统交 互操作的效率。 本文提出的编解码方法具有很高的兼容性，使用本文介绍的编解码器编码的 含有地理信息数据的视频，使用普通的播放器也可以进行播放，使用本文介绍的 编解码器开发的播放器，也可以对普通的视频进行播放，这种特性可以大大拓宽 应用的范围。 4 浙江大学硕士学位论文 第1 章绪论 1 4 本文的内容安排 本文第二章主要介绍了基于帧内编码的地理信息视频系统的概述，首先分析 了一个地理信息视频系统的组成结构以及概念，接下来对视频系统的功能进行定 义，介绍了视频编解码的相关技术，并介绍了目前主流的视频服务方式，接着介 绍了地理信息系统和视频系统的结合的趋势及交互方法，最终结合地理信息的特 点，介绍了帧内编码地理信息的相关技术特点。 本文第三章详细阐述了基于帧内编码的地理信息视频系统的设计过程，以及 设计细节。在给出整个系统功能模块划分后，依次给出了每一个模块的具体设计， 以及相关的数据模型定义。并在最后介绍了视频播放和地理信息系统交互操作的 方式。 本文第四章详细阐述了基于帧内编码的地理信息视频系统的具体实现过程， 阐述了在现有硬件条件和软件条件下，实现基于帧内编码的地理信息视频系统的 方法，以及在最后对使用地理信息系统和视频播放系统的联动进行了演示介绍。 本文第五章列举了使用基于帧内编码的地理信息视频系统的具体应用示例， 展现了本文提出的系统在各个应用方面的优秀表现，并阐述了不同的应用场景对 本系统的应用方式。 本文第六章对全文进行了总结与展望，总结本文提出的新系统的优缺点，以 及对本文提出的系统的未来发展趋势和广泛的应用前景进行了展望。 5 浙江大学硕士学位论文第2 章基于帧内编码地理信息视频系统概述 第2 章基于帧内编码地理信息视频系统概述 2 1 地理信息视频系统 所谓地理信息视频系统，是将视频系统和地理信息系统二者进行充分结合形 成的一套完整的系统，其功能在包括视频系统的传统应用功能和地理信息系统的 传统应用功能的基础上，还增加了两个系统进行交互操作、互相访问控制等功能， 使二者结为一体，作为一套独立的系统供应用平台使用。目前在国内外对此的研 究尚处于起步阶段，我们不仅要考虑如何将两套系统进行有效结合，而且在各自 系统设计时，还要充分考虑到对于另一套系统的交互操作的便捷性。 2 2 视频系统功能概述 作为一套视频系统，其功能主要包括视频的采集和编码、视频的解码及播放 以及视频的管理等三个部分。其中，视频的管理主要是要实现对视频文件以及视 频片断的检索功能，使用户可以在大量的视频数据中快速找到自己需要的视频片 断，并且还包括如何向用户提供视频服务等功能。 2 2 1 采集与编码 当使用视频采集设备获取到视频信号后，其数字化后的数据带宽很高，通常 在2 0 m b ，秒以上，因此很难对其进行保存和再处理，采用压缩技术以后通常数据 带宽会下降到1 1 0 m b 秒，此处的压缩技术就是视频编码技术。 目前视频流传输中最为重要的编码标准有国际电联的h 2 6 1 、h 2 6 3 、h 2 6 4 以及运动静止图像专家组的m j p e g 和国际标准化组织运动图像专家组的m p e g 系列标准，此外在互联网上被广泛应用的还有r e a l n e t w o r k s 的r e a lv i d e o 、微软 公司的w m v 以及a p p l e 公司的q u i c k t i m e 等。 一个视频文件是由编码好的数据包经过封装以后形成的，也就是说文件格式 和编码格式是两个不同的概念，在同一种视频文件格式的视频文件中，可以有不 同的编码格式，视频文件是一种容器，将编码好的视频流和音频流甚至数据流整 合到一起形成一个完成的文件，但是原始视频流形成编码视频流的过程才是真正 6 浙江大学硕士学位论文第2 章基于帧内编码地理信息视频系统概述 需要进行编码的过程。 r e a lv i d e o 格式由r e a ln e t w o r k s 公司开发，其开发时的定位就是视频流的应 用，因此r e a lv i d e o 可以在窄带网络带宽的条件下无间断的连续播放视频，但是 同时也牺牲了画面质量，同时r e a lv i d e o 还存在颜色还原不准确的问题。 微软的w m v 由于要依赖w i n d o w s ，因此其在视频点播机业务中难以被广泛 使用，因为使用w i n d o w s 系统意味着机顶盒的造价会大大增加，并且在使用w m v 的过程中，用户由于需要启用i e 下载证书及许可证，经常会受到木马病毒等的攻 击。 q u i c kt i m e 是苹果公司提供的系统及代码的压缩包，应用程序可以通过q u i c k t i m e 来生成、显示、编辑、拷贝、压缩影片和影片数据。 m p e g 1 标准主要针对s i f 标准分辨率的图像进行压缩，其在实时压缩、处 理速度上虽然比m j p e g 有显著的提高，但是仍然存在存储容量过大，不便于网 络传输和清晰度不高等问题。 m p e g 2 是对m p e g 1 的扩充和提高，并且向下兼容m p e g 1 标准，主要针 对存储媒体、数字电视、高清晰视频等应用领域。m p e g 2 被称为“2 l 世纪的电 视标准，【1 5 】。 m p e g 4 标准并非m p e g 2 的替代品，它着眼于不同的应用领域。m p e g 4 在制定时主要是针对视频会议、可视电话超低比特率压缩的需求。但在制定过程 中，m p e g 组织深深感受到了人们对媒体信息，特别是对视频信息的需求由播放 型转向基于内容的访问、检索和操作类型，因此m p e g 4 标准支持基于内容对视 频的检索和操作。虽然m p e g - 4 标准具有诸多的优点，但是对于中国企业来说还 要面临高昂的专利费问题，目前规定：每台解码设备需要交给m p e g l ao 2 5 美 元；编解码设备还需要按时间交费( 4 美分天) 。 h 2 6 4 是一种高压缩率的视频编码技术，对于一个2 小时左右的高清视频节 目来说，使用m p e g 2 最小只能压缩至3 0 g b ，而使用h 2 6 4 在画面质量没有下 降的前提下，可以压缩到1 5 g b 以下，但是1 4 2 6 4 的优越性是以计算复杂度的大 大增加为代价的【1 6 】。 编码后的视频流汇同音频流和数据流经过某种封装格式进行封装就形成了 视频文件，根据应用场景的不同，采用不同的封装格式对编码好的流进行封装。 7 浙江大学硕士学位论文第2 章基于帧内编码地理信息视频系统概述 2 2 2 解码及播放 在前一节中提到的各种编码格式，都是完整的标准，其中也定义了解码各种 编码视频流的方法。根据不同的视频文件封装格式从视频文件或者视频流中获得 编码视频流，此时可以通过相应的解码器对编码视频流进行解码，从而获得原始 的图像。在获得原始的图像后，可以将图像显示在播放器的窗口中，当一个视频 流的帧率为2 5 f p s 时，意味着在一秒钟的时间内，需要更新2 5 次播放器窗口图 像，因此将连续的2 5 帧静止的图像在一秒钟匀速显示在播放器窗口中，就获得 了一秒钟的运动视频。 在解码出视频图像并进行显示的过程中，还需要考虑音频的播放与视频播放 的同步问题，对于音频播放来说，一个音频流有一个采样率，可以根据采样率在 特定的时间内播放固定数量的音频采样数据包，就能还原编码好的音频数据。但 是由于解码视频和解码音频需要的时间不同，如果仅仅依靠帧率和采样率分别控 制视频和音频的播放，则很容易造成视音频的不同步，因此在视频流中除了帧率 外，在每一帧数据中还包括有d t s 和p t s 两个变量，d t s 指出了该视频帧解码 的时间，p t s 指出了该帧显示的时间点，因此我们可以通过p t s 的值来与音频播 放的时间顺序进行比较，从而对接下来的视频播放速度进行相应调整，从而达到 视音频同步的目的。 2 2 3 视频服务 目前对视频的检索通常是基于文字匹配的检索方式，从应用的角度出发，视 频系统的最终目标是提供基于内容的检索。目前基于内容对视频的检索仍处在起 步阶段，没有一个较为完善的系统能够将基于内容的检索很好的结合在实际应用 中。本文提出的基于帧内编码的地理信息视频系统支持通过地理信息进行视频的 检索，对于地理信息视频来说，这就是一种基于内容的检索，这种检索方式有很 庞大的应用空间。 随着网络应用的迅速发展，现在越来越多的视频服务被放在了网络中进行， 与原来下载后进行观看的用户体验不同，流媒体服务器可以让用户在线实时观看 视频，这在很大程度上增加了网络用户对于视频服务的体验。作为客户端，其与 流媒体服务器进行交互的基础就是r t s p 协议1 1 7 1 ，该协议定义了很多命令，可以 8 浙江大学硕士学位论文第2 章基于帧内编码地理信息视频系统概述 将用户对客户端的命令输入转变为r t s p 指令发送到服务器，由服务器来处理这 些指令并传送相应的视频数据包到客户端，客户端只需负责解码播放。比如，暂 停、快进、快退、跳转等播放命令都是通过服务器来进行响应。 2 3 地理信息系统与视频系统的结合 在地理空间中拍摄的视频图像本身就包含了大量的地理信息数据，但是对于 传统的视频系统，却无法获得和利用这些地理信息数据，因此在很多的应用中， 将视频和地理信息系统相结合的做法得到了越来越多的使用。 主要有两种系统结合的方式：一种是将视频数据作为地理信息的一个附属属 性存储于地理信息系统中；另一种是将地理信息数据作为附属属性存储于视频系 统中。 在目前的研究和应用中，这两种方式都有所体现，但是视频本身往往容量很 大，而且管理不便，把视频直接集成在地理信息系统中会造成系统负担的大大增 加，因此本文采取的方法，是两个系统的结合与交互操作，而不是谁包含谁的关 系，在系统设计时，预留了相互操作的接口，使得两个系统在独立运行的基础上， 能够进行互动。 ( 1 ) 地理信息系统与视频系统交互操作方式 视频系统对地理信息系统的交互操作主要是在进行视频播放的同时，能够感 知视频内容中包含的地理信息数据，并通过地理信息系统对这些数据进行显示或 者标注等操作。而地理信息系统对视频系统的交互操作主要是指在地理信息系统 中，可以方便的对视频文件以及视频片断进行管理和检索，通过地理信息数据作 为关键字可以快速的检索到相关的视频内容。 ( 2 ) 地理信息视频系统应用场景 地理信息视频系统的应用场景非常广泛，在视频监控领域，监控摄像头采集 的数据始终希望和地理信息数据进行结合，方便对监控内容的辨识和管理。在地 理信息数据采集应用中，直接使用视频采集设备对道路或者某一地区周边的地貌 特征进行采集比传统的拍照和记录要更直观，更具有真实性。 9 浙江大学硕士学位论文第2 章基于帧内编码地理信息视频系统概述 2 4 帧内编码相关技术 本文研究的地理信息视频系统主要采用了帧内编码的技术，将地理信息数据 通过帧内编码的方式编码在视频流的帧数据中。帧内编码技术依赖于m p e g 2 标 准和t s 流封装。 2 4 1m p e g 2 标准 采用m p e g 2 编码格式对原始视频信号进行编码后的帧数据中包括三种类型 的帧：i 帧、b 帧、p 帧。i 帧就是帧内编码的关键帧，所谓帧内编码就是指使用 j p e g 静态图像压缩算法对该帧数据进行解码就可以获得一个完整的图像，而p 帧和b 帧的解码则需要使用其它帧数据才能获得完整的图像，p 帧叫前向预测帧， 它需要与其前面的一个解码后的帧同时解码才能获得完整的图像，b 帧叫双向预 测帧，它需要与前后两个解码后的帧同时解码才能获得完整的图像。 因此在包含有b 帧的视频流中，就会出现d t s 与p t s 不一致的现象。并且 b 帧的压缩时间是i 帧的三倍，因此我们要平衡压缩率和压缩时间之间的关系， 保证最高的压缩效率，一般连续b 帧的数量为2 。 编码好的帧通常包含在g o p 中，一个g o p 可以包含多个帧，一个视频流有 多个g o p 。g o p 的大小一般取9 帧、1 2 帧和1 5 帧，并且在一个g o p 中只有一 个i 帧关键帧，由于本文提出的基于帧内编码的地理信息视频系统就是要将地理 信息和帧内编码的i 帧相对应，因此也就是和一个g o p 相对应。 由g o p 形成的视频序列加视频序列头就形成了编码好的视频流e s ，通过打 包操作就形成了p e s 流【1 8 j 。应用程序可以通过不同的应用场景需求对p e s 流进 行封装，不定包长的p s 封装格式应用于存储领域，固定包长的t s 格式应用于网 络传输领域。 2 4 2t s 封装格式 t s 是t r a n s p o r ts t r e a m 的简称，是对使用m p e g 一2 编码格式编码好的视音频 文件的一种封装格式，用于网络传输。t s 流由多个t s 包组成，每个t s 包都包 括一个t s 包头，和一个t s 载荷，一个t s 包是固定大小的1 8 8 k b e l 们。m p e g 2 之所以被称为“2 1 世纪的电视标准，f 1 5 】，t s 功不可没，因为在t s 的封装定义中， 1 0 浙江大学硕士学位论文 第2 章基于帧内编码地理信息视频系统概述 加入了对多路复用以及节目表等特性的支持，这些对于电视节目的传输都是非常 重要的。 t s 流中可以包括视频流、音频流以及数据流，在一个t s 流中除了传送视音 频数据外，一般还传送一些表数据，这些表就是p s i ( p r o g r a ms p e c i f i c i n f o r m a t i o n ) ，有4 种p s i 表- p a t 、p m t 、c a t 、n i t 2 们。其中对于m p e g 2 节目流来说只关心p a t 和p m t 两种表数据。 每一个在t s 封装中的数据流都有一个唯一的标识i d 就是p i d ( p r o g r a mi d ) ， 我们使用该值来区分和辨别不同的流数据【2 1 1 。其中，包含p a t 表数据的流的p i d 始终为0 x 0 0 0 0 ，因此当我们在获得p i d 为o 的包数据时，我们就获得p a t 表结 构，该结构中的数据列出了所有的在当前t s 流中包含的节目，每一个节目都有 一个1 6 位的节目号，并且对应一个p i d ，该p i d 是与当前节目对应的p m t 表所 在流的p i d ，因此当我们需要播放或者获得某一个节目的视音频数据时，我们通 过p a t 查找该节目的p m t 所对应的p i d ，然后根据该p i d 值获得p m t 表，在 p m t 表结构中，记录了该节目包含的视频流的p i d 和音频流的p i d 以及其他对 应数据流的p i d 。 在获得了一个节目中的所有视频流p i d 和音频流p i d 后，即可以获取相应 p i d 对应的流数据包进行解码播放。本文提出的基于帧内编码地理信息视频系统 使用t s 对视频文件进行封装，方便今后网络传输等需求。 2 4 3 视频相关的地理信息内容 使地理信息系统和视频系统相结合，必须使二者在数据层有数据融合，本文 提出的是将地理信息数据编码到视频文件中的方法。但是，地理信息数据是一个 庞大的数据集合，其数据结构在不同的应用场景都有着不同的定义和大小，应该 选择性的结合视频采集本身的特定，使用最相关的数据编码在视频中。 对于视频采集设备来说，其在工作时处在一个地理空间范围内，所以采集设 备的地理位置信息是必需的，由于采集设备是处在一个连续的工作状态中，因此 无需获得采集设备运行时的速度、行进方向等信息，因为每一帧的编码中都含有 地理位置信息，速度和行进方向等信息已经隐含在了其中，其次采集设备目前可 能还无法做到同一时间3 6 0 度全方位采集视频数据，因此采集设备的工作状态参 数也是必须的，比如拍摄角度、焦距位置以及视角范围等数据。 浙江大学硕士学位论文第2 章基于帧内编码地理信息视频系统概述 2 5 本章小结 本章是对基于帧内编码地理信息视频系统的概述，首先给出了该系统的概 念，并描述了系统的组成和对传统视频系统以及地理信息系统的改进，并介绍了 基于帧内编码使用的m p e g 2 标准以及t s 封装格式，并对地理信息数据和视频 相关的内容部分做了介绍。 1 2 浙江大学硕士学位论文第3 章基于帧内编码地理信息视频系统的设计 第3 章基于帧内编码地理信息视频系统的设计 基于帧内编码的地理信息视频系统是一套将视频播放和地理信息系统进行 结合应用的系统。在越来越多的地理信息应用系统中，用户更希望能通过视频播 放这种直观的信息获取手段来对传统的地理信息进行观察和管理。 本文的研究目的，就是开发一套能将地理信息和视频播放进行结合的完整系 统，与传统的地理信息视频的做法不同，本文研究得系统并没有将视频作为普通 地理信息的附属属性，而是将视频系统和地理信息系统作为两个并行的系统进行 结合，并能够最大程度上进行交互操作。 3 1 系统功能设计与模块划分 3 1 1 本系统的功能 本系统的功能设计主要体现在两个方面，第一、当进行视频播放的过程中， 地理信息系统应该与视频系统进行联动，也就是在对播放进行控制的同时，地理 信息系统同时会做出反馈响应，以提高视频播放用户的操作体验：第二、当对地 理信息系统进行操作时，希望能及时得通过视频播放效果来提高对传统地理信息 系统进行操作的用户体验。 可以看出，这两个系统的结合，不是谁附属于谁的关系，而是并行的，互为 辅助的，同时为了增加用户体验而进行的设计。本文介绍的系统最终应该是集视 频采集、视频编解码、视频播放、地理信息采集、地理信息与视频整合、地理信 息查询、视频播放反馈等功能为一体的地理信息视频系统。 3 1 2 本系统的模块划分及架构 依照3 1 1 节中介绍的功能特性，本文对基于帧内编码的视频系统做出了以 下设计，主要包含五个功能模块：视频与地理信息采集编码模块，视频播放及地 理信息数据解码功能模块，地理信息对视频流进行检索的查询模块，使用地理信 息对视频文件进行管理的管理模块，视频系统和地理信息系统进行交互的接1 2 。 如图3 1 所示： 浙江大学硕士学位论文第3 章基于帧内编码地理信息视频系统的设计 网络传输 本地存储 图3 1 基于帧内编码的地理信息视频系统的模块 ( 1 ) 视频地理信息采集编码模块 通过视频采集与地理信息采集模块进行原始数据输入，并对图像数据和地理 信息数据同时编码，编码后的数据可以存储于本地，也可以作为网络流进行实时 发送。流媒体服务器的设计相对成熟，并且在本系统中使用的流媒体服务器和传 统的流媒体服务器并没有实质区别，因此本文不对流媒体服务器的设计作介绍， 而只对使用地理信息对流媒体的检索过程做出设计。 ( 2 ) 视频播放及地理信息数据解码模块 对视频数据的解码来进行视频的播放，对地理信息数据的解码可以供地理信 息系统互动接口调用，也可以用来对视频采集模型进行重构。 ( 3 ) 地理信息对视频流的检索模块 使用重构的视频采集模型对视频流的检索就是对多路复用实时流的实时切 换，并在切换后，将实时流数据传入解码播放模块进行解码播放以及地理信息的 解码利用。提供地理信息调用的接口，方便用户通过地理信息系统进行检索操作。 ( 4 ) 地理信息对视频文件的管理模块 使用重构的视频采集模型可以对本地视频文件以及视频片断进行检索，并结 合采集模型的重构，对新的视频进行管理。提供地理信息系统接口，方便用户通 过地理信息系统对视频文件和视频片断进行管理和检索。 ( 5 ) 地理信息系统和视频系统的交互接口模块 通过这个接口，将地理信息系统和视频系统结合起来，可以相互调用，交互 操作。真正实现了地理信息视频系统的架构。 接下来的几节中，分别介绍五个模块的功能设计方法。 1 4 浙江大学硕士学位论文 第3 章基于帧内编码地理信息视频系统的设计 3 2 视频与地理信息的获取及编码 地理信息和视频采集以及编码过程如图3 2 所示，主要分为两步：首先将视 频采集设备获取到的视频流输入到m p e g 2 编码器的输入端，并将视频采集设备 的状态参数汇同g p s 定位系统产生的地理信息数据组成地理信息流也输入到 m p e g 2 视频编码器的输入端；其次将自定义的地理信息数据和视频采集的图像 数据进行编码形成e s 流，并经过打包最终形成t s 流。 视频采集系统g p s 定位系统 视频流 信息流 图3 2 地理信息视频系统数据采集过程示意图 由于实时编码需要大量的系统开销，因此在使用实时采集系统进行视频采集 和地理信息采集时，需要使用缓冲区来避免编码的系统开销可能造成的视频帧和 地理信息的不同步，以及视频帧和编码时间的不同步。 3 2 1 获取视频采集设备性能参数 摄像机本身也处在一个空间地理中，在这个特定空间地理中，自身的地理信 息对于拍摄内容来说具有极其重要的意义。因此，要使用g p s 定位系统来获得摄 像机工作状态下的具体地理位置等信息。并且，由于摄像机工作方式的特殊性， 目前普遍使用的摄像机都是单向镜头取景拍摄，因此无法在同一时间纪录特殊地 点的全景图像，为了使获得的图像和地理信息更好的结合、数据能被更合理的应 浙江大学硕士学位论文第3 章基于帧内编码地理信息视频系统的设计 用，在纪录g p s 定位数据的同时，还要纪录摄像机工作状态参数，这些参数主要 包括4 个角度，如图3 3 所示，分别为：a 1 3 y 8 。 拍摄角度拍摄视角 图3 3 视频采集系统角度参数示意图 定义：a 视频采集设备拍摄方向相对于地球地级正北的角度，范围为0 - 3 6 0 度；p 视频采集设备拍摄方向相对于与地面水平面垂直的直线的夹角；丫视频采集 设备的纵向视角；6 视频采集设备的水平视角。 对于目前普遍使用的摄像机来说，y 6 两个角度主要由镜头参数和当前焦距以 及成像设备尺寸决定，因此对于普通摄像机，这两个参数可以通过镜头参数和焦 距位置来计算，由于数码摄像机的c c d 等成像设备的尺寸是固定的，那么可以 得出以下两个计算公式： 公式：厂：2 a r c s i l l 生h ：2 a r c s i n 二竺，- 。 2 f2 f 其中：h 代表成像设备的高度，w 代表成像设备的宽度，f 代表当前焦距 拍摄角度0 【p 通过普通的摄像机无法获得，必须加装特殊的感应模块。对于p ， 可以通过加装重力感应计，通过计算获得这个角度；对于o 【，可以通过加装地极 感应器来获取这个参数。对于正北这个概念，通常想到的就是指南针的应用，但 是传统的指南针指向的是磁极正北，而不是地极正北，地极和磁极在一定误差范