（通信与信息系统专业论文）移动视频监控系统中的视频信息叠加和传输处理.pdf

浙江工业大学硕士学位论文 移动视频监控系统中的视频信息叠加和传输处理 摘要 当前，无线网络通信技术快速发展，使得移动视频监控系统的应用得到普及。随着国 内3 g 网络建设的日趋完善，尤其是h 2 6 4 等高效压缩技术的出现，以及o s d 技术的成熟， 移动视频监控已成为当前监控市场的一大热点。因此，对移动视频监控系统的视频信息叠 加和传输处理进行研究具有重要意义。 本文详述了移动视频监控系统中的视频信息叠加与传输处理的设计与实现，经过测试 表明，本项目具有不错的实用性。 本文首先分析了国内外的发展现状及应用前景，重点介绍了相关的关键技术，包括本 系统所需的交叉编译环境、系统的总体架构、流媒体通信技术，以及s i p 通信协议，为本 系统的开发奠定基础；之后介绍了o s d 技术，包括硬件叠加和软件叠加，硬件叠加主要 介绍了基于t w 2 8 3 5 芯片的o s d 实现，而软件叠加则介绍了时间、g p s 信息、报警信号 的叠加实现，并对其在客户端的显示效果做了简单比对；最后描述了r f c 3 9 8 4 传输协议的 实现，介绍了h 2 6 4 压缩技术的数据结构、编码数据格式及其解码实现，重点讲述了h 2 6 4 格式数据的r t p 封装与发送、客户端的n a l 包重组，以及因网络时延和丢包所产生的马 赛克现象的解决。 关键词：移动视频监控，叠加，o s d ，r t p ，h 2 6 4 浙江工业大学硕士学位论文 v i d e oo v e r l a ya n dt r a n s m i s s i o n p r o c e s s i n go fm o b i l ev i d e os i 丁r v e i l l a n c e s y s t e m a b s t r a c t a tp r e s e n t , t h ew i r e l e s sn e t w o r kc o m m u n i c a t i o nt e c h n o l o g yh a sb e e nd e v e l o p i n gr a p i d ， a n di th a sm a d em o b i l ev i d e os u r v e i l l a n c es y s t e mu s e dw i d e l y w i t ht h em a t u r i n gd o m e s t i co f 3 gn e t w o r kc o n s t r u c t i o n ，e s p e c i a l l yt h ea p p e a r i n go fh 2 6 4 ，t h em o b i l ev i d e oh a sb e c o m eah o t t o p i co ft h ec u r r e n ts u r v e i l l a n c em a r k e t t h e r e f o r e ，d a t ap r o c e s s i n ga n dt r a n s m i s s i o no ft h e m o b i l ev i d e os u r v e i l l a n c es y s t e mi si m p o r t a n t t h i sp a p e rd e t a i l st h ed e s i g na n dr e a l i z a t i o no fv i d e od a t ap r o c e s s i n ga n dt r a n s m i s s i o nt o m o b i l ev i d e os u r v e i l l a n c es y s t e m ，a n dt h ea c t u a lt e s ts h o w st h a tt h ep r o j e c th a ss p e c i f i cu t i l i t y f i r s t l y , t h i sp a p e ra n a l y z e st h ed e v e l o p m e n ta n da p p l i c a t i o np r o s p e c t sa th o m ea n da b r o a d ， f o c u s i n go nt h ek e yt e c h n o l o g i e s ，i n c l u d i n gt h ec r o s s c o m p i l e re n v i r o n m e n to ft h es y s t e m r e q u i r e d ，t h es y s t e m so v e r a l la r c h i t e c t u r e ，s t r e a m i n gm e d i ac o m m u n i c a t i o nt e c h n o l o g y , a sw e l l a st h es i pc o m m u n i c a t i o np r o t o c 0 1 t h e s eh a v el a y e dt h ef o u n d a t i o nf o rd e v e l o p m e n to ft h e s y s t e m t h e n , t h i sp a p e ri n t r o d u c e st h eo s dt e c h n o l o g y , i n c l u d i n gh a r d w a r eo v e r l a ya n ds o f t w a r e o v e r l a y h a r d w a r eo v e r l a ym a i n l yp r e s e n t st h er e a l i z a t i o no fo s d b a s e do nt h et w 2 8 3 5c h i p ； s o f t w a r eo v e r l a yr e c o m m e n dt h er e a l i z a t i o no ft i m ei n f o r m a t i o n ，g p si n f o r m a t i o na n da l a r m s i g n a l ，a n di th a sm a d eas i m p l ec o m p a r i s i o no ft h ec l i e n t sd i s p l a y f i n a l l y , t h i sp a p e rd e s c r i b e st h ei m p l e m e n t a t i o no ft h er f c 3 9 8 4t r a n s m i s s i o np r o t o c o l ，a n d d e t a i l sh 2 6 4c o m p r e s s i o nt e c h n o l o g ya b o u td a t as t r u c t u r e ，c o d i n ga n dd e c o d i n g a tt h es a m e t i m e ，i th i g h l i g h t st h er t pe n c a p s u l a t i o na n ds e n d i n ga b o u th 2 6 4f o r m a td a t a , a n dt h e r e o r g a n i z a t i o no fn a lp a c k a g e i na d d i t i o n ，i tr a i s e sam e t h o dt or e s o l v et h em o s a i c p h e n o m e n o nc a u s e db yn e t w o r kl a t e n c ya n dp a c k e tl o s s k e yw o r d s ：m o b i l ev i d e os u r v e i l l a n c e ，o v e r l a y , o s d ，r t p , h 2 6 4 浙江工业大学硕士学位论文 第1 章绪论 1 1 课题研究的背景和意义 随着社会的发展，生活水平的提高，人们的安全防范意识逐渐加深，对自身的生活环 境、工作场所、娱乐场馆的安全度要求也越来越高，安防业也随之快速增长。而其中作为 安防业的重要组成部分，移动视频监控产业也得到了快速发展。据统计，近几年国内视频 监控市场发展迅猛，仅0 9 年市场规模就同比增长了1 1 2 【l 】，达到5 0 0 多亿元。而之后的 2 0 1 0 年和2 0 1 1 年，视频监控的市场规模也以1 0 以上的速度快速增长【2 】。视频监控系统 已经广泛的应用在商场、学校、企业、交通等国民经济领域。 在之前几年中，模拟监控 3 1 作为第一代视频监控技术由于其自身在监控范围、图像质 量上局限性、市场占有份额快速下降。而同时，相比模拟监控所存在的不足，在时间保存、 传输可靠性以及图像质量上有大幅度提升的第二代监控技术的数字监控1 4 ，为用户提供了 高效的监控解决方案，带来了高性价比的服务，为用户所青睐，已成为视频监控市场的主 导，广泛应用与商业、金融、学校等行业与领域中。随着视频技术和网络技术的飞速发展， 作为第三代监控技术的网络视频监控奥运会、世博会与平安城市等大型项目中得到了广泛 的运用，在市场上大受欢迎。尤其是近年来，国内3 g 技术发展迅速，移动、电信、联通 三大运营商各自推出了t d s c d m a 、c d m a 2 0 0 0 、w c d m a 三大标准的3 g 服务【5 】，促进 了网络视频监控的快速发展，促使其向移动网络视频监控发展，给视屏监控行业带来了全 新变革。由于3 g 网络的高带宽，可以提供比现有2 g 无线网络更流畅、更清晰的视频传输 和画面效果。随然2 g 信号的覆盖范围广泛，但由于其自身网络带宽有限，主要的工作形 式是定时向用户发送特定监控点的图片信息，而非实时视频传输，因此达不到真正意义上 的实时监控要求。而3 g 技术则很好的弥补了这样缺陷，如作为3 g 主要标准之一的 c d m a 2 0 0 0 ，它的室内数据传输速率最高可达到2 m b i t s ，步行状态下为3 8 4 k b i t s ，车载 状态下为1 4 4 k b i t s t 6 1 。当前的主流压缩标准h 2 6 4 ，具有良好的压缩性能，其压缩效率可 达2 0 0 多倍。以普通的c i f 格式y u v 4 2 0 图像为例，若帧率为每秒1 0 帧，经h 2 6 4 压缩 后，其码流仅为6 0 k b i t s 。因此，在运用h 2 6 4 为压缩标准的前提下，3 g 技术完全可以实 现视频监控的实时性。 众所周知，移动监控系统的关键在于视频数据的传输处理。传统的视频监控系统中， 1 浙江工业大学硕士学位论文 由于受到带宽和传输技术的限制，监控终端都是通过以网线为媒介来与客户端连接【7 】，这 为监控系统的布置带来了很大的局限性，使得一些偏远地区和山区等线路难以铺设的地区 或者危险作业区成为监控盲区，为安全生产与作业带来极大的隐患【引。而移动视频监控系 统则很好的解决了这方面的不足，通过运用良好的视频数据传输与处理技术，可提供实时 的动态监控画面。同时，在视频图像上叠加相应的信息( 如g p s 信息、时间、报警信号等) ， 可以让用户更好的掌握监控现场的情况，并及时、准确的处理突发事件，省去了用户到现 场进行排查维护的精力和时间。 本文将对移动视频监控系统中的视频信息叠加与数据的传输处理进行合理的设计和 实现，在现有基础上提供提供一种更便利、更简单、更及时的监控解决方案【9 】。 1 2 移动视频监控应用 在瞬息万变的互联网时代，网络正在改变信息产业的变迁，互联的业务正逐步从以个 人电脑为中心向着以手机等移动终端为中心在改变，移动互联网步入了一个新的发展周期 【1 0 1 。在3 g 之前，有些视频监控厂商利用2 5 g 、2 7 5 g 等移动网络来开展移动监控业务【1 1 1 ， 但却因受制与网络带宽而无法实现行业化、规模化的应用。伴随着3 g 拍照的发放，三大 运营商网络建设的逐步健全，3 g 业务全面进入试商用阶段。3 g 所带来的可移动性、高带 宽对安防应用具有特别明显的意义，即在无线状态下，连续、清晰的视频传输成为可能， 从而使得移动视频监控成为可能。 在3 g 时代，移动视频监控给安防设备供应商提供了崭新的发展机会，其产品主要集 中在以下领域【1 2 】： 智能交通与车载监控 移动视频监控对于车载监控行业的影响非常大，它使得车载监控系统可以沿着普通监 控市场的道路发展，由孤立的设备发展成为强大的监控网络，由此极大地促进了该行业的 发展。通过车载的移动视频监控终端，人们可以在客户端实时掌控路面的道路交通状况， 及时对发生的意外事故、堵车等情况作出反应，通过实时对现场的疏导指挥，以减少损失。 此外，移动视频监控系统也可应用于灾情现场的探查、车辆事故的责任认定、车辆方位的 实时监控等领域。 手机浏览设备 通过手机等手持终端观看前端监控设备发送的视频监控图像，如可以实时查看家庭的 安全状况。 浙江工业大学硕士学位论文 视频采集的无线上传设备 该领域的主要产品为视频服务器、网络摄像机等。此类产品存在两个技术难点：一是 适应3 g 网络传输特点，因3 g 带宽不稳定，数据传输要适应网络的抖动性；另一个是视频 数据压缩算法的优化，只有编码器的压缩效率越高，码率才可能尽量的小，才能保证视频 数据的顺利传输【1 3 1 。 1 3 国内外现状及趋势 移动视频监控是基于无线传输网络来进行动态前端采集，并集合可移动监控终端和传 统安防平台系统所形成的监控系统。移动视频监控系统通过无线传输网络将前端采集的视 频图像传输给手提电脑、手机等各种形式的移动终端，以实现远程实时视频监控。 近年来，得益于3 g 技术的快速发展与成熟应用，以及“无线城市”计划的大力推广， 世界范围内移动视频监控系统已经得到了成功应用【1 4 1 。早在上海世博会之前，日韩等国与 欧美地区的运营商就已经推出了适用于家庭和行业的移动视频监控业务其中以家电远程 遥控和智能家庭安防等业务最受欢迎。在2 0 0 9 年举办的安博会上，日立、l g 等日韩的主 要生产厂家展示了监控摄像头、视频数据内容分析应用，以及其他解决方案。这些产品与 方案都是基于3 g 的无线网络视频监控技术，可以集有线与无线接入、联动报警于一体， 形成严密性良好的综合性视频监控体系。 在移动视频监控方面，国内企业也未落后。在世博会上，烽火网络与电信提供了基于 i p v 6 的移动视频监控系统的系统解决方案；中兴也推出了具备开放性与标准型优势、固网 与移动融合的“网络视讯 3 g 视频监控系统解决方案【1 5 】，该方案能够跨移动、固网来实 现视频监控业务。 随着传输技术的快速发展，网络、无线通信、光通信等传输技术的广泛应用，移动视 频监控系统得到了迅猛发展。尤其是3 g 网络的成熟、光通信的普及，网络通信技术的完 善等，让得前后端的差距缩小，以及信道传输的愈发通畅。在此基础上，移动视频监控产 业的发展将越来越顺畅。 另一方面，视频字符叠加技术的发展，也为移动视频监控带来了便利。用户通过视频 画面上的信息，可以实时掌握监控现场的情况，以便做出及时、准确的反应。当前主要有 硬件字符叠加与软件字符叠加两种实现方法，但由于实现复杂度等的因素，一般都采用硬 件叠加来实现。现今市场上的主流视频叠加芯片有n e c 公司推出的u d p 6 4 5 3 、三菱公司 的m 3 5 0 5 5 、富士通公司的m b 9 0 0 9 2 等，为视频信息的叠加实现带来了极大的便利。随着 浙江工业大学硕士学位论文 o s d 技术的不断发展，其应用也变得更加广泛，也使得移动视频监控系统的功能变得更加 完善。 在这些新技术的有力推动下，移动智能终端的市场占有率不断提高，利用无线网络进 行家庭视频监控、交通状况监控已变得常态化与普遍化，未来的手机用户也可以在完善的 无线网络和移动产品技术上进行上述操作【1 6 】。由此可见，在各方有利因素的刺激下，移动 视频监控将迎来一个发展的黄金期。 1 4 本文的主要内容和结构安排 本文研究和实现了一种基于r f c 3 9 8 4 传输协议【1 7 】的移动视频监控系统，该系统采用 了h 2 6 4 压缩技术【1 8 】，通过对前端设备采集的视频数据进行信息叠加，经硬件压缩后按照 r f c 3 9 8 4 协议传输视频数据，同时在客户端对接收到的视频数据进行去噪处理，能够得到 清晰的实时视频。 本文的主要安排如下： 第一章描述了课题的研究背景与意义，并讲述移动视频监控技术的应用领域，接着详 细介绍了当前该课题在国内外的研究现状及发展趋势，最后给出了本文的主要内容和结构 安排。 第二章讲述了本文中将涉及到的各种理论知识和关键技术，包括系统的开发环境和总 体架构、图像信息的叠加技术、音视频压缩技术以及r f c 3 9 8 4 传输协议。 第三章开始介绍本文的核心内容，首先介绍移动前端的整体架构，然后介绍各种叠加 技术并比较分析其优缺点，最后阐述本系统中图像信息叠加的实现。 第四章进入本文的另一个核心内容，首先介绍r f c 3 9 8 4 传输协议的实现，如h 2 6 4 格式的数据在发送端的分片发送及其在接收端的重组过程，最后介绍对接收到的视频数据 进行去马赛克处理。 第五章对本文所做的工作做了总结和展望。 浙江工业大学硕士学位论文 第2 章系统架构与相关理论知识 本章主要介绍了本文中将涉及的各种相关理论知识与技术，包括系统架构、视频压缩 技术的基本知识。 2 1 开发环境介绍 移动视频监控系统前端是个嵌入式设备，其相应的驱动程序及上层应用都需要在搭建 好的嵌入式系统平台上编写与编译。因而需要在开发主机上搭建一个开发平台，包括交叉 编译环境的建立、文件系统的制作以及内核的编译19 1 。当程序代码在开发主机中完成编写 与交叉编译后，运用b o o t l o a d e r 将其下载到目标主机中进行调试、运行2 0 1 。在整个开发过 程中，开发主机提供各种开发所需工具给开发人员，同时，目标主机也需依赖其才能给正 常的工作运行。只有当整个系统开发完成，该嵌入式系统定型后，目标主机才能独立运行。 基于u b u n t u 系统具有系统安装人性化、用户群庞大、硬件支持全面以及软件升级与安 装方便等优点，本文选用其作为开发主机的开发环境。 ( 1 ) 对开发主机的配置： 由于u b u n t u 系统的便捷性，在其下需使用n f s 功能时【2 1 1 ，只需以r o o t 权限进行下述 操作： f ! 鎏塑塑鲤i 鎏塑麴：堕鳖至：兰茎一：_ _ i i ：兰：墨鍪i 釜兰鎏鎏鲨! 兰堂| | 鋈鎏：! ：i | 经过上述操作后，系统可自动完成n f s k e m e l 。s e r v e r 、n f s c o m m o m 、p o r t m a p 三个软件 包的安装。在n f s 软件包安装好后，还需要在e t c 路径下的目录e x p o r t s 配置文件。 上述指令格式为“ 共享路径】 i p 地址或客户机名】”，其中当i p 地址或者客户机名为空 的状态表示该路径可以给任何m 地址或客户机共享。 ( 2 ) 对目标主机进行配置： 只需在内核系统中添加对n f s 的支持，再重新对内核进行编译即可完成对目标主机的 配置。 浙江工业大学硕士学位论文 2 2 系统架构介绍 整个移动视频监控系统主要由三大块组成：移动前端、服务器、移动终端【2 2 1 。其中移 动前端作为移动视频监控系统中的视频数据捕获源，可以根据无线网络的布置随意的调整 自身的地理位置，本文中主要指汽车上的前端监控设备。在监控系统中，移动前端主要用 于采集音视频数据，并将采集到的数据进行压缩，按照标准的网络通信协议将视频数据传 输至服务器。同时，还可以根据移动终端发出的命令作出报警、存储等操作。服务器是移 动视频监控系统的核一t l , ，其主要用于实现媒体数据和信令流的转发以及用户、设备信息的 的记录和管理，即作为移动前端和终端的交互桥梁，串联起整个监控系统【2 引。移动终端可 分为个人电脑和手机两种，本文中主要指个人电脑上的监控程序。它可以随时查看前端设 备采集的监控信息，同时根据附带的按钮可以进行相应的操作，如时间查询、云台控制等。 整个系统架构如图2 1 所示： 通咽 移动设备1 ( ( ? ) ) ： 吾 一 艘眨画3 噬站 视频服务器 图2 】系统整体架构 8 。- j 8 用户n 2 2 1移动前端 移动前端可以分为三个部分，即音视频采集模块、数据处理模块和数据发送模块，内 置了基于l i n u x 系统的嵌入式平台，具有体小、质轻，可灵活安装的特点。移动前端的核 心部件包括主处理芯片g m 8 1 8 0 、采集芯片t w 2 8 3 5 和一块3 g 接入芯片，其内核版本为 l i n u x 2 6 1 4 ，其实物如图2 2 所示： 6 浙江工业大学硕士学位论文 图2 - 2 移动前端平台 其中音视频采集模块主要负责把从摄像头或麦克风捕获的模拟数据转化为数字信号。 其主控芯片t w 2 8 3 5 拥有4 个音视频控制通道，可同时完成4 路d 1 c i f q c i f 格式视频图 像的捕获【2 4 。2 5 1 。 数据处理模块用于对捕获的音视频数据进行处理，如压缩、存储等。该模块选用的主 控芯片为g m 8 1 8 0 ，是一款集成度非常高的编解码系列芯片，可支持m p e g 4 【2 6 】与h 2 6 4 等的编解码。g m 8 1 8 0 的芯片结构如图2 3 所示： 浙江工业大学硕士学位论文 c c l l 0 6 5 6o u t j r g b 转y u v s r a m 控制 d d r 控制器 视频捕捉器 6 5 6 输出端u s b 2 0 接口以太网接口 器 2 实时流式传输 观看媒体流时，只有保证带宽和网络的匹配才能获得实时性。实时流式传输的特性决 定了其在事件现场的适用性，但同时也可用于随机访问，以便让用户可以在时间段上自由 选择观看的画面内容。从理论上来讲，一经播放，实时流就可不在停止，但在实际应用上， 由于网络等各种原因，有可能会发生周期性的暂停。 实时流式传输存在的不足之处在于其需要与连接带宽相匹配，也即意味着以较低带宽 连接时图像质量会很差，甚至由于多径效应与丢包的影响，出现花屏或者卡屏的现象，使 得视屏观看效果很差。如若为了保持视屏的质量，一般会选择顺序流式传输，因为实时流 式传输与用户的防火墙可能存在不兼容【3 7 1 。而且，实时流式传输的实现需要对特定服务器 进行配置，使其在工作时需要的控制级别变多，因而相比于h t t p 服务器，实时流式传输 的系统管理与设置显得更为复杂。 顺序流式传输 1 1 浙江工业大学硕士学位论文 该传输类型的工作方式是顺序下载，它可以使用户一边下载文件一边在线观看视频， 但用户不能观看还未下载的部分，也不能在传输期间根据需求对速度进行调整。由于标准 的h t t p 服务器可在不需要其他特殊协议的情况下发送该形式的文件，因而顺序流式传输 亦被称为h t t p 流式传输。 基于顺序流式传输的特点，其非常适用于经过调制解调器来传输的短片段，同时也允 许在更高的数据速率下创建视频片段。而为了便于管理，一般把相关文件放在f t p 服务器 上。由于其不支持现场广播，因而严格来说，它属于一种点拨技术。其缺憾主要在于发布 高质量的视频时，存在较大的延时。 2 3 2 流媒体的实现 流媒体是在当时的网络带宽无法满足音视频、3 d 等多媒体数据的巨大流量需求的情况 下而产生的，因而在其技术实现中，需首先对音视频等多媒体的文件数据进行预处理。其 关键主要在于采用先进、高效的压缩算法和降低质量两个方面。其原理如图2 8 所示。 口 源文件 源媒体 流式传输 编码器 流媒体服务器 图2 8 流媒体实现框图 流媒体播放器 流媒体的实现所需可分为如下几部分： 预处理 由于目前的网络带宽相对于多媒体庞大的数据量而言显地微不足道，因而为了适合流 式传输，多媒体数据必须先进行预处理。其主要内容分为两部分：一方面指的是运用高效 率的压缩方法，以减小压缩后的数据量；另一方面指的是在压缩数据中加入冗余信息，使 之与传输信道相匹配。当前，r e a ln e t w o r k s 、微软、苹果等公司均提供了有关于流式传送 与编码，以及在客户观看方面享有专权的方案。常规码率已从2 0 k b i t s 达到3 0 0 k b i t s ，甚 1 输画 浙江工业大学硕士学位论文 至于达到1 m b i t s 的速度，而且音视频的编码器在功能上存在很大的差别。在编码的过程 中需要综合考虑不同的码率性能、网络的带宽波动和包损失的容错性、低速下的音视频品 质以及流控制等。 支持流媒体传输的网络协议 当前，i e t f 制定了很多支持流媒体传输的网络协议，其中主要的几个协议为r t p r t c p 协议簇、资源预定协议( r s v p ) 以及实时流协议( r t s p ) 。 流媒体类型识别的途径 w e b 的服务器和浏览器可以通过m i m e 来识别流媒体，同时可对其进行相应的处理。 m i m e 不仅可以用来标记因特网上传输的所有文件类型，也可以用于电子邮件。 2 3 3 流媒体的网络播放方式 一般来说，流媒体的网络播放方式主要有组播、单播、点播和广播四种，同时，其相 互之间又可以组合使用，如点播单播、广播单播等【3 8 4 0 】。 单播主要用于服务器与客户端间的点对点连接，两者之间形成一一对应的关系。 组播技术主要用于服务器与用户形成一对多对应关系的时候，此时服务器只需发 送一份数据即可，该数据由所有的用户共同享有。这种方式可以大大降低信道中 的数据量，提高网络效率。 点播具有单边性，它是用户端对于服务器的主动连接，在该过程中，用户可以根 据自己的需求向服务器请求进行相应的操作。 与点播相反，在广播中，用户端只能被动接收服务器发送的信息，而不能对其进 行控制。 2 4 视频信息叠加技术 视频信息叠加技术是一种把需要的信息通过软硬件方式叠加到视频图像上，从而让其 在屏幕上显示的技术。通过这些信息，用户可以更好地掌握监控现场的情况，方便日常管 理。 2 4 1 点阵字模的生成 图像信息叠加过程中，点阵字模的生成是很重要的一环。在叠加任何一个字符前，首 先需要得到该字符的点阵字模，然后根据字符在图像上的显示位置把点阵字模中的位值映 浙江工业大学硕士学位论文 射到相应的像素点。 点阵字模是从点阵字库中提取出来的。本文以汉字的点阵字模生成为例，常用汉字的 点阵字库有1 2 1 2 的h z k l 2 文件、1 6 1 6 的h z k l 6 文件等，这些文件中基本囊括了g b 2 3 1 2 字符集的全部汉字。所以我们只需要知道字库文件里汉字点阵的格式，就可以根据需要去 显示汉字了。 本文以h z k l 6 为例，分析汉字点阵的字模生成方法。通常，根据g b 2 3 1 2 8 0 标准， h z k l 6 文件是以区位码标准来排列的。由于国标码可分成9 4 个r k ( s e c t i o n ) ，每个区又分成 9 4 个位( p o s i t i o n ) ，因而也称为区位码。9 4 个区中，0 1 0 9 为数字、符号区，1 6 8 7 为汉字 区，而1 0 1 5 区和8 8 9 4 区是空白区【4 1 1 。 计算机在处理a s ci i 字符和汉字时，每个a s ci i 字符需占用一个字节，而一个汉字需 占用两个字节，其值就是汉字的内码。在汉字的内码中，第一个字节的值就是区号加上 3 2 ( 2 0 h ) ，而第二个字节的值则为位号加上3 2 ( 2 0 h ) 。同时，为了与a s c i i 字符相区分，汉 字的两个字节的最高位都被设置为1 ，亦即两个字节的值都重新加上了1 2 8 ( 8 0 h ) 。经过上 述步骤，汉字的区位码就可以根据它的内码计算得到。 具体算法实现如下所示： 其中，s c c 、p o s 分别是汉字区号与位号的值，c 1 为汉字第一字节的值，c 2 表示汉字第 二字节的值【4 2 1 。 根据区号、位号的值就可以在文件的相应位置得到所需汉字字模的l o c a t i o n ： 其中n u m 为该点阵字模所含字节数。 如下图2 - 9 所显示的“车”字，使用的是1 6 1 6 的点阵。在字模中，每一个点用一个 二迸制位表示，如果此处有点，则该位的值为l ；否则，则为0 。因此，一个1 6 1 6 点阵 大小的汉字需要用1 6 1 6 8 = 3 2 个字节来表示。字模的顺序表示可以概括为：先从左到右， 再从上到下。 浙江工业大学硕士学位论文 “车”的1 6 1 6 点阵字模为t 图2 - 9 “车”的点阵 2 4 2 叠加类型 1 ) 硬件叠加 用硬件来实现在图像上信息叠加的方法，即平常我们所熟知的o s d 。它的核心技术是 利用字符发生芯片根据需要在显示器屏幕上的合适位置显示需要的字符4 3 1 。本文中的核心 芯片t w 2 8 3 5 与g m 8 1 8 0 两块芯片都拥有该功能。 o s d 的技术实现方式是：通过与图像达到实时同步的附加或者改变图像中一些像素的 颜色，让其组合成人类可以在图像里面辨认出来的数据。如果需要达到动态的效果，只要 用固定或不固定的方式修改某一特定的o s d 控制寄存器即可。例如，要在屏幕上产生跑 马灯形式的o s d 字形效果，只需将单调递增或单调递减的数值依次填入控制左右位置的 o s d 控制暂存器。 o s d 的典型应用有两种形式，即动态o s d 应用与静态o s d 应用。常见的动态o s d 应用有银行的“点钞数目叠加器 、公众场合使用的“信息发布叠加器”等；而静态o s d 应用则有视频信号上的时间叠加、g p s 定位等。 浙江工业大学硕士学位论文 2 ) 软件叠加 软件叠加的实现过程为：首先将需叠加的字符转换成相应的点阵字模，然后根据图像 的坐标将点阵字模中比特位的值映射到相应位置，该位置的像素点按照约定转化为特定 值。 相比于用硬件实现o s d 的功能，软件方式更加灵活，基本不受硬件平台的影响，代 码可重复使用、可移植性高，而且无需投入额外的硬件设备，成本更小。但同时，软件实 现方式所需的软件设计更为复杂，其对传输总线和c p u 的要求也更高。 2 5 本章小结 本章从开发环境开始，依次介绍了系统的架构、流媒体通信技术和视频叠加技术等理 论知识。首先介绍了系统的开发环境；然后描述了系统的架构，包括移动前端、服务器和 移动终端三大模块，讲述了其模块功能及相互间的关联；之后述说了流媒体技术的有关知 识，并对流媒体技术的发展历程、流式传输的基础及实现、流媒体的网络播放方式做了详 细的介绍说明；最后阐述了视频信息叠加技术，对其的特点、类型及应用做了简单说明。 浙江工业大学硕士学位论文 第3 章叠加功能模块的实现 本章给出两种不同的叠加方式，对两者视频信息叠加的实现方法进行阐述，同时对几 个子项目进行说明。 3 1 硬件叠加实现 本文中以t w 2 8 3 5 的叠加实现为例。t w 2 8 3 5 是当前比较受欢迎的一款视频处理芯片， 它除了拥有将四路模拟视频信号整合成一路数字视频信号外，还拥有性能非常强的o s d 功能。通过该芯片，我们只需对其所带的o s d 功能进行开发，而无需增加额外的硬件线 路设计。t w 2 8 3 5 的结构如图3 1 所示。 图3 1t w 2 8 3 5 结构图 1 7 浙江工业大学硕士学位论文 t w 2 8 3 5 芯片的o s d 从上至下可分为五层，即鼠标层、一维边框层、字符层、2 d 边 框层和视频层1 4 4 1 。其中除了显示的内容，上层图像皆能把下层图像覆盖掉，因而在视频上 可以叠加菜单、边框和字符等的信息。同时，由于对一维边框层及字符层的层次顺序进行 了修改，设计中一维边框层的用处就会相对减少些。系统整体架构如图3 2 所示。 3 - 2 系统总体架构图 ( 1 ) o s d 的驱动 要实现o s d 的叠加功能，首先要完成其驱动的实现。驱动把o s d 的硬件设备抽象化 了，通过驱动，我们可以应用设备的接口来访问硬件设备，可以像对待普通文件一样来实 现对硬件设备的管理。本文采用的驱动开发环境为l i n u x 系统，其嵌入式内核的版本为 2 6 1 4 。 ( 2 ) 字符显示 在t w 2 8 3 5 中，由于不存在f o n tr a m 层，只要把点阵上传给d i s p l a yr a m 就可以得 到需要的显示功能【4 5 1 。同时，因f o n tr a m 层的缺省，点阵字符个数的上传没有了限制， 使得o s d 的灵活性有了很大的提升。 t w 2 8 3 5 的o s d 功能实现如图3 3 所示： 浙江工业大学硕士学位论文 图3 - 3 字符显示流程图 3 2 软件叠加实现 本文中，由于所需叠加的字符量不大，且所叠加的字符重复率比较高，同时兼顾代码 的可移植性，所以选用了软件叠加的方法。 首先介绍几个在o s d 功能实现过程中起重要作用的结构体，以及一个主控函数的功 能与其主要参数。 上述四个数据结构基本囊括了o s d 叠加过程中所需用到的重要参数，为核心数据。 各结构都有各自的相应功能，下面做详述介绍。 p o s i t i o n l n f o t 结构体用于存放字符所需叠加的坐标信息，如行、列的坐标，字符的高 度与宽度等，表3 1 所示为该结构体所含参数及其意义。 1 9 浙江工业大学硕士学位论文 表3 1结构体p o s i t i o n l n f ot 的主要参数 参数名 参数意义 b i g r o w 行坐标 b i g c o l 列坐标 f o n t h t字符高度 f o n t w t 字符宽度 标志位：0 ，从宏块初始位开始叠加； m i d d l c 1 ，从宏块中间开始叠加 结构体o s dt 用于存放功能实现所需的叠加信息与相应的控制信息，如时间、g p s 信号、设备号等为叠加信息，而信号量i d 、共享内存i d 等则属于控制信号1 4 6 。表3 2 列 出了该结构体所含参数及意义。 表3 - 2 结构体o s dt 的主要参数 参数名参数意义 g p s l n 存放读取的g p s 信息 g p s o u t 存放需叠加的g p s 信息 t i m e n o w当前时间，已格式化 仅 当前时间 t ) ， 当地时区信息 t i m e t m p 当前时间，以秒数记 o l d s e c 之前时刻的系统时间 n e w s e c 当前的系统时间 s e m i d 信号量i d s h m i d 共享内存d s h m a d d r 指向共享内存地址的指针 t i m e b u f 2 0 】需叠加的时间 d e v n u l l 2 5 】 设备信息 d e v n a m e 6 】 设备名 结构体c _ 巾s l n f o i i 】j 用于存放从共享内存提取的g p s 信息，包括经度、纬度、时间与 2 0 浙江工业大学硕士学位论文 速度等。其所含参数与意义如表3 3 所述。 表3 - 3 结构体g p s l n f o l n _ t 的主要参数 参数名 参数功能 c t m 时间 u t c时间，f r o m1 9 7 0 0 1 0 10 0 ：0 0 ：0 0 l a n g 经度 1 a t 纬度 s p e e d 速度 s t a t u s定位标志 d i r e c t i o n方向 s t a r s 定位星数，5 为定位，0 为未定位 结构体g p s i n f o o u t 中主要包含了从结构体g p s l n f o l n _ t 提取的数据，这些数据主要 为北纬、东经及速度等，都是需要在终端的图像上显示的信息。区别于g p s l n f o l n _ t 结构 体中的源数据，这些数据都已经经过处理，其格式适用于其后的叠加过程。具体参数与意 义在表3 4 中列出。 表3 - 4 结构体g p s l n f o o u t _ t 的主要参数 参数参数意义 n o r t h 北纬 e a s t 东经 s p e e d 速度 主控函数o s d p r o c e s s o 用于控制各叠加功能的实现，其参量包含结构体o s d _ t 的数据、 需进行处理的视频数据的地址指针以及各种需叠加信息的使能控制标志位。 o s d p r o c e s s 0 所含参数与意义在表3 - 5 中给出。 2 1 浙江工业大学硕士学位论文 表3 - 5 函数o s d p r o c e s s o 的参数 参数参数意义 o s d 用于存放叠加信息 p t r 视频数据地址指针 时间叠加使能：0 ，进行时间叠加； t i m e e n l ，不叠加 g p s 叠加使能：0 ，进行g p s 叠加； g p