（控制理论与控制工程专业论文）网络实验室中的视频监控系统.pdf

丫浙江大学硕士毕业论文 摘要 本文研究的主要内容是开发一种用于实时观测网络实验室真实物理设备运 行状况的基于i m e m e t 的视频监控系统，该系统同时也具有录像功能，以满足实 验者在同步实验以后或者在异步实验查询时的需要。整个系统基于双c s 架构， 主要由视频终端，负责接收、存储及调度转发压缩视频的视频服务器，以及负 责视频播放的客户端三部分组成。其中，视频终端和视频服务器处于同一局域 网内，而客户端则远程访问服务器。 视频服务器是整个系统运行的关键环节。视频服务器采用多网卡设计，分 别处理来自客户端和视频终端的连接，进而实现视频数据的转发。考虑到服务 器需要同时处理多个用户请求，为了尽可能地减轻系统负担，视频服务器采用 线程池技术进行设计。 针对网络实验室的实际特点，本文提出了两种视频终端方案。一种是基于 p c 机的方案，其最大的优点就是成本低且开发方便。通过在网络实验室的控制 端添加u s b 摄像头，在w i n d o w s 系统上开发视频采集和压缩应用程序就可实 现该方案。 第一种视频终端采用了专门的高速数字信号处理芯片_ t i 公司的d s p 芯 片1 m s 3 2 0 d m 6 4 2 作为视频处理的核心芯片。系统可以同时对四路视频信号进 行m p e g 一4 编码，使用t i 提供的n d k 开发包通过以太网接口把数据发送给视 频服务器。 视频播放客户端模块采用了多线程设计，从而实现了压缩视频信号的网络 接收、解码和显示的过程。此外，客户端播放模块的设计充分地考虑了与网络 实验室客户端应用程序总体框架的兼容性。 最后，本文总结了所做的工作，并针对系统功能和运行性能提出了一些改 进的意见，包括实时传输协议、数据库的使用以及嵌入式数字视频处理的最新 技术进展等。 关键字： 视频监控，网络实验室，网络通讯，视频服务器，d m 6 4 2 ，多线程 1 甲浙江大学硕士毕业论文 a b s t r a c t t h i st h e s i sf o c u s e s 咖d e v e l o p i n gav i d e os u r v e i l l a n c es y s t e mb a s e do ni m e m e tw h i c hc 柚 o b s e r v et l l es t a n l so f t h ep h y s i c a l 印p a r a t u so f n e t l a b t h i ss y s t e ma l s op r o v i d e st h e 劬c 廿o n o f v i d e or e c o r d i n gt om e e tt l l en e e do f u s e r sb o t hd u r i n g l ea s y n c h r o n 叫se ) 【p e r i m e n ta n d 抽 t h es y n c h r o n o u s 加e ，b a s e do nd d u b l ec y ss 仃1 j c l u r e ，t h es y s t e mi n c 】u d e sav i d e ot e 功j n a l ，a v i d e os e r v e rf b rt r a i l s m i t t i n gt h ec o m p r e s s e dv i d e ot ot h eu s e r s ，a n dac l i e n ts i d e t h ev i d e o t e 肌i n a ja 1 1 dv i d e os e r v e ra r ei nt h es a r n el a n ，w h i l et h ec i i e n ts i d ev i s h st h es e e rr e m o t e i y t h ev i d e os e r v e ri sm ec m c i a lp a r to f 也ew h o l es y s t e m 1 tp o s s e s s c ss e v e r a ln e t w o r kc a r d s t op r o c e s st l l ec o n n e c 廿o n sf 如mc l i e n ts i d et ov i d e ot e r m i n a l c o n s j d e n n gt h a t 也es e r v e rn e e d st 0 d e a lw i mt h er e q u e s t sf m mm a f l yu s e r ss i m u l t a n e o u s l y t h et e c t l l l o l o g yo f t h r e a d p o o li s e m p l o y e dt or e d u c et h el o a do f t l l es e r v e ra sm u c ha sp o s s i b l e t h e r ea r em os o l u t i o n sj nd e s i 盟i n gt 1 1 ev i d e ot e r n l i n a l ，o n ei sb a s e d0 np e r s 伽a 1c o m p u t e r ( p c ) t h em a i nc h a r a c t e ro f t h i sm e t h o di st h el o wc o s t 如dt h ec o n v e n e n c ef o rd e v e l o p i n g 1 t c o u i db ei m p l e m e n l e db ya d d i n gau s bc 踟e r at ot h ec o n t r o js i d eo f n e t l a ba 1 1 dd e v e l o p j n ga w i n d o w s 印p l i c a t j o nf o rv i d e oc a p t u r ea i l dc o m p r e s s i o n a n o t h e rs 0 1 u t j o nu s e sah i g h - s p e e dd s pc | l i p ( t m s 3 0 d m 6 4 2f f o mt ic o r p ) a s 山ec o r e c h i pf o rv i d e op r o c e s s i n g t m s 3 0 d m 6 4 2i sc 印a b l eo fc o m p r e s s i n gt h ev i d e os i g n a l sf o mf b i 】r c h a n n e l su s i n gm p e g 4a 1 9 0 枷1 l t ls i m u l t a n e o u s l 弘1 1 1 en e t w o r kd e v e l o p e r sk i tp o v i d e d b yt i f a c i l i t a t e su sj ns e n d i n gt h ec o m p r e s s e dv i d e op a c k a g e st ot h es e r v e r “ae m e m e t t h ev i d e oc l i e n ts i d eu s e sm u l t i p l et h r e a d sm e c h a n i s mt or e c e j v e ，d e c o m p r e s sa t l dd i s p l a y t h e m p r e s s 甜v i d e os j g a ls i m u n a n e o u s l ym e a n w h i l e ，t h ed e s 逗no f t h e “d e oc j e n ts o 矗w a r e t a l ( e s 凡l lc o n s i d e r a t i o no f t h ec o m p a t j b j l i t yw i t ht l l e 行a m e w o r ko f t h en e t l a b f j n a l ly t h et h e s i sg e n e r a i i z e st h ea c h i e v e dw o r ka n dr e c o m m e n d ss e v e r a is u g g e s t i o n si n i m p r o v i n gt h em n c t j o na n dp e r f b h n a n c eo ft h es y s t e m ，j n c l u d i n gt h eu t i l i z a t i o no ft h er e a h i m e t r m s p o np m t o c o l ，d a t a b a s e ，a n dn e wt e c h n 0 1 0 9 i e sj ne m b e d d e dd i g i a lv i d e op r o c e s s i n g k e y w o r d s ：v i d e os u r v e i l l a n c e ，n e t l a b ，n e r w o r kc o m m u n i c a t i o n ，v i d e os e r v e ld m 6 4 2 ， m u l t i d l et 1 1 r e a d s 1 丫浙江大学硕士毕业论文 第一章概述 【摘要】本章主要介绍了视频监控系统的发展历程、研究意义以及国内外发展状况。 最后给出了课题背景以及本论文的主要内容。 1 1 视频监控系统的发展历程 视频监控技术自从上个世纪8 0 年代进入我国以来，随着安防需求的急剧增 长一直在飞速发展，从技术层面上划分，经历了以下几个不同的发展阶段。 口口第一代为全模拟监控，也叫闭路电视监控，从上个世纪8 0 年代到9 0 年初 期，十多年的时间罩一直主导着安防市场。它大量应用在公安、银行、军工、 交通、酒店等重要单位和部门。其特点是全部通过模拟方式将摄像机的视频信 号传输到监控中心，监控中心通过视频分配和合成设备将一部分视频信号在电 视机等模拟显示设备上输出，并通过磁带录像设备进行录像或保存。 口口第二代为准数字监控系统，从上个世纪9 0 年代中期开始出现，以数字硬盘 录像d v r 为主，替代了原来的长延时模拟录像机，将原来的磁带存储模式转变 成数字存储录像，解决了监控的模拟转数字录像和显示，集合了录像机、画甄 分割器等功能，跨出数字监控的第一步。 口口第三代全数字监控系统以嵌入式硬盘录像d v r 为主，这是一种将应用程序 和操作系统与微处理器和各种芯片集成在一起的嵌入式系统，它的特点是：结 构紧凑、脱离了p c 的不稳定，但不可修改。这种产品目前比较成熟，杭州大 华等公司在这方面技术已经比较成熟。 随着计算机技术的发展和网络的普及，目前，视频监控已经发展到了网络 多媒体监控系统。 1 2 视频监控系统的发展方向 前端一体化、视频数字化、监控网络化、系统集成化是视频监控系统公认 的发展方向，而数字化是网络化的前提，网络化又是系统集成化的基础，所以， 视频监控发展的最大两个特点就是数字化和网络化。 丫浙江大学硕士毕业论文 数字化是2 1 世纪的特征，是以信息技术为核心的电子技术发展的必然，数 字化是迈向成长的通行证，随着时代的发展，我们的生存环境将变得越来越数 字化。视频监控系统的数字化首先应该是系统中信息流( 包括视频、音频、控 制等) 从模拟状态转为数字状态，这将彻底打破“经典闭路电视系统是以摄像 机成像技术为中心”的结构，从根本上改变了视频监控系统的信息采集、数据 处理、传输、系统控制等的方式和结构形式。信息流的数字化、编码压缩、开 放式的协议，使视频监控系统与安防系统中其它各子系统问实现无缝连接，并 在统一的操作平台上实现管理和控制，这也是系统集成化的含义。 视频监控系统的网络化将意味着系统的结构将由集总式向集散式系统过 渡。集散式系统采用多层分级的结构形式，具有微内核技术的实时多任务、多 用户、分布式操作系统以实现抢先任务调度算法的快速响应。组成集散式监控 系统的硬件和软件采用标准化、模块化和系列化的设计，系统设备的配置具有 通用性强、开放性好、系统组态灵活、控制功能完善、数据处理方便、人机界 面友好以及系统安装、调试和维修简单化，系统运行互为热备份，容错可靠等 优点。系统的网络化在某种程度上打破了布控区域和设备扩展的地域和数量界 限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共 享，这也是系统集成的一个重要概念【2 l 。 网络多媒体监控系统1 一般由网络多媒体监控管理平台和前端信息采集设备 组成，其核心是网络多媒体监控管理平台。网络多媒体监控管理平台集计算机 网络、通信、视频处理、流媒体和自动化技术于一身，是视频、音频、数据和 图示一体化的解决方案，兼备网络视频监控、视频会议、视频直播等功能，具 有超大规模组网能力，是构建于l a n i n t e m c t 网络之上、支持多种传输方式的 综合多媒体业务管理平台，可广泛用于多媒体视讯调度指挥、网络视频监控和 会议、多媒体网上直播、刚络教学、远程医疗等各个方面。 1 3 课题背景及本文主要内容 本课题是为浙江大学9 8 5 振兴讨划资助项目浙江人学网络实验室量身 订做的一个子项目，旨在开发一种用于实时观测网络实验室真实物理设备运行 状况的基于i n t e m e t 的视频监控系统，该系统同时也具有录像功能，以便实验者 节浙江大学硕士毕业论文 在同步实验以后或者在异步实验查询时的需要。整个系统基于双c s 架构，主要 由负责视频信号采集、压缩及传送的视频终端，负责压缩视频信号接收、存储 及调度转发的视频服务器，以及用于压缩视频信号的解码、播放及远程监控的 客户端三部分组成。 本文内容结构如下： 第二章提出具体需要解决的问题，分析该问题，然后给出简单易行的解决 方案，同时将该系统推而广之，考虑在更复杂的情况下采取的解决措施，形成 视频监控系统的一揽子解决方案。 第三章重点讨论了视频服务器的设计方案和具体实现。根据系统的需要， 视频服务器采用多网卡设计，分别处理来自客户端和视频终端的连接，进而实 现视频数据的转发。考虑到服务器需要同时处理多个用户请求，为了尽可能地 减轻系统负担，视频服务器采用线程池技术进行设计。 第四章介绍了基于p c 机的视频采集终端的解决方案。该方案的最大特点就 是廉价且开发方便。通过在网络实验室的控制端添加u s b 摄像头，并且开发 w i n d o w s 系统上的视频采集和压缩应用程序就可实现该方案。 第五章重点讨论了基于嵌入式系统的视频采集终端的解决方案。采用专门 的高速数字信号处理芯片t i 公司的t m s 3 2 0 d m 6 4 2 作为嵌入式系统的核心芯 片。系统可以同时对四路视频信号进行m p e g 一4 编码，并通过以太网接口把数 据发送给视频服务器。 第六章介绍了视频播放客户端模块的实现。视频播放客户端模块采用了多 线程设计，从而实现了视频信号的网络接收、解码和显示的过程。此外，客户 端播放模块充分地考虑了与网络实验室客户端应用程序总体框架的兼容性。 第七章给出了总结与展望。在总结以有工作的基础上，本章针对系统功能 和运行性能提出了一些改进的意见，包括实时传输协议、数据库的使用等。 丫浙江大学硕士毕业论文 第二章视频监控系统构成 【摘要】本章从网络实验室的实际要求出发，提出一整套视频监控解决方案，同时给 出方案的总体框架以及具体硬件平台与软件协议的选择和设计。 2 1 网络实验室介绍 虚拟实验室及虚拟实验技术，是近年来信息技术迅速发展的产物。虚拟实验 室综合使用虚拟仪器、虚拟现实、数据库、网络和计算机实时控制等多种技术， 为实验者营造虚拟的实验环境。实验者的指令通过网络发送给实际的设备或者 仿真对象，实验的结果以图表、示意图、动画等形式反馈给用户，以达到与在 普通实验室中实验相同的效果。学生可以在计算机终端白助地浏览、学习有关 实验内容并进行实验。通过虚拟实验系统可以解除传统实验所无法克服的场地 和时间的限制，同时大大地提高设备的利用率，有效地降低实验成本，在相同 经费的情况下，提供更加丰富的实验内容，更加先进的实验设施1 3 】。 浙江大学的网络实验室是浙江大学9 8 5 振兴计划投资l o o 万，远程教育学院 投资4 5 万，自主研发兴建的远程综合虚拟实验室，以研制适合理工科电类实验 教学的网络实验室为目标。自策划至今，每年平均2 0 位师生为其努力，已经历 时近6 年。网络实验室物理拓扑结构如图21 所示，我们称之为双c s 结构， 即客户端( 或者浏览器) + 服务器+ 控制端。系统中，实验控制机跟服务器同处 一个高速局域网中，客户端部分主要用于完成实验的设计，发送实验指令和实 验结果的显示，同时部分简单的系统管理功能也被集成在客户端中。服务器部 分主要负责按照一定的规则安排用户实验，连接客户端和控制端的通讯，同时 将实验数据保存到数据库中。用户和实验的管理也是服务器的职责之一。控制 端部分则负责按照实验指令控制设备进行实验。 丫浙江大学硕士毕业论文 图2 1 网络实验室拓扑结构 其中，网络实验室的主服务器采用d e u 的专业服务器p o w e r e d g e6 6 0 0 ，内 含两颗服务器处理器x e o n2 g ，4 g 内存，6 个7 2 g 的s c s t 硬盘，为了最大限度 简化系统设置，目前使用w i n d o w s 2 0 0 0s e r v e r 作为服务器的操作系统，使用j a v a 编写网络实验室的主服务器程序。为了保证系统的稳定性，实验控制机由工控 机担当，使用w i n d o w s 2 0 0 0s e r v e f 作为其操作系统，为了保证控制程序的高效 性和实时性，使用v i s u a lc + + 编写控制程序。对于应用程序方式，使用v i s u a lc + + 编写客户端程序，所以要求用户使用w i n d o w s 平台( 包括w i n d o w s 9 8 ，m e ， n t ，2 0 0 0 ，x p ，2 0 0 3 等) ，对于w 曲方式访问，使用j a v a 编写客户端程序， 对用户操作及系统不做要求，只需用户的操作系统支持浏览器即可。 目前网络实验室已经初具规模，主要包括5 大类，3 0 多个具体实验。这5 大类分别为控制类实验、电路类实验、电力电子类实验、电机控制类实验和微 机类实验。所有实验都基于真实物理对象，涵盖全部本科生和部分研究生教学 研究相关实验。控制类实验指控制具体对象的实验和考查控制理论基础知识的 实验。电路类实验主要为考察基础电路知识的实验。电力电子类实验为重点考 察整流逆变等电力电子电路及器件性能的实验。电机类实验以考察电机的特性 1 y 浙江大学硕士毕业论文 为主要特性。微机类实验考察实验者对对微机体系结构及汇编指令的熟悉程度。 表2 1 给出了网络实验室中的具体实验列表。 表2 1 网络实验室中的具体实验 实验类别实验类型 电路类实验模拟电子实验 数字电路实验 电路原理实验 电力电子实验整流逆变实验 零电压转移实验 三相异步电机实验 电机类实验直流电机实验 变压器实验 典型环节时域响应实验 典型环节频域响应实验 随动系统 倒立摆实验 控制类实验 吹摆实验 步进马达实验 液位实验 电梯实验 微机类实验单片机实验 网络实验室致力于向实验者提供一个真实的实验环境，以弥补远程实验的缺 陷。因此，网络实验室中的所有实验对象都是基于真实物理设备的，而不是一 个基于仿真的完全虚拟的实验室。然而，尽管实验者可以对实际物理设备进行 操作，尽管在客户端的示波器界面上显示的是实际采集的物理数据，尽管在客 户端界面上显示着非常生动的动画，但这些显然无法与视频提供给实验者的直 观感受所比拟的。视频可以提供给实验者最真实的感受，尤其对于存在运动的 控制实验中。事实上，视频系统在网络实验室中的作用可以被归纳为如一f 几个 方面： 1 、在电机类实验和用于控制实际对象的控制类实验中，实验结果的反馈除了采 用波形这种理性的方式以外，还可以采用视频这种感性的方式。例如，在倒 1 y 浙江大学硕士毕业论文 立摆实验中，当实验者看到倒立摆在自己设计的控制算法下竖起来后，更能 身临其境地感受到真实实验的成就感。这不仅能大大加强学生学习的积极 性，更能配合用户界面上显示的波形，使学生能够更为清楚地理解物理数据。 目前在国内外的虚拟实验室中，视频系统也往往是其重要的组成部分7 8 1 。 2 、在电路类实验和微机类实验中，视频系统直接起着反馈实验数据和参与实验 调试的作用。例如，在单片机实验中，实验者需要对实际的电路板上的l e d 数码管和交通灯进行编程控制。如果有视频系统直接把l e d 上显示的数据 和交通灯上的结果反馈给实验者，这将大大方便实验者的调试工作。此外， 网络实验室还用到了虚拟仪器的概念。所谓虚拟仪器，就是在以通用计算机 为核心的硬件平台上，利用虚拟仪器软件开发平台在计算机的屏幕上虚拟出 仪器的面板以及相应的功能，人们通过鼠标或键盘操作虚拟仪器面板上的旋 钮、开关和按键，去选用仪器功能，设置各种工作参数，启动或停止一台仪 器的工作1 4 j 。在电路原理实验中，为了对电流、电压等多种实验信号进行采 集，系统使用了美国安捷伦公司的台式万用表a g i l e n t3 4 4 0 1 a 。该万用表提 供了g p i b ( i e e e - 4 8 8 ) 和r s 一2 3 2 标准接口，p c 计算机可以通过这些接口对 万用表进行操作和控制。这时，如果能有视频系统直接面对万用表的显示界 面，这样实验者不仅能幕了然地看到实验数据结果，更能加强实验者对仪 器操作的能力。 3 、视频监控系统也是加强网络实验室交互性的一一个重要因素。众所周知，学生 在学习的过程中与指导老师的交流是一个在学习过程中必不可少的环节。然 而，网络实验室显然弱化了这个环节。虽然网络实验室提供了完善的帮助体 系，从而给予了学生在解决实际问题时一定的帮助，但这些帮助是有局限性 的。网络实验室中视频服务的提供，并且进一步开发语音功能，将为教师与 实验者进行直接的交流提供一个良好的技术平台。 2 2 相关产品分析 目前，市场上已经有不少专用的嵌入式视频服务器，比如荷兰的 a x i s 2 4 0 0 ( 列通道m p e g 一1 格式) 、台湾一研的产品( 单双四通道，m p e g l 格 式) 等。然而这种基于c s 结构的监控系统虽然在一定程度上降低了系统的复杂 1 甲浙江大学硕士毕业论文 程度，改善了系统的性能，但还是存在系统负荷过于集中在服务器方的问题。 随着系统规模扩大、信息量增多，必然会加大服务器的负担，影响了整个系统。 因此，传统的c s 结构已不能处理由于系统大规模地发展和广域分布所带来的 复杂性问题。考虑到网络实验室的双c s 架构，整个系统只有一个对公网开放 的i p ，而控制端和服务器处于学校的局域网内，使用校内的i p 。如果采用上述 专用的嵌入式视频服务器，那么为了使校外用户能够看到视频，则必须给每 台视频服务器提供一个公网i p 。由于网络实验室具有众多的实验，因此必须向 学校申请众多的公网i p ，这显然也是不现实的。 由此，我们把网络实验室中的视频监控系统同样也设计成双c s 架构，即系 统主要由负责视频信号采集、压缩及传送的视频终端，负责压缩视频信号接收、 存储及调度转发的视频服务器，以及用于压缩视频信号解码、播放及远程监控 的客户端三部分组成。视频终端和视频服务器处于同个学校局域网内，这样 视频数据流都通过一个视频服务器转发，因此实验者只需要通过公网访问视频 服务器即可。 2 3 系统的总体架构 整个系统基于双c s 结构，即由视频终端、视频服务器和客户端三部分组成。 其中，视频终端和视频服务器处于局域网内，而客户端则远程访问视频服务器 以获得实时的视频数据。根据系统实际运行的状况，视频终端可以是p c 计算 机或者是嵌入式系统。前者使用u s b 摄像头，并调用w i n d o w s 提供的v f w 库 函数实现对视频信号的采集。后者采用专用的硬件系统对采集的视频信号进行 编码以大幅减少视频信号传输的数据量，极大地降低了网络传输所需的带宽。 同时该嵌入式系统具有i p 网络接入和网络传输功能的模块，保证将压缩后的视 频信号通过i p 网络传输到服务器。服务器基于线程池技术，分别处理来自视频 终端和客户端的网络连接。此外，服务器还在视频终端和客户端建立虚链路， 从而实现视频数据的转发。客户端部分对接收到的视频数据进行解码播放。在 网络通讯上，系统同时采用了u d p 和t c p 协议，即视频数据基于u d p 协议传 送而命令数据基于t c p 协议。图2 2 给出了整个视频系统的架构。 v 浙江大学硕士毕业论文 该方案将大大降低开发成本。在对视频信号进行采集时，可以使用w i n d o w s 提 供的v j d e of o rw i n d o w s ( v f w ) 库函数。同时，调用相应的编码库函数对采集 的视频信号进行压缩。 2 3 2 綦于嵌入式系统的视频终端 在基于p c 的视频采集终端中，由于视频编码算法具有较为复杂的计算量， 需要占有较多的系统资源。而网络实验室的控制端的主要任务是完成对物理设 备的控制，非视频采集与编码。因此，当控制端应用程序较复杂，或对实时性 要求较高( 如倒立摆实验) 时，基于p c 的视频采集终端显然无法满足实际的 需要。这时，采用专用的嵌入式视频处理系统就显得非常必要。所谓嵌入式系 统，是一种以应用为中心、以计算机技术为基础、软件硬件可裁剪、适应应用 系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统【9 j 。随着 集成电路技术和计算机技术的不断发展，嵌入式系统已经被广泛地应用于通信、 消费电子、工业控制以及监控设备等多个领域。在应用于监控设备的嵌入式系 统中，视频压缩算法和网络传输的实现是这类系统的关键技术。 2 3 2 1 采用a s i c 芯片完成视频压缩 在算法实现上有两种方式供选择：一是采用a s i c 芯片完成视频压缩，在 这类系统中，还采用独立的主控制器，如a r m 核的处理器或其他m c u 等以 完成控制功能和网络传输功能。目前已有数家厂商提供符合m p e g 2 4 ，m j p e g 等标准的压缩芯片，如i n t i m e 公司的i m e 6 4 0 0 、p e n t a m i c r o 公司的 a r 2 0 2 l 省t 2 0 4 1 a t 2 0 4 2 a t 2 0 4 3 系列等等。 下面以i n t i m e 公司的产品为例说明。i n t i m e 公司的i m e 6 4 0 0 是业界最先推 出的4 通道音视频压缩编码a s i c 芯片：视频处理方面，支持单路实时d l 至4 路实时c i f 等格式视频的m p e g 一4 压缩；音频处理方面，支持双声道 m p e g il a y e r 2 ，a d p c m ，u p c m 音频压缩编码。i m e 6 4 0 0 在视频监控、视频 会议、远程教育等领域都有厂一泛的应用。图2 3 所示为基于i m e 6 4 0 0 的4 路c i f 视频输入的视频监控服务器的系统框图。该系统为“音视频压缩a s i c 十m c u ” 结构，m c u 采用a m d 公司微控制器e l a l l s c 5 2 0 。4 通道视频输入解码后送 o 丫浙江大学硕士毕业论文 a q 4 0 4 进行画面合成，合成后的单路b t 6 5 6 视频流直接送i m e 6 4 0 0 进行 m p e g 一4 压缩编码；音频部分，1 2 s 格式音频流直接送i m e 6 4 0 0 进行压缩编码， 编码后的音视频码流通过g p 总线送m c u 进行网络传输【5 j a 4 通道桃额输入 图2 - 3 基于i m e 甜的视频服务器系统闭 2 3 2 2 采用d s p 芯片完成视频压缩 嵌入式视频系统的第一种方案是采用数字信号处理器( d s p ) ，通过软件压缩 算法完成视频压缩，在这类系统中，大多是采用d s p 完成控制功能和网络传输 功能。目前，提供此类d s p 的厂商有t i 公司的t m s 3 2 0 d m 6 4 2 方案、p h i l i 口s 公司的p n x l 3 x x 、p n x l 5 x x 方案和a d i 公司的b l a c k f i n d s p 方案等等。 例如，p n x l 5 x x 是飞利浦在p n x l 3 x x 的基础上推出的新一代产品，其最高 主频为3 5 0 m h z ，它采用d d r 内存接口，集成二维绘图引擎变长解码( v l d ) 图像缩放等硬件模块，支持两个视频输入接口一个视频输出接口，有8 路音频 输入输出接口、p c i 1 0 总线、1 0 门o o m b p s e m a c 接口、1 2 c 接口等。单芯片 呵完成两路d 1 格式的视频m p e g 一4 压缩。图2 4 所示为基于p n x l 5 x x 的视频 服务器系统框图，该系统支持从两路d 1 到8 路c i f 格式视频输入。视频输入 端是两片t e c h w e l l 公司的视频前端处理：卷片t w 2 8 2 4 。每片t w 2 8 2 4 内部集成 4 路视频a d c ，输出端包括个实时输出口x 和一个录像输出口y ，每个输出 口都可以输出从单路实时d 1 至4 路合成c i f 等各种画面格式，两片t w 2 8 2 4 实现8 路c l f 视频输入，合成后的两路b t 6 5 6 视频流分别通过v i p 和f g p i 接 1 节浙江大学硕士毕业论文 口输入到p n x l 5 0 1 e ：音频输入输出直接利用p n x l 5 0 l e 的1 2 s 接口；以太网 物理层芯片l x t 9 7 1 通过标准m i i 接口和m d l 0 接口与p n x l 5 0 l e 连接，实现 一个1 0 1 0 0 m b p s 自适应以太网接口【5 1 。 图2 - 4 以p n x l 卯l e 为核心的视频服务器系统嘲 2 3 2 3 方案的比较与选择 嵌入式视频系统将以其简单、灵活的系统结构和良好的稳定性、可靠性成 为未来一个时期视频监控产品的主流。基于d s p 软件压缩方案的系统，以其强 大的功能、优秀的视频质量、灵活的系统配置成为同类产品中的高端选择；而 基于a s i c 硬件压缩的视频服务器则以其简单的系统结构、较低的成本成为中 低端选择。目前，视频处理d s p 和硬件压缩a s i c 技术都还在持续发展中，这 必将促进数字化和删络化视频监控产品更新和技术的进步。表2 2 给出了两种 方案的性能对比。 表2 五基于d s p 方案和基于a s i c 方案的嵌入式视频系统的性能对比 l 方案嵌入式视频系统的性能对比 r 优点：软件实现视频压缩，算法灵活性好，画面质罱优， 系统升级维护容易 缺 系统开发周期较长，难度较大，成本较高 a s l c优点：硬件实现压缩，开发难得较小，成本较低 缺占算法灵活性小，画面质量一般系统升级困难 考虑到今后系统刀级的力便以及能够在加入运动检测等其他功能，在网络 丫浙江大学硕士毕业论文 u d p 套接字，并断开和服务器的t c p 连接；下面讨论返回正确结果的情况。 7 视频终端对视频进行采集，并打包( u d p 视频数据包) 发送到服务器；服 务器把该包转发到客户端；整个过程中没有确认信息，即只有视频终端到 客户端的数据包；同时，客户端在收到u d p 包后开肩或继续进行显示线程。 8 若客户端要求停止视频，则向服务器发送停止视频的t c p 命令包；服务器 在收到该命令包后，向相应的视频终端发送停止视频的t c p 命令包；视频 终端收到停止视频的t c p 命令包后就停止视频采集，向服务器发送已经停 止视频的t c p 命令包后，但继续保持和服务器的连接；服务器收到视频终 端发来的t c p 命令包后向客户端发送已经停l e 视频的t c p 命令包；客户端 收到已经停止视频的t c p 命令包后就停止显示线程，但继续保持和服务器 的t c p 。 9 若要求视频录像，则向服务器发送要求视频录像的t c p 命令包；服务器收 到后就把该t c p 命令包转发给视频终端：视频终端收到后，就查看是否已 有录像数据，若无，则向服务器发送没有视频录像的命令包，服务器把该 命令包转发给客户端；若有，则向服务器发送有视频录像的命令包，服务 器转发给客户端；下面讨论有视频录像的情况。 1 0 在有视频录像的情况下，视频终端把整个录像文件分解成若干个视频数据 报，通过t c p 数据报发送给服务器，服务器再把该数据报转发给客户端： 客户端在每收到个t c p 数据报就要给视频终端返回一个确认的t c p 命 令：此后，视频终端再发送下一个t c p 数据报。 1 1 当视频终端结束视频录像的发送后，就通过服务器转发给客户端一个结束 视频的t c p 命令，客户端在收到这个命令后就完成了对录像的传输。 1 2 若客户端要求和服务器断开连接，则向服务器发送断开连接的t c p 命令包， 在收到服务器的确认后就可以断开和服务器的t c p 连接，并删除t c p 套接 字和u d p 套接字。 1 3 若视频终端要求和服务器断开连接，则向服务器发送断开连接的t c p 命令 包，在收到服务器的确认后就可以断开和服务器的t c p 连接，并删除t c p 套接字和u d p 套接字。 1 4 服务器列客户端和视频终端继续进行监听。 1 y 浙江大学硕士毕业论文 1 5 有一点要补充的是，在一个客户端和服务器已经连接的情况下，别的客户 端不能和服务器进行连接( 针对于同一个视频终端) 。 2 4 2 通讯过程中的数据包 在整个通讯过程中，用到了三种数据包：t c p 命令数据包、t c p 视频数据 包和u d p 视频数据包。其格式分别如下： ( 1 ) t c p 命令数据包，用来发送连接、视频请求等命令，整个数据包的格式 可以参见表。 袭2 - 3 t c p 命令数据包 包长( 4 字符)数据包类型( 1 字节) 命令类型( 4 字节)命令内容( 4 字节) 包尾( 1 字节) ( o ) 在该数据包中包长就是整个t c p 命令包的长度；数据包类型表示该命令的 类型，根据系统的架构，共有如下几种类型： 表2 - 4 数据包类型 0 客户端与服务器端通讯( c - s ) 1 服务器端与客户端通讯( s - c ) 2 客户端发送给视频终端通讯( c - e ) 3 视频终端发送给客户端通讯( e - c ) 4 视频终端与服务器端通讯( e - s ) 5 服务器端与视频终端通讯( s 一 e ) 命令类型表示该包的主要作用，而命令内容表示相关的参数。其具体的内 容可以参见附录一。 ( 2 ) t c p 视频数据包，用来传送视频录像 表2 5 t c p 视频数据包 包长( 4 字节)数据包类型( 1 字节) 命令类型( 4 字节)命令内容( 4 字节) 视频数据包指针 包尾( 1 字节) ( 0 ) 1 丫浙江大学硕士毕业论文 在视频数据包中，视频数据包指针指向一块视频数据的内存，关于这块内 存的具体结构，可以参加附录二。其他参数设置可以参见t c p 命令包。由于该 类型数据包主要用来传送视频录像，因此其数据包类型为表2 4 中的3 ，命令类 型为控制端视频录像数据包的那个命令。那个命令当方向为e c 时，用到t c p 视频数据包，当方向为c e 时，用到t c p 命令数据包。 ( 3 ) u d p 视频数据包，用来实时传输视频数据 表2 - 6 i n d p 视频数据包 包长( 4 字节)数据包类型( 1 字节) 控制端序号( 4 字节) 视频数据包指针 包尾( 1 字节) ( 0 ) 说明：该数据包只有一种类型，即e c 。视频数据包指针指向一块视频数 据的内存，关于这块内存的具体结构，可以参加附录：二。 2 5 本章小结 本章从浙江大学网络实验室的实际运行情况出发，在解决实际问题的基础 上，从成本、技术可行性、应用场合等情况出发，提出了一整套视频监控系统 的解决方案。 本章首先介绍了网络实验室的总体结构和具体实验，并详细论述了在网络 实验室中安装视频系统的必要性。针对实际情况，给出了网络实验室中视频监 控系统的总体架构，并对具体的实现方案的进行了详细的比较和最终的选择。 最后，本章给出了整个系统网络通讯的过程，并针对系统的特点，提出了 三种通讯协议包。 1 甲浙江大学硕士毕业论文 第三章视频服务器的设计 【摘要】本章详细介绍视频服务器的设计原理和具体实现。整个视频服务器基于线程 池技术，以便应付多个客户端和多个视频终端的连接。同时，视频服务器在客户端和视频 终端之间建立虚链路，以实现客户端和视频终端之间的数据转发。 3 1 线程池技术原理 计算机技术在经历了几十年的发展历程之后，已步入网络时代，各种分布 式应用随处可见，这些应用对系统的响应速度、稳健性和整体性能都提出了较 高的要求。线程池技术是满足这些要求而采用的技术之一，它是组织服务器应 用的有效工具，可以提高系统的响应速度和整体性能。现在的分布式应用一般 都由多种服务器提供支持，这些服务器通常都会面临着来自远程的数量众多、 任务短小的请求。用单个线程来处理所有请求，或对每一个请求都生成一个新 的线程进行处理，这两种模式都不理想，会降低系统的响应速度和性能。线程 池技术为线程创建、销毁的开销问题和系统资源不足问题提供了很好的解决方 案，能有效地提高系统响应速度和整体性能【6 1 。 3 1 1 多线程与线程池 在应用服务器中需要处理从客户端发起的任务请求，这些任务往往具有高 密度、短时间的特性，无论通过什么方式在服务器得到客户端请求后，服务器 都需要独立地处理这个客户请求。针对这个问题，线程池提供了处理系统性能 和大用户量请求之间的矛盾的方法，通过对多个任务重用已经存在的线程对象， 降低了对线程对象创建和销毁的开销。当客户请求时，线程对象已经存在，可 以提高请求的响应时间，从而整体地提高了系统服务的表现。 多线程技术主要解决处理器单元内多个线程执行的问题，它可以显著减少 处理器单元的闲置时间，增加处理器单元的吞吐能力。但如果对多线程应用不 当，会增加对单个任务的处理时间，可以通过下面一个简单的例子来说明【川。 假设在一台服务器完成项任务的时间为t ： t l 为创建线程的时问； 节浙江大学硕士毕业论文 必须招聘新的程序员( 新建线程) ；如果任务一直不足，线程空闲比较多，则可 能要解雇程序员( 终止线程) 。如果某个线程因为意外情况退出( 相当于程序员 辞职) ，也需要薪建线程。 一般而苦，任何一个线程池都应该至少包含下列组成部分： 1 线程池管理器( t h r e a dp 0 0 lm a i l a g e r ) ，用于管理线程池中的具体线程数。 2 工作线程f w o r k1 1 1 r e a d ) ，线程池中线程。 3 任务接口( 协k ) ，每个任务必须实现的接口，以供工作线程调度任务的 执行。 3 1 2 1 线程池模型类 在线程池类中，最大线程数、临界线程数、当前存在线程数、当前工作线 程数是四个最重要的成员变量。 其中最大线程数是当前线程池中最大允许存在的线程数。当有任务到来时， 若当前线程都在工作，且线程数未达到最大值时，则创建新线程；否则，新任 务必须等待，点到有宅闲为其提供任务。 临界线程数是系统设定的线程数临界值。当线程数小于临界值时，新建的 线程在任务执行完毕后保留不被销毁，否则，任务执行完毕该线程即被销毁。 当自口存在线程数是当前线程池中存在的线程数。 当前工作线程数是当i j 线程池中正在工作的线程数。 由此可见，线程池的基本管理功能就是对其中的线程数量的管理，这也是 任何线程池所必须具有的基本功能，根据面向对象的思想，我们设计了线程池 模型的基类c t h r e a d p o o l m o d e l 。图3 1 给出了该类的定义。 该类相当于一个线程池管理器，用于管理线程池中线程的数目。其主要功 能是线程池在对线程进行创建或销毁时对最大线程数、临界线程数、当前存在 线程数、当前工作线程数进行相应的设置和调整。 1 甲浙江大学硕士毕业论文 在线程池要销毁时，就必须结束其中运行的所有线程。同样的道理，线程 要结束时，也需要相应的事件使线程函数跳出循环。例如在上述代码中，只有 当mh e v e n t 2 对象处于信号状态才能跳出循环，从而结束线程函数。 3 1 2 3 工作线程 ：1 ：_ = 作线程是线程池中的每一个在运行的线程。多线程具有在一个程序内部 实现多任务的能力。程序可以把它自己分隔为单独的执行“线程”，这些线程似 乎也同时在运行。在每一个w i n d o w s 应用程序中，一般有一个主线程和多个其 他的线程。创建线程使用c r e a t e t 陆e a d i l l 】【1 2 1 函数，其原型如下： h a n d l ec r e a t e t h r e a d ( l p s e c u r i t y - 町t r 】b u t e sl p t h r e a d a t t r i b u t e s ， d w o r dd w s t a c k s i z e l p t h r e a d s t a r tr o u t n 寸el p s t a n a d d r e s s ， l p v o l dl p p a r a m e t e r ， d w o r d d w c r e a t i o