（信号与信息处理专业论文）基于以太网的视频监控系统研究.pdf

摘要 视频监控系统已广泛应用于政府部门、金融、公安、交通、电力、家庭和企 事业单位等领域。目前所使用的视频监控系统主要是一种单独建立视频监控系 统，需要大量的设备费、工程费、线路费和维修费等，并且具有很多布线，不利 于扩展，给维修维护带来不便，对环境也造成影响。随着计算机网络技术的发展， 网络速度的提高，网络具有充足的带宽资源。 本文研究一种基于以太网的视频监控系统，提出了系统的设计研究方案。采 用t m s 3 2 0 d m 6 4 2 为核心处理器，设计了视频监控系统的视频监控终端的硬件 电路；对视频压缩算法进行了研究，在c c s 环境下，采用c 语言编写了视频监 控终端的软件，实现了视频信号的采集和h 2 6 4 编码标准的视频压缩；在分析了 u d p 、t c p 和l p 等网络协议的基础上，采用t c p i p 协议设计了网络视频传输软 件；在v c + + 环境下，采用d i r e c t s h o w 设计了服务器软件，实现了流媒体的播放， 并进行了实验调试。 该系统能够利用计算机网络实现视频信号的远程实时监控，可节省大量的设 备费、线路费、维修费和工程费，缩短工程周期，提高计算机网络资源的利用率， 具有较高的经济效益，适合我国国情，在政府部门、金融、公安、交通、电力、 家庭和企事业单位等众多领域具有广泛的应用前景。 关键词：视频监控；h 2 6 4 ；t c p f l p 协议；d m 6 4 2 a b s t r a c t v i s u a ls u r v e i l l a n c es y s t e m sa r ea d o p t e di nm a n yp l a c e ss u c ha st h eg o v e r n m e n t d e p a r t m e n t s ，b a n k ，p u b l i cs e c u r i t y ，t r a f f i c ，e l e c t r i c a lu t i l i t y ，h a b i t a t i o nb u i l d i n ga n d e n t e r p r i s e s of a r ，m o s to ft h ev i s u a ls u r v e i l l a n c es y s t e m sa r ei n d e p e n d e n ts y s t e m s ， w h i c hs p e n t h u g ea m o u n t o f m o n e yi ne q u i p m e n t s ，c a b l el a y e r ，r e p a i r a n d m a i n t e n a n c e ，a n dt h ec a b l el a y e ri ss oc o m p l e xt h a ti tc a nr e s u l ti nm a n yt r o u b l e sn o t o n l yi nm a i n t e n a n c eb u ta l s oi ne n v i r o n m e n t s w i t ht h ed e v e l o p m e n to fi n t e r n e t t e c h n o l o g y ，t h eb a n d w i d t hr e s o u r c eo fi n t e r n e ti si m p r o v e dg r e a t l y t h ed e s i g np l a no ft h ev i s u a ls u r v e i l l a n c es y s t e mb a s e do ne t h e r n e ti sp r e s e n t e d i nt h i sp a p e r t h eh a r d w a r eo fv i s u a ls u r v e i l l a n c et e r m i n a lm o d u l eo ft h es y s t e mi s d e s i g n e d ，b a s e do nt h et m s 3 2 0 d m 6 4 2c o r ep r o c e s s o r a n a l y s et h ev i d e oc o d i n g a l g o r i t h ma n dp r o g r a mt h es o f t w a r eo ft h ev i s u a ls u r v e i l l a n c et e r m i n a lm o d u l eu n d e r c c s ，r e a l i z et h ec a p t u r eo fv i d e os i g n a l s ，t h ec o n d e n s a t i o no fv i d e os i g n a l sw i t h h 2 6 4 n e tt r a n s m i s s i o no ft h ev i d e os i g n a l si sd e s i g n e dw i t ht c p i p t h es o f t w a r e o fs e r v e rt e r m i n a li sd e s i g n e dw i t hd i r e c t s h o wu n d e rv c + + r e a l i z et h er e p l a yo ft h e v i d e os i g n a l s w i t hc o m p u t e rn e t w o r k ，t h es y s t e mc a nr e a l i z et h er e m o t ev i s u a ls u r v e i l l a n c e ， w h i c hc a ns a v ee q u i p m e n tc o s t ，c a b l el a y e rc o s t ，e q u i p m e n tm a i n t e n a n c ec o s ta n d p r o j e c tc o s t ，s h o r t e nt h ep e r i o do fi n s t a l l a t i o na n de n h a n c et h eu t i l i z a t i o n r a t eo f c o m p u t e r i tc a nm a k eg r e a te c o n o m i cb e n e f i t t h i si ss u i t a b l ef o rc h i n as t a t u sa n d h a sa p e r s p e c t i v ef u t u r ei nt h es e c u r i t ym o n i t o r i n go fi n d u s t r y ，s u c ha st h eg o v e r n m e n t d e p a r t m e n t s ，b a n k ，p u b l i cs e c u r i t y ，t r a f f i c ，e l e c t r i c a lu t i l i t y ，h a b i t a t i o nb u i l d i n ga n d e n t e r p r i s e k e yw o r d s ：v i s u a ls u r v e i l l a n c e ，h 2 6 4v i d e oc o m p r e s s i o ns t a n d a r d ，t c p i p ， d m 6 4 2 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特另j j ；n 以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得云洼王些太堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者签名： l 孙k 状 q 抖嗍2 叩柚乃日 学位论文版权使用授权书 本学位论文作者完全了解云洼王些太堂有关保留、使用学位论文的规定。 特授权云洼王些盔堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 翩躲灰 签字同期：汐吖年2 月妒 r 甙 袈 1 八 日 l 7 铱乃 签月 作： 刘年 论orl 位 础 靴 w 飙刚字墼 学位论文的主要创新点 一、本文研究一种基于以太网的视频监控系统，提出了系统的设计研究方案；采 用t m s 3 2 0 d m 6 4 2 为核心处理器，设计了视频监控系统的视频监控终端的硬件 电路。 二、在c c s 环境下，采用c 语言编写了视频监控终端的软件，实现了视频信号 的采集和h 2 6 4 编码标准的视频压缩，在分析了u d p 、t c p 和i p 等网络协议的 基础上，采用t c p i p 协议设计了网络视频传输软件，在v c + + 环境下，采用 d i r e c t s h o w 设计了服务器软件，实现了流媒体的播放。 第一章绪论 1 1 视频监控系统的现状 第一章绪论 随着社会的发展和科技的进步，视频监控系统的应用范围逐步的扩大，由传 统的安防监控向管理监控和生产经营监控发展，对远程视频监控系统的要求也日 益增高。 目前，在国内外市场上，主要存在两类视频监控产品： ( 1 ) 模拟视频监控系统。摄像机拍摄的模拟视频信号直接送入电缆，通过模 拟方式进行传输。 模拟视频监控系统采用电缆传输模拟视频信号，信号质量较差，传输距离也 比较有限。而且由于系统的网络结构主要是一种单功能、单向、集总方式的信息 采集网络，需要独立组网，铺设及设备费用高，施工周期长，需要大量的设备费、 线路费、维护和维修费，成本较高，并且具有很多布线，给维修带来不便，对环 境也造成影响。 ( 2 ) 基于p c 的数字视频监控系统。采集摄像头输出的模拟视频信号，将其 转化为数字信号，利用专门的视频压缩卡对视频图像进行压缩处理，通过网络传 送给监控端的p c 机，p c 机接收后利用专门的视频解压卡对视频数据进行解压 缩，实现视频回放i 。 与传统的模拟视频监控系统相比，基于p c 的数字视频监控系统结构大大简 化，而且由于采用了数字化的视频流和计算机网络技术，监控不再受距离的限制， 图像质量较好，抗干扰能力强。但是，视频监控系统需要使用专门的视频压缩 解压卡对视频信号进行处理，造成监控系统体积较大，功耗较高，并且，由于专 用的视频压缩解压卡只能支持某一种压缩编码格式，编码算法无法更新和升级。 同时，系统基于p c 架构，受到计算机中其他硬件和软件的影响，可靠性和稳定 性较差。特别是在一个监控现场需要多个监控点的情况下，在监控端同时对多个 现场进行实时监控，就需要大量的视频压缩和解压缩卡，使得整个监控系统的结 构更加复杂，系统的可靠性和稳定性随之更差。 正是由于目前视频监控系统存在的种种不足，促使人们希望将以太网引入嵌 入式视频监控系统，开发出新的基于以太网的视频监控系统。 天津1 ：业人学硕十学位论文 随着工业自动化系统向分布式、智能化的实时控制方面发展，传统上用于办 公和商业的以太网逐渐被应用于控制领域。究其原因，是由于工业自动化系统的 实时控制中，通信已成为关键，用户对统一的通信协议和网络的要求同益迫切。 另一方面，随着信息技术的飞速发展，要求企业从现场控制层到管理层能实现全 面的无缝信息集成，并提供一个开放的基础架构，而以太网恰恰能够满足这些要 求f 2 1 0 1 2 课题研究的目的和意义 本课题研究的目的是提出一种基于以太网的视频监控系统，采用高性能处理 芯片作为核心处理器，软件实现视频压缩和解压缩算法，视频信号经过压缩和网 络转换处理后，通过系统的以太网口传送到以太网上，由于以太网的开放性，用 户可以在任意时间、任意地点通过网络访问监控系统，从而进行实时监控。 本文研究的基于以太网的视频监控系统将以太网技术与嵌入式技术相结合， 系统采用视频处理专用芯片和实时操作系统，集视频压缩和网络接入为一体，硬 件体积小，可靠性高，管理维护方便。用软件实现视频数据的压缩和解压，易于 升级更新。在远程服务器端，只需安装普通浏览器或客户端软件即可，不用安装 其他的设备，系统的成本大大降低，操作维护方便。能够节省大量建设视频监控 网络的设备费、线路费、维修费和工程费等费用，缩短安装工程周期，提高计算 机网络资源的利用率，可取得显著的经济效益和社会效益，适合我国国情。本系 统具有高度的丌放性、集成性、安全性和灵活性，为视频监控系统和设备的整体 性能提升创造了必要的条件，它不但适用于各类工厂、企业等工业控制场所，而 且在教育系统、科技系统、电业系统、银行系统和公安系统的电话通信及视频监 控方面有着广泛的推广及应用前景。 1 3 本文的主要内容 本文的主要内容为： ( 1 ) 系统总体的方案设计； ( 2 ) 对视频信号的压缩算法进行研究： ( 3 ) 采用t m s 3 2 0 d m 6 4 2 为核心处理器，设计视频监控系统的视频监控终端 的硬件电路； 第一章绪论 ( 4 ) ( 5 ) ( 6 ) 在c c s 环境下，采用c 语言编写了视频监控终端的软件，实现了视频信 号的采集和h 2 6 4 编码标准的视频压缩； 在分析了u d p 、t c p 和i p 等网络协议的基础上，采用t c p i p 协议设计 网络视频传输软件； 在v c + + 环境下，采用d i r e c t s h o w 设计服务器软件，实现流媒体的播放。 第二章系统总体设计研究方案 第二章系统总体设计研究方案 基于以太网的视频监控系统主要由视频监控终端、以太网和服务器组成，其 组成如图2 - 1 所示。 ! 。 视频l 监控终端 视频监控终端主要完成视频采集、视频压缩和网络传输的功能，在监控现场 采集视频图像，将视频图像传入核心处理器进行压缩，再将压缩后的视频信息进 行网络转换处理，转换成基于t c p i p 协议的网络数据包后，发送到以太网上， 传送给服务器，用户在服务器端可以进行实时监控。 视频监控终端选择1 1 公司的高性能多媒体处理器t m s 3 2 0 d m 6 4 2 芯片为核 心处理器。t m s 3 2 0 d m 6 4 2 工作主频高达7 2 0 m h z ，处理性能可达5 7 6 0 m i p s ， 并且具有2 5 6 k 的二级缓存，非常适合于数据量大、实时性要求高的视频监控系 统。 本系统选择新一代视频压缩标准h 2 6 4 为视频压缩处理算法。在相同的重建 图像质量下，h 2 6 4 的码流较小，对信道时延的适应性较强，而且具有较强的网 络适应性，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用l 引。非 常适用于基于以太网的视频监控系统。 第二章视频信号压缩算法 第三章视频信号压缩算法 3 1 视频压缩标准的分类和发展 视频压缩编码标准的制定工作主要是由国际标准化组织( i s o l e c ) 和国际 电信联盟( u ) 完成的。常用的视频压缩标准是m p e g 1 、m p e g 2 、m p e g 4 、 h 2 6 1 、h 2 6 3 、h 2 6 4 等。 m p e g 1 视频压缩标准由国际标准化组织( i s o ) 于1 9 9 1 年制定，是基于一 般低端应用的低端应用的视频、音频的编解码标准，它主要针对像素3 5 2 x 2 8 8 行( c i f 格式) 分辨率和每秒3 0 帧的图像质量，将视频信号和相应的伴音在可 以接受的质量要求下编码成1 5 m b p s 的数据流【4 j 。 m p e g 2 视频压缩标准制定于1 9 9 4 年，设计目标是高级工业标准的图象质 量以及更高的传输率，它追求的是c c i r 6 0 1 建议的图象质量d v b 。h d t v 和 d v d 等制定的3 m b p s 一1 0 m b p s 的运动图像及其伴音的编码标准。m p e g 2 也可 提供广播级的视像和c d 级的音质。由于m p e g 2 在设计时的巧妙处理，使得大 多数m p e g 2 解码器也可播放m p e g 1 格式的数据( 如v c d 等) 。因为m p e g 2 可以提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及带宽 的要求，所以除了作为v c d 和d v d 的指定标准外，m p e g 2 还可用于为广播、 有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g 4 视频压缩标准目的是基于i p 的视频传送，其最大优点是考虑了网 络的传输问题，而且可在压缩品质和压缩量上取得最佳平衡，以确保传输时的流 畅。m p e g 一4 利用很窄的带宽，通过帧重建技术来压缩和传输数据，以求利用最 少的数据获得最佳的图象质量。m p e g 4 标准主要应用于视频电话，视频邮件和 电子新闻等。从原理来看，m p e g 4 的编码出发点与m p e g 2 相比则有较大的差 异。m p e g 4 技术从技术角度来看，m p e g 4 标准与m p e g 2 标准的基点大相径 庭，m p e g 4 不再将图像看成是一个矩形像素阵列的序列，把音频看成是一个多 声道或单声道的声音，而是深入到组成一个场景的视频、音频对象的语义中去， 对不同的主体采用不同的编码方式。各种音视频的来源不限于自然界，也可以是 合成源，最终在解码端进行组合，因此m p e g 4 是完全基于对象的一种编码方式。 m p e g 4 采用了比m p e g 2 更为先进的压缩方式，基于内容的压缩、更高的压缩 比和时空可伸缩性是m p e g 4 的3 个最重要的特点。m p e g 一4 主要针对于低码率 天津一i ：业大学硕十学位论文 场合应用，适用范围相对来说更宽。从发展趋势上看，m p e g 4 的进一步发展， 主要适用于基于对象的查询，并将在口网络上会得到进一步发展1 5 l 。 h 2 6 1 图像编解码标准：国际电信联盟电信标准化组织( i t u t ) 制定 的关于n x 6 4 k 速率下的会议电视视频编码的标准。i t u t 制定的关于视频编码 的国际标准，广泛用于h 3 2 0 、h 3 2 3 会议电视系统。它提供q c i f 、f c i f 两种 编码格式。 h 2 6 3 视频压缩标准是i t u t 关于低速率下电视会议视频编码标准，这个标 准在h 2 6 1 的基础之上加以改进，在低速率下能得到更好的图像质量的一个编码 标准。主要用于低于3 8 4 k 速率的应用场合，在低速的h 3 2 0 、h 3 2 3 、h 3 2 4 等 会议电视系统应用广泛。它提供了s q c i f 、q c i f 、c i f 、4 c i f ，1 6 c i f 五种编码 算法。 目前，用于数字视频监控的视频压缩标准主要还是h 2 6 1 和m p e g 4 ，他们 的核心技术都是离散余弦变换( d c t ) 和运动补偿算法。主要思想是通过减少每 帧图像之间时问上和空间上的冗余性和相关性信息来压缩视频数据，在实际应用 中存在着一些弊端。第一，它们网络适应性差，不能根据网络情况自适应地调节 传输率；第二，不能充分利用现有的网络资源，使得系统建设的成本很高；第三， 随着技术的发展，它们提供的压缩率己不能满足目前视频监控系统的多种需要。 另外，随着计算机及多媒体技术的发展，用户对视频质量和实时性需求提高。这 些都要求一种新的视频压缩标准的出现。 3 2h 2 6 4 视频压缩标准 h 2 6 4 是2 0 0 3 年3 月发布的一种高性能的视频编解码技术，它是由l t u t 和i s o 两个国际组织联合组建的联合视频组共同制定的新数字视频编码标准。 h 2 6 4 在设计上将整个编码系统分成视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和 网络提取层n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 两个具有不同概念的层次，h 2 6 4 算法的分层结构如图3 - 1 所示。 视频编码层v c l 主要负责对数字视频进行高效编解码，提供具有高质量、 高压缩比、健壮性、可分级等特性的视频编码码流，是整个h 2 6 4 视频编码标准 的核心部分。 网络提取层n a l 主要负责将视频编码层v c l 产生的视频编码数据正确地映 射到不i 司的传输网络中去。当v c l 产生的编码视频比特流将在某种特定网络中 传输时，n a l 针对这种网络及其传输协议的特性，对v c l 的编码码流进行适合 第三章视频信号压缩算法 该网络及其传输协议的封装。这样h 2 6 4 就可以在面向不同的传输网络时，灵活 的提供不同的封装方式，增强了网络的适应性1 6 1 。 h 2 6 4 a v cc o n c e p t u a ll a y e r v c lv c l e n c o d e rd e c o d e r 一一一一一一一士一一一v c l 一n a l i n t e r f a 一。e 一 一一一一i v 二c l f 一 n a ln a l e n c o d 盯d e c o d e l 0 1 n l e n c o d c ri r i t e r f a c e id e c o d c ri n t c r f a c e ， l i 协p o n 蛳7 i 眦舭m i 图3 - 1h 2 6 4 算法的分层结构 h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码、高精度且多模式 的运动估计、基于4 x 4 块的整数变换、分层的编码语法等。这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的码率下，比m p e g 4 能够获得更高的主客观 质量。同时，h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力，能够很好 地适应口和无线网络的应用，与m p e g 一4 相比，这正是h 2 6 4 的优势所在。 3 3h 2 6 4 特点 h 2 6 4 和其他几种视频压缩标准相比，同属于预测变换的混合编码架构， h 2 6 4 在预测、变换、量化和熵编码这些基本功能单元上变化很小，只是在具体 的功能细节实现上有所不同，其关键技术特点如下： ( 1 ) 高精度、多模式运动估计 h 2 6 4 支持1 4 或1 8 像素精度的运动矢量。使用1 4 或1 8 像素精度的运动 的精度下，h 2 6 4 在帧问编码中所需的码率更小。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被分为不同的子块，形成7 种不同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动 物体的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可 以包含有1 、2 、4 、8 或1 6 个运动矢量。 ( 2 ) 多种帧内预测编码模式 为了提高编码效率，h 2 6 4 采用帧内预测的技术。帧内预测并不是h 2 6 4 所 独有的，但是相对其它编码标准中的帧内变换是在变换域中进行的情况，h 2 6 4 天津i ：业人学硕十学位论文 的帧内预测是在空间域中进行的。对于给定的宏块，h 2 6 4 首先根据其周围的宏 块做出预测值，然后对这个预测值和实际值的差值进行编码，这比直接变换编码 更有效。同时，h 2 6 4 还定义了两种亮度块帧内预测方式：i n t r a4 x 4 和i n t r a l 6 x 1 6 。 其中i n t r a4 x 4 适合图像中细节较多的部分，而i n t r a1 6 x 1 6 更适合相对平滑的部 分。i n t r a4 x 4 和i n t r a1 6 x 1 6 帧内预测方式中又细分了多种预测模式，适用于图 像中不同纹理方向上的预测1 7 j 。 ( 3 ) 4 x 4 块的整数变换 与先前的标准相似，h 2 6 4 对残差采用基于块的变换编码，但变换是整数操 作而不是实数运算。这种方法的优点在于：在编码器中和解码器中允许精度相同 的变换和反变换，避免了在反变换中因为取舍而存在的误差问题；变换的单位是 4 x 4 块，而不是以往常用的8 x 8 块。由于用于变换块的尺寸缩小，运动物体的划 分更精确，这样，不但变换计算量比较小，而且在运动物体边缘处的衔接误差也 变小；变换的核心算法没有乘法，只进行加法和移位运算，提高了运算速度。 ( 4 ) 增强的熵编码方案 h 2 6 4 中熵编码有两种方法：一种是对所有的待编码的符号采用统一的v l c ( u n i v e r s a lv l c ) ，另一种采用内容自适应的二进制算术编码c a b a c ( c o n t e x t - a d a p t i v eb i n a r yc o d i n g ) 。u v l c 使用一个无限长度的码字集，设计 结构非常有规则，用相同的码表可以对不同的对象进行编码。这种方法很容易产 生一个码字，而解码器也很容易地识别码字的前缀，u v l c 在发生比特错误时能 快速获得重同步。q 蛆a c 是可选项，在甚低码率和高码率的情况下编码性能比 u v l c 好，因为它用不到l b i t 就可以表示一个符号，算术编码的效率比v l c 高 5 0 ，但它计算复杂度也高。 ( 5 ) 去块效应滤波器 基于分形编码的压缩标准都会存在块失真效应，为解决这个问题，在h 2 6 4 中使用一个环形滤波器对1 6 x 1 6 宏块和4 x 4 宏块的边界进行去块效应滤波。去块 效应滤波器应用在反变换后，宏块重构前，根据宏块中每一个块的位置和量化参 数的不同，对每一条块边界设置不同的滤波强度，自适应的调整滤波效果。通过 这种自适应调整强度的解块滤波，有效地改善解码图像的主观视觉质量。并且在 编码器中用滤波的宏块作运动补偿时，可以减小预测残差，提高压缩效率【引。 第三章视频信号压缩算法 3 4h 2 6 4 的原理 3 4 1h 2 6 4 编码器 与较早的视频编码标准一样，h 2 6 4 并没有明确的定义数字信号的编解码器， 而只是定义了编制视频码流的语法和语义以及解码的方法。h 2 6 4 编码器框架如 图3 2 所示。其基本的功能单元( 如预测，变换，量化，熵编码) 和以前的标准 相差较小，与众不同主要体现在各个单元的实现细节上。从图3 2 可以看出h 2 6 4 编码器包括两个数据流处理路径：前向路径和后向路径。 前向路径：输入待编码帧e ，对其每个块进行帧内帧间编码。当帧间编码 时，通过e 一来预测，经运动估计、运动补偿得到预测值p ；当帧内编码时，通 过u f 来预测，经过帧内预测过程得到预测值 ， 与当前帧e 形成预测残差p p d ，将d 进行变换、量化、熵编码处理，形成的系数码流经过n 黻形成最终 编码流。 后向路径：为了进行预测编码，编码器需要对每个块进行重建以作为下次编 码的参考块，即系数d 经反量化、反变换形成重建残差d ，d 与p 相加得到了 重建块，为了减少分块效应可以经过去块滤波器形成e 的重建帧e 1 9 l 。 图3 2h 2 6 4 编码器框架 天津i ：业人学硕+ 学位论文 3 4 2h 2 6 4 解码器 h 2 6 4 解码器构造相对简单，解码器框架如图3 3 所示，码流进行解码时需要 经过以下几个阶段：( 1 ) 码流提取；( 2 ) 熵解码和反扫描；( 3 ) 反量化和反 变换；( 4 ) 环路滤波；( 5 ) 帧间和帧内预测1 1 0 1 。显而易见，解码流程中各模块 的实现是编码的逆过程，其中的很多算法和原理与编码器相同。 图3 - 3h 2 6 4 解码器框架 第四章视频监控终端的硬件设计 第四章视频监控终端的硬件设计 4 1 视频监控终端组成 视频监控终端由视频采集、以太网接口、存储器扩展、1 2 c 总线控制、电源 与时钟等主要模块组成，其框图如图4 - 1 所示。采用模块化设计的思想进行划分 和设计，系统架构清晰，也便于硬件的扩展和升级。 视频 粟集 模块 ：一一一一一一一一j 图4 1 监控终端的总体结构 下面对视频监控终端主要模块的功能进行一下介绍。 ( 1 ) 视频采集模块。 视频采集模块是本系统最关键的、最重要的部分。d m 6 4 2 的三个视频接口 v p 【2 ：0 】一共可以配置为6 路的视频输入或输出，本系统配置了4 路的视频输入 和1 路的视频输出。从摄像头输出的p a i 小r r s c 制式的模拟视频信号经过视频 解码器，转换成b t 6 5 6 格式的数字信号，送入d m 6 4 2 的视频口进行压缩处理。 1 路的视频输出用于本地预览或测试，从d m 6 4 2 的视频口输出的数字格式视频 通过视频编码器，转化成模拟视频信号传送给显示器，可以在本地进行观察。 ( 2 ) 以太网通信模块 d m 6 4 2 片上具有1 0 1 0 0 m b s 以太网接口( e m a c ) ，对网络具有较好的支 持性，在外部连接以太网收发芯片和网络变压器即可工作。处理后的视频数据经 过打包，通过e m a c 发送到以太网上，传送给远端服务器。 ( 3 ) 存储器扩展模块 天津：j ：业大学硕十学位论文 由于视频数据量比较大，而d m 6 4 2 内部存储空间有限，因此需要在片外扩 展数据存储器；同样的，由于程序空间的限制以及系统产品化的要求，也需要对 程序存储器进行扩展。在视频监控终端中，扩展的s d r a m 用于暂存原始视频图 像数据，f l a s h 用来存放应用程序。扩展的存储器均通过d m 6 4 2 的e m i f 映射 到内部存储空间。 ( 4 ) 1 2 c 总线控制模块 d m 6 4 2 片上集成了一条1 2 c 总线，在本系统中，d m 6 4 2 作为1 2 c 总线的主 设备，为1 2 c 总线连接了以下从设备：视频编、解码器的控制口和实时时钟，采 用1 2 c 通信标准，实现对视频编、解码芯片的初始化、功能配置以及实时控制。 ( 5 ) 启动与电源模块 本模块保障系统的正确运行。 4 2t m s 3 2 0 d m 6 4 2 处理器 t m s 3 2 0 d m 6 4 2 是t i 公司的专用于视频处理的高性能数字媒体处理器，具 有2 5 6 k b 的二级缓存；3 个双通道视频口，最多可配置为6 个8 位视频口，非 常适合于实时视频监控系统。 t m s 3 2 0 d m 6 4 2 采用第2 代v e l o c i t l 2 超长指令字节结构，在6 0 0 m h z 时钟 频率下，每个指令周期可并行运行8 条指令，处理能力达4 8 0 0 m i p s ，与c 6 4 x 具有完全的软件兼容性。下面分别从内核结构、存储器体系结构和外设接i z l - - - 个 方面分析t m s 3 2 0 d m 6 4 2 的特点。 ( 1 ) t m s 3 2 0 d m “2 ( 以下简称d m 6 4 2 ) 内核结构如图4 2 所示。d m 6 4 2 采用了数据总线和程序总线分开的哈佛总线结构，能够同时取指和取操作数。 c p u 内部有两个通用寄存器组a 和b ，8 个独立的运算单元l 1 、s 1 、m 1 、d 1 和l 2 、s 2 、m 2 、d 2 ，除取指令和存指令之外的所有指令都对寄存器产生影响。 第二代v e l o c i t l 2c p u 内核结构是在第一代v l i w 内核结构的基础上进行了扩 展，支持4 个1 6 位和8 个8 位连乘加m a c 指令，提高了运算的并行度；内部 寄存器的数量增加了1 倍，存取的数据通道也从3 2 位增加到6 4 位，使带宽加 倍：改善了j 下交设计，让使用频繁的指令能够获得更多的功能单元1 1 1 1 。 ( 2 ) d m 6 4 2 采用完全的存储器分层体系结构，如图4 3 所示。d m 6 4 2 采用 l 1 l 2 两级缓存结构，第一级包括1 6 k b 的l i p 程序缓存和1 6 k b 的l 1 d 数据缓 存，分别由l 1 p 缓存控制器和l 1 d 缓存控制器直接连接到d m 6 4 2 的c p u 内核， 工作在全速访问状态，只能作为高速缓存使用：第二级l 2 是一个统一编址的 第四章视频监控终端的硬什设计 2 5 6 k b 的程序数据空间，可灵活进行分配，既可以整体作为s r a m 映射到存储 空间，也可以整体作为第二级缓存，或者二者按比例组合使用。l 1 p 、l 1 d 、l 2 缓存控制器自动完成分层存储器体系结构的管理和调度，真正意义上的存储器控 制器，作用相当于总线丌关1 1 捌。 数抛通路i数抛通路2 寄存器堆a a 1 5 一a o a 3 l a 1 6 寄存器堆b b 1 5 一b o b 3 l b 1 6 l ls i m l d l | iid 2m 2s 2l 2 舣6 4 位红陬通路 图4 2c 6 4 xd s p 的内核结构图 d m 6 4 2 对外部存储器和片上外设的访问通过e d m a 来完成，c p u 只对l 1 的数据进行访问，程序代码和数据必须经过外部存储器到l 2 ，l 2 到l 1 的逐级 搬移才能被c p u 访问。l 2 存储单元和外部设备的数据交换由e d m a 控制器控 制。 i l l ：p 6 c 挚a e 卜 _ e m l f ： l 2 d m “2 内核 c a c h e e d m 【a m e m o r y - 控制器 ： 2 5 6 k b d 6 c 挲a ci h _ 片上外设 图4 - 3d m 6 4 2 内部存储器分层体系结构 ( 3 ) 与通用d s p 处理器相比，d m 6 4 2 在c 6 4 x 的基础上增加了许多外围设 备和接口，更适合多媒体信息的处理。主要接口包括： 1 个6 4 位的外部存储器接口( e m i f ) ，能够与大多数异步存储器( s r a m 、 e p r o m ) 及同步存储器( s d r a m 、s b s r a m 、z b t s r a m 、f i f o ) 无缝连接， 最大可寻址外部存储器空间为1 0 2 4 m b ； 天津t 业人学硕士学位论文 1 个具有6 4 个独立通道的增强型直接内存访问控制器( e d m a ) ； 3 个可配置的双通道视频口( v p ) ，每个视频口有2 个视频通道，并可由软 件配置为输入或输出口，具有视频滤波、水平缩放的功能，可直接与视频器件无 缝连接，支持b t 6 5 6 、数字，r v ( s d t v 和h d t v ) 格式、原始视频i 0 ，每个 视频口可支持8 1 0 1 6 2 0 位； 1 个1 0 1 0 0 m b s 以太网接口( e m a c ) ，符合i e e e8 0 2 3 标准，与数据管 理输入输出模块m d i o 配合使用，可以非常方便地实现以太网接入； 2 个多通道缓冲串口( m c b s p ) ，可以配置为多种同步串口标准，如t 1 e 1 标准、a c 9 7 标准、i i s 标准等； 1 个1 2 c 总线模块； 1 个用户可配置的1 6 3 2 位主机接口( h p i ) ； 8 个通用i o 口( g p i o ) ； 灵活的p l l 时钟发生器。 d m 6 4 2 采用内核和外部帕分开供电的方式，其中内核电压为1 4 v ，i o 电 压为3 3 v 。芯片采用5 4 8 p i nb g a 封装，与d m 6 4 0 、d m 6 4 1 等具有良好的管脚 兼容性。 从上面的对d m 6 4 2 的内核结构、缓存体系和外设接口的分析来看，d m 6 4 2 是一个强大的多媒体处理器，具有丰富的外设接口，非常适用于构建基于以太网 的视频监控系统。d m 6 4 2 的完全的可编程性，使其能够兼容各种多媒体的标准， 构成通用的软件平台。 4 3 视频接口模块 4 3 1 视频端口 t m s 3 2 0 d m 6 4 x 系列芯片上都集成了专用的视频口( v i d e op o r t ，v p ) ，这 种专用的视频口可以与视频编、解码芯片实现无缝连接，而不需要添加f i f o 芯 片。这是专为视频应用设计的高速并行接口，与其他通用d s p 的e m i f 相比， 传输效率更高，与采集和显示器件的接口更简单。 d m 6 4 x 系列芯片的视频口数目不同，但结构和功能相同，每个视频口可以配 置为视频采集口、显示口或者传输流采集口( t s i ) 。作为视频采集口，采集速 率高达8 0 m h z ，每个视频口有1 个1 6 2 0 位数字视频输入通道，输入格式为y c b c r 4 ：2 ：2 ，有2 个8 1 0 位数字视频输入通道，视频格式为l t u rb t 6 5 6 ，支持y c b c r 第四章视频监控终端的硬什设计 4 ：2 ：2 到y c b c r4 ：2 ：0 的水平变换。作为视频显示口，显示速率高达1 1 0 m h z ，每 个视频口具有1 个连续数字视频通道，格式为8 1 0 位i t u rb t 6 5 6 信号，还有1 个视频输出通道，输出流的格式是y c b c r4 ：2 ：2 ，支持y c b c r4 ：2 ：0 到y c b c r4 ：2 ：2 的水平变换。作为传输流采集口，接收来自解调器的或者前向纠f 器等前端设备 的8 位并行数据，最高可达每秒3 0 m b l l 3 j 。 d m 6 4 2 上集成了三个视频口v p 2 ：0 1 ，每个视频口被分为上( b ) 、下( a ) 2 个通道，可以被配置为视频输入口或视频输出口，但是上( b ) 、下( a ) 2 个 通道只能同时被配置为输入口或者输出口，不能一个通道配置为输入口，另一个 通道配置为输出口。每个视频口有下列信号： ( 1 ) 2 0 - 位数据线：v p x d 1 9 ：0 1 ，作为数字视频流数据总线。作为8 位视频 口时，使用1 0 位数据线中的高8 位，即v p x d 9 ：2 】或v p x d 1 9 ：1 2 】。 ( 2 ) 2 个时钟信号：v p x c l k 1 ：0 1 ，当配置为单通道视频输入1 3 时，v p x c l k 0 作为视频源输入时钟，v p x c l k l 无用；当配置为单通道视频输出口时，v p x c l k l 作为视频源输出时钟，v p x c l l ( 0 作为输入时钟；当配置为双通道视频输入口时， v p x c l k 0 为a 通道输入时钟，v p x c l k l 为b 通道输入时钟。 ( 3 ) 3 个控制信号：v p x c t l 2 ：o 】，可配置为行同步、帧同步、场标识、视 频采集使能信号。 d m 6 4 2 的视频口有一个2 5 6 0 字节的视频f i f o ，用来存储输入输出的视频 数据，采用e d m a 方式对数据进行访问。视频f i f o 在不同的视频采集和输出模 式下有不同的配置，例如在b t 6 5 6 视频格式下，视频f i f o 被分成两个通道a 和b ，每个通道又分成y 、c b 、c r 亮度和色度分量三个缓存区，享有不同的写 指针和读寄存器( y s r c x ，c b s r c x 和c r s r c x ) 。同样地，在视频输出时， 每个通道也分成y 、c b 、c r 亮度和色度分量三个缓存区，享有不同的读指针和 写寄存器( y d s t a ，c b d s t 和c r d s t ) 0 4 j 。 在本系统中，设计了4 通路的视频输入接口和1 个通路的视频输出接口。 v p 0a 口、v i a la 口、v p 2a 口、v p 2b 口分别接口第1 、2 、3 、4 通道的视频 输入，同时v p 0a 口也接口第1 通路的视频输出，这两种工作模式不能同时进 行，后面将对此进行详细说明。v p o b 和v p l b 在系统中实现m c a s p 功能。 4 3 2 视频采集部分 本系统设计了4 通路的视频输入来实现视频采集，图4 4 为其中1 通路的视 频采集框图。从摄像头采集到的模拟视频信号经过视频解码芯片，转换为b t 6 5 6 格式，送入d m 6 4 2 的视频输入端口，进行压缩处理。 天津i ：业人学硕十学何论文 视频解码芯片选用的是t l 公司的t v p 5 1 5 0 ，这是一款高性能视频解码器， 可将n t s c 、p a l 视频信号转换成数字色差信号y u v 4 ：2 ：2 ，支持两个复合视频 或一个s 端子输入。输出内置同步信号的8 位b t 6 5 6 格式数字视频，并可为外 部编码器提供同步信号。采用1 2 c 接v i 可对亮度、对比度、饱和度等视频属性进 行调节，外部只需一个1 4 3 1 8 m h z 的晶振即可支持多种视频制式。不仅如此， t v p 5 1 5 0 还具备了封装小( 3 2 脚的t q f p ) 、功耗小的特点( n c _ s y s t e m o p e n ( ) 一 _ m m b u l k a l l o c s e g ( ) - c f g n e w ( ) 一 c f g a d d e n t r y ( ) - n c n e t s t a