（电子科学与技术专业论文）基于yhftdsp的网络视频监视系统设计与实现.pdf

国防科学技术大学研究生院学位论文 a b s t r a c t n e 铆o r k 访d e o 姒e i l l a i l c es y s t e mi sm ec u n th o ts p o to fv i d c os u r v e i l l 觚c e 1 1 1t h i s p a p e r a 珏珏如p 吐lf e s e a r c hi sm a 如o fu d e oc o 麟瓣s s i 傩破g o 五t l 搬so fm p e g - 4 o nt h i s b a s i s ，t i l i sp 印燃d e s i g 搭强di m p l e m e n 耄s 抽暇1 w a 砖s y s t e ma n dt h ec o f r e s p o n d i i l g 盈孤w a r co f n c r kv i d e o 跚w i l l a n c e r v e r a n dd c v e l o pan c 觚o r kv i d e 0 鲫r v e i l l a n c ec l i e n ts o f t v 煅 s y s 稔激珏e 烈l 诵g 啪壤强d 豫转教h 豫瓣埝k 畦妊珏岫。 f i r s t v i d e oc a p t u r em o 叫ed e s i 鲈：确em o d u l ei si m p l e m e 疵db yc p l dl o g i c t h ey u v q u c n c e ，o f w h i c ho u t p u tf o 鼬a ti s4 ：2 ：2 ，i sr e s 锄p l 砸t 04 ：2 ：o ；t o 缸i l i t a _ t eb l o c ks e 蛐e n t 缄i o n i n 勤l l o we 碱鹳，y ，u ，va r e 雕蹴l y 渤f e d 主王l 龇m 锄链暇主nd i 融n t 托g 妇；阮妇g 臁 c h a n j 萨o fc o n t r o lr e g i s t c rc a nc h o o s ed i 行i c r e n tr e s o l u t i o nf 1 0 r 鞠m p l i l l g ；t bm e e tt h en e e do f f e 采缸p f o 辨誉移 d o u b l e b 斌e ri sd e s i g n e d 。 s e c o n d ，访d c oc o d 堍m o 硼ed e s i 弘：o n 龇b a s i so fm - d 印协f e s e a r c ho f 御e g 4 ，m e s e a r c ha l g o 删搬o fn 1 0 t i o ne s t i l l l 撕o ni s 批e d ，w t l i c hi s 蛐g c o r r e c t l y0 nd s p 强琏跣魄翘鳓i s s i 鼹黝越e & s i 鼹：豫嬲曲l ei s 曲s i g 谳融泌髓代p ，璎 p r o t o c o l ，w k c hr e s p o n d st 0t h er e q l l e s t so f 洲t i l o r i z c du s e r so nn e 如的r ka n d n dm p e g 4v i d e o s 协e a l 嫩n g f o 曲，c l i 馓ts o 脚a r ed c s i 弘：t h es o 撕勰麟so nw 蕊o w s 南a s e dp cp l a t f o 越，删i s d e v e l o p e d b yv c ，砌c hi n c l u d 呐d a t ar e c e i v 堍，v i d e od e c o d i l l g ，v i d e od i s p l a y ，哟r a g e 姐d s e a e h t h ee x p e 棚糙s u l t ss h o wm a t ：i l lt h i s p a p e r ，m ed e s i 萨o ft h en 曲0 r kv i d e o s u r v e i l l a n c es e r v c rc 觚h i e v e2 5 邱so nq v g af o r m a ti m a g ed a t a ；弧l ec l i e n ts o f h 硼r ec 觚 裁毯e v c 翻程制氇yv i d e o 如堍羚e e i v 遗g ，e 诞遗g ，a 耐越蹭l a y 遗糟越一斑辩；协呶辩落渤如： 孤l dc 姐b er e t r i 酬a np l a y o nt h c 、) v ：i 的l e ，i ta c l l i e v et h e 姐t i c i p a t e dr e s u l t k e yw o r d s ：v i d e os u r v e i a n c e ，y h f t d s p ，c p l d ，d i g i t a li m a g e s ，v i d e os a m p i e ， v l d e op 野d c e s s l 羚g ，￥l d e op l a y b a c k 。m p e g 善 第i i 页 国防戳学技术大学研究垒院学位论文 图目录 图1 1 图2 1 图2 。2 图2 3 图3 1 图3 2 图3 + 3 图3 4 图 图 图 图 5 6 7 8 图3 9 图4 1 图4 2 图4 3 图4 4 图4 5 图4 。6 图4 7 图4 8 图4 9 图4 1 0 图4 1 l 图4 1 2 图4 1 3 图4 1 4 图4 1 5 图5 1 图5 2 圈5 3 图5 4 “银河飞腾d 4 1 j i 总体结构图3 网络视频监控系统结构7 数字摄像头硬件组成图8 视频监控软件结构1 0 四种采样格式l3 采集子系统结构1 4 采集系统硬件互联图。l5 图像传感器o v 7 6 4 0 功能结构图1 6 行输出时序图16 帧输氐时序圈1 6 4 ：2 ：2 采样格式、4 ：2 ：o 采样格式、j v 分离存储l7 采集系统状态转换机。ls 分辨率6 4 0 宰4 8 0 采集时序图2 0 m p e g _ 4 码流结构层次图2 3 三种帧预测方式2 3 d p c m d c t 视频编码2 4 二进制愆p h a 平蘧2 5 l o e f ! f l e r 算法流图2 7 b e 爨e r 算法的三种因子2 7 z i g z a g 扫描顺序3 l m p e g 4 编码流程3 3 宏块编码流程3 4 u n p a c km b 3 5 p a c km b 3 5 多宏块处理缓冲分配3 6 菱形搜索模扳3 6 菱形算法3 种步骤3 7 四种搜索算法搜索点数的测试续果3 8 i p v 4 帧格式3 9 服务类型位格式3 9 k p 的包丢失与重传机制4 l t c p 段格式4l 第l v 页 国防科学技术大学研究生院学位论文 图5 5w 310 0 a 框图。4 3 圈5 6r m a r 与s r “ 图5 7t c p 被动模式连接建立的状态转换“4 5 图5 8t c p 被动模式断开连接的状态转换4 5 鎏5 。9 发送过程的指锋管理4 6 图5 1 0t c p 数据发送过程4 6 图5 。llk p 数据接收过程。4 7 图5 1 2 数据发送流程4 8 图6 1通道属性设置对话框：。4 9 图6 2 连接建立过程5 0 图6 3 接收数据流程5 l 图6 。毒e ( 汹解码流程：j 5 2 图6 5 宏块编码流程5 3 图6 6c b p 结构。5 4 图6 7 运动向量选择5 4 图6 8w i n d o w s 图形组件之间联系5 6 图6 9 视频监控界面。5 8 图6 1oo d b c 各部件之间关系5 9 鍪6 。l i查询窗西- 6 l 图6 1 2 查询结果6 l 第v 页 国防科学技术大学研究生院学位论文 表目录 表3 1s i z e 寄存器参数1 9 表4 1各种快速d c t 算法比较。2 7 表4 2d c 标尺2 9 表4 3 帧内量化矩阵3 0 表4 。凄帧闯量化矩阵3 0 第页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我掰知，除了文中特鬟著以标注和致谢蟪地方磬，论文中不包含莫稳人惑 经发表和撰写遂的研究成果，也不包含为获得圈防科学技术大学或其它教育机构的学 位或证书而使用迸的材料。与我一同工作的同志对本研究所儆的任何贡献均己在论文 中俸了明确戆说明箨表示谢意。 学位论文题尽： 基王羔g 曼堡墼里鲤邈缝塑塑鳖趣垂缝遮选曼塞埋。 学位论文作者签名： 主西蕊熬 日期：冀一嗡年l 珂抽酾 学位论文版权使用授权书 本人完全了解国防干斗学技术大学有关保镶、使用学位论文的规定。本人授权国 防种学技术大学可以保留并向冒家有关部门或机构送交论文的复带件和电子文档，免 许谂文被查溪静岱漓；可淡祷学位论文戆全部或帮分内容缓入有关数据霹避擂检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密学位论文在解密麓适用本授衩书。 学位论文题爨： 蒸主婆呈羔：箜呈煎瑟整塑楚燕煎垂缝遗荭萋塞毽 学位论文作者签名：翅墓熟日期：2 一- 易年，周，d 日 作者指导教耀签名： ：歪盖囊盘燕是 誉鬻：彩年，筒嚣 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题研究背景 随着信息技术不断进步，安防成本逐渐降低，安全的重要性日显重要，视频监控广泛 的应用于各个领域。当前世界各国对公共安全的重视达到前所未有高度，视频监控作为安 防领域的重要分支，面临着良好的发展契机。传统视频监控主要应用于金融系统、政府机 关、大型酒店等，现在不断向高速公路、住宅小区、学校、医院等领域渗透。英国早在八 十年前就有了全世界最早的视频监控系统，目前已有四百多万个监控摄像头，遍布英伦三 岛的大街小巷，视频监控管理体系先进，是目前世界视频监控建设及应用水平最高的国家 【l 】网。欧洲其他国家如德国、法国、意大利也基本上建立了覆盖全社会、各行业的信息网 络，行政管理依托网络运行【2 】。我国作为一个大国，尽管在视频监控方面起步晚，但目前 发展很快。据有关数据显示，2 0 0 6 年中国在安防领域投入达1 0 0 多个亿，并且，这个数 字还在每年以2 0 的速度增长例。 1 1 1 视频监控发展概况与应用 视频监控技术是多媒体技术、计算机网络、人工智能和工业控制等技术综合运用的产 物，它正朝着音视频数字化、系统网络化、管理智能化方向不断发展【4 】。视频监控发展主 要经过了三个阶段： 1 模拟视频监控系统阶段 时间从七十年代末到九十年代中期，这段时间视频监控主要由摄像机、视频矩阵、监 视器和录像机组成。来自不同摄像机的图像通过视频矩阵主机显示在监视器上，监控操作 员通过键盘的i o 方式控制切换、存储、回放这些图像。近距离传输采用模拟电信号，远 距离传送采用模拟光纤信号。模拟信号没有数字信号因量化而造成的损失，因此图像质量 较好。系统特点如下： ( 1 ) 模拟信号衰减厉害，传输距离受到限制； ( 2 ) 带宽需求很高，配置不灵活： ( 3 ) 监控员长期盯着屏幕易疲劳，易误判或漏判； ( 4 ) 因视频信息的巨大存储容量需求，录像的时间不会很长，视频的检索查询也不方 便； ( 5 ) 不易对视频信息进行智能化处理，如动态检测、智能报警等； ( 6 ) 只能点对点方式传输，不能联网，布线成本高昂； 2 基于p c 平台的数字视频监控系统阶段 九十年代中期到九十年代末，p c 的普及，使得以p c 为平台的视频监控系统走上历史 第l 页 国防科学技术大学研究生院学位论文 舞台。分布在各个地点的摄像头将视频信息通过各自传输路线传送到插有视频卡的p c 机 上。大部分的p c 枫采用的是简单易用、界面友好的w 嘲w s 系统。视频的传输可以是 数字也可以是模拟信号，存储主要是数字形式，如m o t i o n 婵e g 、m p e g 、h 2 6 3 等。这 种视频监控系统可以在第一代基础上改造而成，有利于减少投资成本。系统特点如下： ( 1 ) 数字信号抗予扰能力强，不易衰减，而且能够加密传播； ( 2 ) 视频数字化存储占用空间少，保存时间长； ( 3 ) 数字图像易于用模式识别、人工智麓等技术处理，实现智麓纯无人职守； ( 4 ) 数字视频数据可以编程索引，方便调查取证； ( 5 ) p c 系统不稳定易受病毒影响，成本高，功耗高，维护费用离。 3 基于嵌入式视频服务器的网络视频监控系统阶段 九十年代末到现在，有线网络与无线网络快速发展，视频编码技术进一步成熟，嵌入 式处理器对图像处理的完美支持，使得嵌入式霹络视频监控系统应运面生。这时监控点的 摄像头不再是简单的摄像头，而是一个具有固定m 地址的视频服务器。它将视频信息通过 摄像头捕捉采集，透过嵌入式处理器进行现场编码，透过互联网络或无线移动网络向获得 身份认证的客户端传送视频数据。随着第三代移动网络的实现，移动网络传送带宽将会缓 解。婵v 6 的实现将会使得口地址资源极大的丰富。第三代视频监控技术一定会以越来越 大的加速度向前发展。第三代系统特点如下： ( 1 ) 采用了m p e g 4 、h 2 6 4 等先进技术编码使得对带宽需求更小、对存储空间需求 更小； ( 2 ) 可扩展性强，可以在带宽允许的范围内无限扩展，组成极其复杂的网络； ( 3 ) 使用传统网络裕传输媒会，节省了布线成本； ( 4 ) 监控距离长，可以通过移动网络或有线网络远程监控本地； ( 5 ) 监控方式灵活，透过移动网络，监控中心与被监控点可以是移动的； ( 6 ) 性能稳定，智能化更为先进。 。1 1 2 “银河飞腾b 厣特性分析及其视频处理领域的应用 “银河飞腾d 4 b 是我国自主研制的第一款超长指令字结构( v l i w ) 的高性能定点 数字信号处理器( d s p ) ，也是蠢前匡蠹正向设计的规模大、功麓全、综合运算性能高昀 3 2 位d s p 。它基于0 1 8 微米6 层布线c m o s 工艺，规模近千万个晶体管，采用了全定制 与半定制相结合的设计方法，具有高性能、低功耗的特点。搿银河飞腾d 4 8 ”主频可达 2 5 0 m h z ，定点运算性能达2 0 0 0 m p s ，1 6 位乘加运算能力达每秒1 g 次，8 位乘加运算能 力达到每秒2 g 次，功耗仅0 8 w ，采用了l 。8 v 和3 3 v 两种电源电压，2 5 6 引脚的p b g a 封装溺。 第2 页 国防科学技术大学研究生院学位论文 图1 1 “银河匕腾- d 4 b ”总体结构图 “银河飞腾d 4 b ”总体结构如图1 1 所示，从整体上可分为c p u 核心、片上外设和两 级c a c h e 系统三个部分【5 】。 “银河飞腾d 4 b 的主要技术特征包括： 增强的哈佛结构，支持两级：l 2 级c 觚h e 是指令和数据混存，6 4 k b ；2 个l 1 级 c a c h e ，指令c a c h e4 k b ，数据c h e4 k b ；3 2 个通用寄存器； 指令分取指、译码、执行3 个流水线，7 至1 0 站完成； 8 个高度独立的功能部件：2 个带s m i d 功能的乘法部件，可实现有符号的4 个 1 6 位乘，或者8 个8 位乘；4 个带s m m 加法部件，可实现2 个3 2 位的有( 无) 符号数的加减，4 个1 6 位数的加减，或者8 个8 位的加减；6 个逻辑运算部件，2 个函数执行部件，各功能单元独立执行，大大提高了运算能力： s c 指令集、3 2 位指令字； 指令条件执行，使编译器能够更大程度的开发并行性； 支持8 1 6 3 2 位数据，支持4 0 位长整数运算； c p u 与外设使用统一地址；丰富的寻址方式：线性寻址、循环寻址。前者又分为 寄存器间接寻址、寄存器相对寻址、寄存器相对偏移寻址、基址寻址，各寻址方 式内部又分为三种：寄存器不变、寄存器自减、寄存器自增，方便程序的开发。 支持数字信号处理的专有指令，包括饱和、归一化运算、s m m 运算等；支持位 操作，提高对特定算法的的运行效率； 指令条件分支的预测执行依靠“延迟分支 技术，带5 个延迟分支槽，用以减少 分支的开销； 支持1 4 级中断； 第3 页 国防科学技术大学研究生院学位论文 符合瑾e e 11 4 9 1 标准的边界扫描电路； 支持丰富的外部接口：定时器，主视接目( 腰) ，e d m a ， e m 琢，多通道缓冲 串阴，可以实现大容量数据传输。 “银河飞腾d 4 b ”因良好的性能使其应用前景广阔，比如雷达信号处理、卫星图像 处理、导弹制导、数字监控、祝顶盒等。本文基于“银河飞腾d 4 8 实现的蹲络视频监控 系统就是一个具体的实例。 本设计中，“银河飞腾d 4 b 主要承担视频编码任务。由于m p e g - 4 编码中离散余弦 变换、运动估计、运动补偿等算法具有较高的并行性，露“银河飞腾d 铝 的指令流水线、多个独立功能部件、指令条件执行、s 弧囝等特性为开发程序的并行性提 供了可靠的保障，使得设计实现的数字摄像头能够达到预期效果。 该系统通过“银河飞腾d 4 b ”将原始视频数据压缩编码成m p e g - 4 ，压缩盾的数据通 过t c 彰m 协议发送给瞒络上请求的节点。 1 2 本文的研究目的、意义及主要内容 在搅频监控领域，隧着整个监控系统规模曰益庞大，监控点圆益增多，传统的布线的 成本上升，特别是对于一个物理位置上相对分散，监控中心唯一的系统丽言，布线成本更 显突出。在传统的视频监控系统上，原始图像经过专有线路传送到监控中心的生机进行显 示，这对传输线的带宽提出了很高的要求。传统的视频监控系统无法满足移动监视的需求， 无论是监控点还是监控巾心的移动性。 本文基于“银河飞腾d 4 b 与c p l d 实现的网络视频监控系统有效的解决了上述的问 题。该系统视频通过t c p 仰协议传输数据，可以充分整合现有的网络资源。溻前许多单 位都有自己的局域网，网络带竟可达到l m 彰l o 轰弱，对于单位内部的监控可以基于局域 网实现。物理位置距离较大的监控可以基于蕊髓l e t 实现。由于当前公网礤地墟的稀缺性， 一个有着多个监控点的集合配置一台视频服务器，服务器有独立公网邛地址，外部网络上 的其他主机可以在通过身份验证的情况下获取该视频服务器管理的任一节点视频信息。又 因为视频采集编码在监控点进行，这样有效减少了数据传输量，在同等带宽斡条件下，能 够容纳更多监控点。监控的移动性也可得到满足，对于监控中心移动性需求不需要作任何 改动，监控操作员可以用笔记本通过c d m a 、g p r s 、e d g e 连上无联网访问监控点。对 于监控点的移动性需求可以通过适当修改监控点的硬件实现，监控点需要增加无线发送模 块。不过无线应用受到无线网络带宽小的限制，随着3 g 时代到来，这个闻题将迎刃丽解。 视频监控系统的发展使得d s p 面临着广阔发展前景，但是当前阶段主要的d s p 市场 份额都是被国外厂商占据，我国在这个领域基本上空白。在现有“银河飞腾d 4 b 的基础 主开发视频监控系统，在推动芯片的国产纯和产业化上都有十分重要的意义。 本课题主要实现了基于“银河飞腾d 4 b ”的视频监控系统硬件系统及相应固件设计， 第4 页 国防科学技术大学磅究生魏学位论文 同时开发了该系统客户端软件。工作包括以下几个方面： 一。用v e f i l o g 语言实现了服务器端采集子系统的c p u ) 逻辑。为进一步提高压 缩率，在尽可能减少图像质量损失的前提下，利用人眼视觉敏感性特点，减 少了人眼不敏感的色度信息量，将图像传感器输出的4 ：2 ：2 采样格式进行重 采样为4 ：2 ：o 格式。提供了对视频采集分辨率多样优选择的支持，对相应控 制寄存器设置不同的值，决定了再采集过程中不同的采集间隔。为了便于后 续编码环节的块分割，本设计将u 分离保存在s m 的不同存储区域。 针对单一s r 蝴采集输入数据与d s p 对其访问读取数据不能同时进行，本 设计实现了双缓冲以乒乓方式交替成为图像采集输入区和d s p 访问区，成功 地实现了采集与编码的并行。 二用c 语言实现了m p e ( “编码，编码基于混合d p c m 1 ) c t 模型，整个模型 包括运动编码与纹理编码。运动编码主要是消除图像序列在时阕上的冗余， 在前面已编码图像的基础上，传输当前图像与其的差值，这部分功能通过运 动估计、运动j l 偿模块实现。纹理编码溺于消除图像本身在空阅上的相关性， 通过离散余弦变换、量化、熵编码等模块实现。经过深入研究、借鉴他人成 果，本设计在实现上对运动估计中的菱形搜索算法作了优化，有效提高了性 能。 三用c 语言实现了基于t c p m 协议的网络数据发送模块的设计。采用了硬件 协议棱芯片嬲l ，利用其提供懿解薹，针对应用需求，设萋了单一通道模 式，响应网络上的连接请求，发送编码完的视频数据。 四用c 语言实现了基于渤o w s 平台的视频监控系统客户端软件设计，包 括视频数据接收部分、视频解码部分、视频显示部分、视频数据储存检索部 分。其中视频接收部分以客户端的方式建立套接字，向豫数字摄像头发送请 求，接收数据时扫描寻找图像开始码，以便掏取上帧图像以解码。m p e q 4 解码功能相当于编码器中的重构参考帧部分，包括运动补偿、运动向量解码、 反余弦变换、尺度交换等。视频显示通过凇霸帮技术实现，使得图像连 续不闪烁。视频数据以文件的形式存储，同时在数据库中建立条目，便于日 詹检索。 1 3 本文结构 本文重点介绍了基于“银河飞腾d 4 b 与c p l d 的网络视频监控系统的服务器端和客 户端的设计。 第一章为绪论，介绍课题背景、相关知识、内容和意义。 第二章为系统总体设计的介绍，包括网络摄像机( 服务器端) 与视频监控软件( 客户 第5 贾 国防科学技术大学研究生院学位论文 端) 的总体设计。 第三章视频采集予系统的设计实现，对采集系统硬件缀成、原理、程净流程进行介 绍。 第四章视频压缩编码系统的设计实现，介绍了m p e g o 的编码流程及采用的编码技 术。 第五章视频数据的网络发送系统设计实现，介绍了t c p 协议，采用的协议栈芯片， 发送的程序设计。 第六章客户端软件的设计实现，包括对网络数据的接收、m p e g 4 的解码、视频的显 示，视频的存储检索进行了介绍。 第七章结束语及对本文工作的小结、对未来工作的展望。 最后，对绘于我帮助的老师和师兄、同学与朋友们表示感谢，并给出本文的参考文献。 第6 页 国防科学技术大学研究生院学位论文 第二章网络视频监控系统总体设计 目前视频监控系统朝着数字化、网络化、智能化的方向不断发展，结合当前该领域的 热点，本章提出了一种嵌入式网络视频监控系统设计方案。设计方案包括了m 数字摄像头 设计与视频监控软件的设计，本章就该设计方案作详细介绍。 2 1 总体设计思想 本监控系统在架构上主要由基于“银河飞腾d 4 b ”的网络数字摄像机与基于p c 机的 监控客户端构成。这两部分通过局域网或广域网实现互联。具体结构如图2 1 所示： 抽野 图2 1网络视频监控系统结构 其中i p 数字摄像头将图像实时进行采集、压缩编码，通过集成的网络模块将数据打包 发送给视频监控工作站，视频监控工作站能够通过交换机在多个口数字摄像头间进行动态 切换，外网授权用户可以通过广域网访问视频服务器获取实时视频。视频数据通过硬盘等 存储介质保存。 本视频监控系统主要完成的功能有：视频实时压缩编码、录像本地存储、实时网络传 输、实时多路监控、录像检索回放、远程监控。具体而言，本系统能够实现多路视频监控， 对视频有选择有条件的进行录像，录像以文件形式保存在硬盘上，并附加上数字摄像头的 编号、地点、录制开始时间与结束时间等信息以方便事后检索取证。 2 2 i p 数字摄像头( 服务器端) 总体设计 i p 数字摄像头在硬件架构上主要由视频采集模块、视频压缩编码模块、网络传输模块 构成。硬件实现上由一个d s p 、一个c p l d 、两个s 洲、一个f l a s h 、一个s d 删、 第7 页 国防科学技术大学研究生院学位论文 一个t c p i p 协议栈芯片，一个图像传感器组成。结构如图2 2 所示： 豳2 2 数字摄像头硬件组成图 数字摄像头流程包括视频采集、压缩编码、鼹终发送三个阶段。具体面言，首先c m o s 传感器芯片将视频模拟信号转换为数字信号经由c p l d 逻辑再采样、亮度色度分离保存在 s r a m 中，然后d s p 从s r 刽睡中读取上帧数据对其编码，并由网络模块分组打包发送。 在具体实现过程中上述三个阶段在时间上重叠，每帧流出时间由t t 采集+ t 鞠码+ t 发避减少 到t = 心( t 采集，t 鳙码，t 麓遘) ，有效地提高了性能。下面就三个主要功能模块作些介 绍： 视频采集：硬件上由两个s r a m 、一个c p l d 、一个c m o s 图像传感器构成。c p l d 与两个s 删有1 8 位盼地址线、8 位的数据线、毒位的控制信号线相连接。c p 国与c m o s 图像传感器有8 位的数据线、两位1 2 c 、4 位的同步信号线相连。整个采集逻辑用v 谢l o g 语言实现了将图像传感器输出的4 ：2 ：2 采样格式进行重采样为4 ：2 ：o 格式；提供了对视频采 集分辨率多样化选择的支持，对相应控制寄存器设置不同的值，决定了再采集过程中不同 的采集间隔；为了便于后续编码环节的块分割，本设计将w 分离保存在s 洲的不同 存储区域；针对单一s 弛m 采集输入数据与d s p 对其访问读取数据不熊同时进行，本设 计实现了双缓冲以乒乓方式交替成为图像采集输入区和d s p 访问区，成功地实现了采集与 编码的并行。最后模拟结果表明该模块功能正确，经过扳级实际测试，该系统能够实时完 成视频图像的采集，作为i p 数字摄像头的子系统能够很好的运行。 压缩编码：尽管y u v 格式的图像经过4 ：2 ：o 的再采样，有效地降低了存储空间的需求， 但是仍占用了很大的空间，对网络的带宽需求极大。如一路分辨率为6 4 0 4 8 0 ，采样格式 为4 ：2 ：0 的图像序列，若要达到每秒2 5 帧的速率，需要2 9 m b p s 的网络带宽，显然这是不 第s 页 国防科学技术大学研究生院学垃论文 可以承受的，所以需要对原始图像进行压缩编码。本设计采用了m p e g 一4 作为实现压缩编 码的算法，能够获得数十倍乃至近百倍的压缩效率，有效地降低了带宽的需求。 算法用c 语言实现，运行在银河飞腾 d s p 上。算法以宏块为单元进行编码，将 帧图像划分为若干个1 6 1 6 的块，一行宏块为一个块组。如果当前编码的帧是i 帧，则所 有宏块采用王氘r a 编码方式，不参考其他饪何宏块，独立编码。般来说图像存在空闻冗 余，相邻像素之间相关性高，通过离散余弦变换能够用更少的系数来表示一个宏块的图像。 原图像经过d c t 交换詹大多系数为零或接近予零，低频分量系数大，高频分量系数小。 这样我们就可以通过量化来消除d c t 表中的信息冗余，以较少的比特数来实现更好的图 像质量。经过捌c t 变换的系数矩阵，非零系数主要分布在左上角。这样我们对矩阵重排 序，使得非零系数集中在一起，剩下的零系数可以更有效的表示，从而提高压缩效率。z i g z a g 扫描可以很好的实现这个目标。扫描后的输出是一个数组，数组的开始有一个或几个非零 系数，后面都是零。对这样的数缀采用游稷编码可| | ；乏进一步提高压缩效率，游程编码一般 是与哈夫曼编码结合，通过查找变长变码表得到相应的哈夫曼编码。最后码流加上一些头 信息形成m 删码流。 编码过程中还有一个参考帧的重建过程，编码过程中宏块量化后有两个数据分路，一 个就是上面所述的熵编码，另一个就是参考帧重构。重构数据分路在量化后通过尺度变换 近似还原量化前的系数矩阵，然后离散余弦反变换形成参考宏块，拷贝到参考帧缓冲区中， 作为下次预测的参考宏块。 如果当蔫编码的帧是p 帧，则需要在编码前进行运动估计，根据运动估计麓结果决定 采用m 、i n t e r 、还是s k i p 编码。对于m 触，是独立编码，与i 帧过程相同；对于i n t e r ， 则通过运动补偿生成残差块，对残差块进行离教余弦交换、量化、重排序、游程编码、哈 夫曼编码生成码流，其重构过程也包括尺度变换、反离散余弦变换，最后的残差矩阵与参 考矩阵相加得到重构宏块，拷入参考帧缓冲区；对于s k i p ，由于运动估计中求得的绝对误 差和极其小，所以无需编码，只需在码流中作上标记告知解码器直接从参考帧中读取宏块 构建当前帧。本设计还在运动估计中对菱形搜索算法作了一定改进，有效地提高了性能， 使得编码部分满足了数字摄像头的实时性要求。 网络发送：编码完的数据需要通过网络发送到客户端，设计采用了w 3 1 0 0 芯片，作为 网络传输模块的重要部分，w 3 l 是w 黝娃公司为以太网互联_ 琴b 嵌入式设备设计t c 瑚瞳协 议栈，它使得本文的设计工作能够停留在应用层次上，不必深陷到协议栈的构建当中去。首 先w 3 l o o 需要做些初始化工作，就是设置一些基本寄存器的值，比如网关地址寄存器、子网 掩码寄存器、源硬件地址寄存器、源p 地址寄存器。然后建立亿p 的服务器模式，一直处 在监听状态直到有连接请求为止。当连接建立后，每编码完一帧，在数据驱动下通过网络 向客户端发送视频数据，经过板级测试，功能正确，运行完好。 第9 页 国防科学技术大学研究生院学位论文 2 3 视频监控软件( 客户端) 总体设计 视频益控软件以当前流行的愆机、w 烈d o w s 操作系统为平台。在结构上主要划分 为视频数据接收、视频解码、视频显示，附加有视频存储、视频索引等。 结构如图2 3 所示： 图2 3 视频监控软件结构 本监控软件是数据驱动型，一帧数据到达接收缓冲螽逶过艘e g o 解码器解鹨，经避 m p e g r 4 解码的视频通过显示模块在终端显示。如果视频接收过程中，视频监控操作员下 达了录像指令，则在解码的同时，未解码的数据同时保存在硬盘上，保存方式为文件格式， 包括监视点信息、监视通道号、起始时间、结束时间。如需对视频数据库进行检索，只需 对上诉条件组合检索。视频的回放将会调用视频解码模块与视频显示模块。系统参数设置 主要包括监视通道的璎、p o r t 设置、视频储存弱录设置等。下面就几个主要的功能模块 做些介绍： 视频数据接收：视频数据接收前必须建立连接，本客户端必需事先知道嚣标数字摄像 头的球地址与端口号，在套接字建立后向目标数字摄像头发送连接请求，通过三次握手协 议确保成功建立连接，等待数据的到达。每当数据到到达，拷入帧缓冲区，同时对数据进 行码流分析，当一帧数据完备，则将其提交给解码模块进行解码，同时删除帧缓冲区内容。 视频解码：视频的解码是按照p i c t u r e 、g o b 、m b 这三个层次一层层细化下去。一个 确：t u r e 包含若干个b ，一个g o b 包含若干个m b ，具体值因图像的分辨率丽异。在宏 块解码阶段，码流分析器从码流中读取相应标示，从而得知宏块的编码类型。对于s 姗 块，不需要解玛，直接将参考块拷贝到解码输出图像缓冲中；对于酗眈块，则首先根据晗 第l o 页 国防科学技术大学研究生院学位论文 夫曼编码查表求得游程编码，将码流数据还原为矩阵的表现形式，再通过尺度变换使得矩 阵系数接近于量化前，最后经过离散余弦反变换，当前宏块完成解码；对于i i i t e r 块，还包 括了运动矢量的解码，其残差块的解码过程同于i t i 昀块，最后在运动补偿中，根据运动矢 量求得参考块，其与残差块的和就是解码完的当前块，将其拷入解码输出图像缓冲中。 视频显示：视频解码输出的w 图像序列需要将其映射到r g b 空间，然后采用了 d 硫c t 】d r a w 来显示视频，在d h c t i 1 w 中视频图像主表面与离屏表面翻转的过程其实就是 交换指针，而不是数据的复制，所以速度很快。一个画面在显示到屏幕前已经复制到了显 存的某个区域，当显示它的时候只需要将主表面指针指向它既可。在视频显示上，本设计 将整个功能模块定义成一个类，十分方便功能的扩展。目前实例化了4 个对象，也就是四 个通道，可以在同一时刻显示四个摄像头传输过来的图像。其实，只要在网络带宽、系统 性能的允许，可以更多的实例化显示通道。最后测试表明，4 路通道同时开启的情况下， 图像播放流畅。 视频存储检索：设计中实现了视频的存储，在接收的过程中，若操作员下达了录制命 令，则解码前的数据同时会以文件的形式保存在硬盘上，以半小时为单位进行保存。每当 结束一次保存，程序会更新a c e s s 数据库，将录制的录像通道号、起始时间、结束时间、 地址、录像编号、录像路径存入数据库。其中起始时间与结束时间在录像开始和结束时从 系统提取，录像通道号、地址、录像路径从配置文件中读取。视频的检索可以通过录像 通道号、起始时间、结束时间、地址或者它们的自由组合进行。在检索到需要的结果，鼠 标双击记录，便可调用解码显示模块将视频回放。 2 4 本章小结 本章提出了一个基于网络的视频监视系统，在功能上将其划分为口数字摄像头与客户 端软件两个子系统。其中口数字摄像头基于“银河飞腾d 4 b 设计实现，包括了视频图 像采集、m p e g _ 4 编码、网络传输三个模块。视频采集实现了对原始输出图像的再采集、 多分辨率采集、分离存储，特别是双缓冲的设计，使得采集能够与编码同时进行。 d s p 从采集缓冲中读取图像数据编码，编码过程中不断将编码位流数据输出到s d i 乙蝴中， 编码完一帧，中断告知网络传输模块发送数据。网络传输模块基于硬件协议栈w 3 1 0 0 实现。 视频监控软件用c 语言实现，包括视频数据接收、视频解码、视频显示、视频数据储存检 索部分。其中视频接收部分以客户端的方式建立套接字，向m 数字摄像头发送请求j 接收 数据时扫描寻找图像开始码，以便抽取上帧图像以解码。m p e 叫解码包括运动补偿、运 动向量解码、反余弦变换、尺度变换等。视频显示通过d n c 咖技术实现，使得图像连 续不闪烁。视频数据以文件的形式存储，同时在数据库中建立条目，便于日后检索。 第1 l 页 国防科学技术大学研究生院学短论文 第三章视频采集与预处理的设计与实现 第二章已就视频监控系统结构设计做了介绍，视频采集作为整个监控系统的关键环 节，实时性能否满足要求关系裂整个系统的成败。本章首先介绍了褫频采集的基本原理， 然后介绍了视频采集模块的设计实现。结果证明模块功能正确，采用的双环冲机制使得系 统能够实时采集。 3 1 视频采集基本原理 ，j l ，u r j ，、，i 、j 1 、- ：j l ：= l q 、= l i 3 1 1颜色空间和颜色空阀转换 卧 墨巍骣肥 + 副 限t ， i = ( i 鬻剥雕 2 ， 3 。1 。2 视频图像采样格式 由于人类的眼睛对低频信号要比高频信号有更高的敏感度，且对亮度的改变比对色度 第1 2 页 国防科学技术大学研冤生院学位论文 的改变要敏感得多，因此我们可以提高y 分量的采样精度，降低u 、v 分量的采样精度， 这样在保持图像质量整体相差不大的情况上进一步降低其信息量的需求，故y u v 颜色空 间广泛应用于j p e g 、m p e g 等标准中。 图像的采样格式中主要有y u v 4 4 4 、1 n 4 2 2 、y u v 4 2 0 、y u v 4 1 l ，3 位数字 表示y u v 分量的采样比例。图3 1 显示了这四种采样格式的区别： c ec c e o o coqc ce oqo 4 ：4 ：4 o o o o oo oo oo oo 4 ：2 ：2 4 ：1 ：1 4 ：2 ：0 y 分量 u 分帚ov 分量 图3 1 四种采样格式 1 ) 4 ：4 ：4 这种采样格式是指在每条扫描线上每4 个连续的采样点取4 个y 样本、4 个 u 样本和4 个v 样本，这就相当于每个像素用3 个样本表示； 2 ) 4 ：2 ：2 这种采样格式是指在每条扫描线上每4 个连续的采样点取4 个y 样本、2 个 u 样本和2 个v 样本，平均每个像素用2 个样本表示； 3 ) 4 ：1 ：1 这种采样格式是指在每条扫描线上每4 个连续的采样点取4 个y 样本、1 个 u 样本和1 个v 样本，平均每个像素用1 5 个样本表示； 4 ) 4 ：2 ：o 这种采样格式是指在水平和垂直方向上每2 个连续的采样点上取2 个y 样 本、1 个u 样本和1 个v 样本，平均每个像素用1 5 个样本表示。 3 2 视频采集模块设计与实现 第1 3 页 o o o o ( o j ( o ，；， j 0 j ( o 国防科学技术大学研究生院学位论文 3 2 1 视频采集总体功能介绍 本采集系统壶c m o s 图像传感器o v 7 6 4 0 、c p l d 、两个5 1 2 ks r a m 构成。结构如 图3 2 所示： c m i c p l d l 时r a ms e l = r a ms e l ，这样有效的实现了帧切换。 3 2 4y u v 再采集与变量分离存储 y o ，o u o f o y h l v 如y o 6 3 su 叩1 9y o ，6 3 9v 1 9 y l ，o i j l ，d y l ，l v i o y l ，6 3 。u i ，3 1 9y l ，钌9v l j l 9 y 7 屯o u 旒o _ y 愿l 、，j l ，o y 4 7 l ，6 3 8 u 4 7 ”1 9 y 4 7 s ，6 3 j v 7 ”1 9 、蜗q 鼬m d m 小m 妒、m 鼬鼬聃，心俩氍谢m m ( a ) 4 ：2 ：2 采样格式 y o o u o o y o ，l v o o y o 6 3 0u o 3 1 9y o 脚v 1