（信号与信息处理专业论文）网络数字视频监控系统前端研究.pdf

中文摘要 本文在对网络视频监控系统从模拟向数字网络方向的发展作了深入分析的 基础上，提出了应用数字信号处理芯片进行静态图像压缩进而进行网络传送的解 决方案。 论文共分为四章。第一章是绪论，对视频监控系统作了简单的介绍并提出了 d s p 的概念。第二章介绍了系统框图，并对系统设计中所使用的主要硬件芯片作 了介绍。第三章第一部分详细分析了该系统，包括存储器的配置及在d s p 中的 映射、d s p 与后端控制单元a r m 核处理器之间通信的h p i 设计等内容，介绍了 各个部分的接口电路；并且介绍了d s p 的启动过程以及引导表的编写。第二部 分介绍了c c s 开发环境，介绍了c o f f 格式的可执行文件的生成。第四章是软 件算法部分，研究了j p e g 算法。其中详细分析了编码系统的结构和编码的各个 步骤，介绍了l o e f f l e r 快速算法，并且对算法过程中的数据运算量进行了分析。 关键词：视频监控、d s p 、j p e g a b s t r a c t o na n a l y z i n gt h en e t w o r kv i d e os u r v e i l l a n c es y s t e m ，e s p e c i a l l yt h e c h a r a c t e r i s t i co fc h a n g i n gf r o ma na n a l o gs y s t e mt oan e t w o r kd i g i t a l s y s t e m ，t h i sp a p e rp r e s e n t st h er e s o l v i n gp r o j e c to fc o m p r e s s i n gs t a t i c i m a g e sw i t hd i g i t a l s i g n a lp r o c e s s i n gc h i pa n dt r a n s f e r r i n gt h e mo v e r n e t w o r k t h i sp a p e ri sc o m p o s e do ff o u rc h a p t e r s t h ef i r s tc h a p t e ri st h e i n t r o d u c t i o n i ti n t r o d u c e st h en e t w o r kd i g i t a lv i d e os u r v e i l l a n c es y s t e m b r i e f l ya n dp r e s e n t st h ec o n c e p to fd s p t h es e c o n dc h a p t e ri n t r o d u c e s t h es y s t e mc h a r ta n di n t r o d u c e st h em a i nc h i p su s e di nt h es y s t e md e s i g n t h ef i r s tp a r to ft h et h i r dc h a p t e ra n a l y s e st h es y s t e mi nd e t a i1 ， i n c l u d i n gt h em e m o r yc o n f i g u r a t i o na n dt h em a p p i n gi nd s p ，t h eh p id e s i g n i nc o m m u n i c a t i o nb e t w e e nt h ed s pa n dt h ep r o c e s s o rw i t ha r mc o r e ，t h e b a c k i n gc o n t r o lu n i t ，i e a n di tp r e s e n t st h ei n t e r f a c ec i r c u it so fe v e r y s e g m e n t s ：t h es t a r t u pp r o c e s so fd s pa n dt h ew r i t i n go fb o o tt a b l e t h e s e c o n dp a r ti n t r o d u c e st h ec c sd e v e l o p m e n te n v i r o n m e n ta n dt h em a k i n go f e x e c u t a b l ef i l e si nc o f ff o m a t ，t h ef o u r t hc h a p t e ri st h ea r i t h m e t i cp a r t a n di td e a l sw i t ht h ej p e ga r i t h m e t i ci nd e t a i li n c l u d i n gt h es t r u c t u r e o ft h ec o d i n gs y s t e ma n dt h es t e p so fc o d i n g i ta n a l y s e st h el o e f f e r f a s ta r i t h m e t i ca n d t h ed a t ai no p e r a t i o np r o c e s s k e y w o r d s ：v i d e os u r v e i l l a n c e 、d s p 、j p e g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫注盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者躲j 砺才签字隰加垆年舌月矽日 学位论文版权使用授权书 本学位论文作者完全了解墨洼盘鲎有关保留、使用学位论文的规定。 特授权盘注盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位敝作者签名丁水万勺 签字日期：枷，产多月巧日 协叩 眇、 第一章绪论 第一章绪论 1 1 网络数字视频监控系统综述 1 1 1 视频监控系统的出现 随着多媒体应用技术的飞速发展，人们越来越倾向于在日常生活、工作和学 习中使用多媒体手段来解决问题。用于银行、商场监控、城市交通管理、酒店等 安全保卫的视频监控系统的市场需求量上升幅度很大，市场上出现了多种图像采 集和传输的产品。这些产品有的是传统的模拟视频监控系统，有的是以p c 机为 平台，配合图像采集卡实现图像压缩的数字视频监控系统。采用这两种方法构成 的视频监控系统，一台摄像机要使用一根同轴电缆将视频信号送给图像采集卡或 录像机，所以网络规模不能过大，否则会造成线路很复杂，甚至带来施工的困难。 针对上述两种视频监控系统中存在的传输“瓶颈”问题，我们设想利用目前 已相对普及的互联网，将数字图像利用互联网进行传输。具体实现为图像信号数 字化后先进行压缩，再将压缩后的图像数据传送给主控机( 服务器端) ，并把数 据按t c p i p 协议在以太网上传送，客户端上( p c 机) 可以向主控机发送传送请 求并进行图像的再现。这样就构成了一个能满足大部分视频监控需要的价格适当 的完全数字化的网络视频监控系统。为了实现这个目标，关键问蹶是如何解决视 频图像的压缩编码和数据的传输。显然不能为每一台摄像机都配备一台通用计算 机来进行图像的压缩编码，而由于d s p 芯片性能非常强大非常适合做图像处理， 并且价格可以接受，所以采用d s p 芯片来进行图像的压缩编码是可能的。 网络数字视频监控系统克服了以往监控系统的局限性。首先，数字化了的视 频可以在计算机网络( 比如局域网或广域网) 上传输。信号通过网络传输可以做到 基本上不受距离限制，抗干扰能力强，可大幅度提高图像品质和稳定性。其次， 网络数字视频监控系统利用了计算机网络的现有资源，可复用网络带宽，无须重 复布线，系统扩展非常简单。除此之外，由于系统的硬件功能单一、是为专门应 用设计的独立设备，不像插卡系统那样受通用计算机系统中其它软件、硬件的影 响，因此性能上更稳定，且便于安装、维护和调试。 1 1 2 网络数字视频监控系统的构成 整个网络视频监控系统可以分为图像采集模块、图像数据压缩模块、系统的 控制应用模块和图像再现模块。其中图像压缩模块负责对采集的数据作压缩处 理，而作为系统控制的单片机上运行嵌入式操作系统v x w o r k s ，作为数据压缩后 第一章绪论 通过网络传输的一个中间控制单元。另外在客户端需要运行一j p e g 解码程序， 做采集图像的再现，而中间控制单元作为服务器端可以对客户端的图像再现做控 制。图卜1 为整个系统实际应用的示意图。软件方面涉及的内容有j p e g 静态图 像压缩技术，d s p 的软件开发环境c c s ，f p g a 的开发环境m a x + p l u si i 。后端部分 还涉及嵌入式操作系统v x w o r k s ，网络套接字通讯等内容。 图1 1 数字视频监控系统的系统框图 1 。1 3d s p 做图像压缩的可行性分析 数字信号处理芯片是一种特别适合于进行数字信号处理运算的处理器，其 主要应用是实时快速地实现各种数字信号处理算法。世界上第一片d s p 是1 9 7 8 年a m i 公司宣布的$ 2 8 1 1 ，随后美国t n t e l 公司宣布诞生的商用可编程器件2 9 2 9 是d s p 芯片的个主要里程碑。1 9 8 0 年日本n e c 公司推出的p p d 7 7 2 0 是第一片具 有乘法器的商用d s p 芯片。 在这之后最成功的d s p 芯片当数美国德州仪器公司( t e x a si n s t r u m e n z s ， 简称t i ) 的系列产品。t i 公司在1 9 8 2 年成功推出其第一代d s p 芯片t m s 3 2 0 1 0 及其系列产品。之后相继推出了第二代d s p 芯片t m s 3 2 0 2 0 、t m s 3 2 0 c 2 5 2 6 2 8 ， 第三代3 s p 芯片t m s 3 2 0 c 3 0 c 3 l c 3 2 ，第四代d s p 芯片t m s 3 2 0 c 4 0 c 4 4 ，第五代 d s p 芯片t m s 3 2 0 c 5 x c 5 4 x 以及目前速度最侠的第六代芯片t m s 3 2 0 c 6 2 x c 6 7 x 。t i 公司常用的d s p 芯片可以归纳为三大系列：t m s 3 2 0 c 2 0 0 0 系列、t m s 3 2 0 c 5 o 系 列、t m s 3 2 0 c 6 0 0 0 系列，它已成为世界上最大的d s p 芯片供应商，其d s p 市场占 有量占争世界份额的近6 0 。 有量占全世界份额的近5 0 。 第一章绪论 d s p 芯片具有很多特点，比如它采用多总线结构，这样就可以保证在一个机 器周期内可以多次访问程序空间和数据空间；流水线结构，程序运行的几个阶段 如取指、译码和执行等几个阶段是重叠的，这样就降低了指令周期；多处理单元， 比如算术逻辑运算单元、累加器、硬件乘法器等，它们可以在一个机器周期内同 时进行运算；特殊的d s p 指令，比如m a c d ( 乘法、累加和数据移动) ，具有执行 l t 、d m o v 、m p y 和a p a c 四条指令的功能等等。由于d s p 芯片的这些特点，使它 特别适合于做数字信号的处理运算。目前d s p 芯片已在信号处理，如数字滤波、 快速傅立叶变换；语音，如语音编码、语音合成和识别；图形图像，如图像压 缩与传输、图像增强等领域获得了广泛的应用。 本设计中，按照每秒处理1 0 帧图像的数据量计算，在要求压缩比为1 0 ：l 的情况下，由后面章节的分析可知，对每个8 * 8 数据块做j p e g 压缩需要6 9 6 个 时钟周期，d s p 响应中断后用指令m v k d 读取8 * 8 数据块需要6 4 个时钟周期，将 压缩后数据从外部r 脯搬移到内部s a r a m 中最多不会超过7 个时钟周期( 达到压 缩要求) 。另外还需要考虑压缩完成后后端处理器通过h p i 方式读取时保持的休 眠状态的时间，4 5 1 0 的主频为5 0 m h z ，所以其单指令周期为5 4 1 6 的三倍。由于每 帧图像包含1 5 8 4 个8 * 8 单元，这样每帧图像压缩需要( 6 9 6 + 6 4 + 7 + 7 * 3 ) 1 5 8 4 = 1 2 1 0 6 个时钟周期，由于d s p 大部分指令是单周期指令，这样处理器的 处理能力至少要在每秒1 2 个百万次操作以上。我们采用t i 公司的处理能力为 1 6 0 m i p s 的t m s 3 2 0 v c 5 4 1 6 作为对输入图像数据作压缩的主处理器，足以满足预 计的设计要求。该芯片内部具有1 2 8 k 的r a m ，可以在压缩完一帧数据后作为数 据的暂存( 约为l o k ) 。并且它最多可以扩展8 m 的外部存储器空间，可以在基本 压缩要求下进一步提高系统性能，比如提高图像的帧速率。目前5 0 0 0 系列的d s p 芯片比如t m s 3 2 0 v c 5 4 0 2 、t m s 3 2 0 v c 5 4 1 0 等已被广泛应用于静态图像压缩的领域。 1 2 本论文的主要工作 本论文完成了网络数字视频监控系统前端的数据采集和压缩部分的设计以 及部分软件的编写工作。硬件方面包括c m o s 彩色数字摄像头( 0 v 6 6 2 0 ) 、f i f o 、 f p g a 、d s p ( t m s 3 2 0 v c 5 4 1 6 ) 等芯片，分析了这些芯片的功能、特点及在本设计 中的作用，介绍了芯片之间的连接以及部分外围电路的设计。软件方面完成了对 c m o s 输出有效数据截取的硬件描述语言的编写工作、b o o t l o a d e r 并行自举方式 引导表的编写等，另外还分析了设计中使用的j p e g 静态图像压缩方法。 第二章视频监控系统前端设计及主要硬件部分 第二章视频监控系统前端设计及主要硬件部分 2 1 视频监控系统前端系统框图 网络视频监控系统前端包括数据采集部分和数据压缩两部分。负责做数据采 集的部分由c o m s 摄像头0 v 6 6 2 0 为核心，可以完成视频数据的采集、量化和输出 等工作，采集的数据经过f i f o 做数据缓存传送给数据压缩单元t m s 3 2 0 v c 5 4 1 6 做压缩，它从f i f o 中读入数据做压缩后通过h p i 接口方式传送给后端通信控制 单元做网络传输的处理。图2 一l 为前端的系统硬件构成框图。 r 一一一一一一一一一一一一1 l 一一jl 一一一一一一 数据采集部分 数据压缩部分 图2 1 网络视频监控系统前端框图 4 第二章视频监控系统前端设计及主要硬件部分 2 2 主要硬件单元 这部分主要介绍了本系统前端部分所用的主要硬件单元，包括数据采集单 元、数据缓存部分、数据选通单元和数据压缩单元，并介绍了每一部分的工作特 点和工作过程。 2 2 1 数据采集单元 本设计中使用的图像传感器是o m n i v i s i o n 公司生产的1 4 英寸单片c o m s 图 像传感器0 v 6 6 2 0 ，它的像素阵列可达3 5 2 * 2 8 8 ，包括大约1 0 1 3 7 6 个像素。它可 以直接给后端输入数字信号，不必再进行模数转换的工作。此芯片还具有伽码校 正、自动曝光、自动自平衡等功能，这些功能可以通过一个s c c b 接口控制。它 使用非常方便，节省了成本，捕获图像的速度可达6 0 帧每秒，可以提供输出 4 8 1 6 位的数字数据输出。表2 - 1 为此芯片输出的主要参数。 阵列格式( 分辨率)( c i f ) 3 5 6x 2 9 2 ( q c i f ) 1 7 6 1 4 4 象素尺寸 9 0 8 2u m 成像区域 3 1 2 5 m m 晟大帧速率最大6 0f p s 扫描模式逐行扫描 伽马校正 0 4 5 5 5 1 0 最小照度 4 8d b ( a g o = o f f , g a m m a = 1 ) 黑电平电流 7 2 d b 电源电压 5 v d c ，+ 5 ( a n a l ) 5 v d co r3 3 v d c ( d i o ) 功耗 8 0 m w a e t i v e 3 0 w s t a n d b y 封装 4 8 p i n l c c 表2 一l0 v 6 6 2 0 输出的主要参数 0 v 6 6 2 0 可以提供y u v 和y c b c r 两种数据格式，它们与模拟视频信号的关 系如下： y = 0 5 9 g + 0 3 1 r + 0 1 1 by = 0 5 9 g + 0 3 1 r + 0 1 1 b u = r y u = 0 7 1 3 ( r - y ) 第二章视频监控系统前端设计及主要硬件部分 v = b yv = o 5 6 4 * ( b y ) 0 v 6 6 2 0 允许用户按照自己的要求定义成像区域的大小，窗口大小可以设置 在从2 * 2 到3 5 6 * 2 9 2 的任意大小，并且可以设定在屏幕的任意位置。改变窗口大 小和位置并不改变帧或数据速率，但是却改变了h r e f 信号，即改变了输出数据 的有效长度和有效时刻。缺省输出的屏幕大小为3 5 2 * 2 8 8 。 0 v 6 6 2 0 的输出和控制管脚包括v s y n c 、c h s y n c 、p c l k 以及1 6 位的数据线 y 7 o 和u v 7 o 。p c l k 时钟的上升沿触发数据的输出。图2 - 2 为图像的输出 时序图。 _ 卜e v e n f i e l di ( f o d d 。0 ) ：三二奠i i i 孟 p c l k j 、7 、静一一j 讥_ 一一j 。、? 五 7 器r( ! x 园一一一一一一一一互垂型 一 l 一 v a l i dd 自t a - - _ h o r i z o n t a lt i m i n g v s y n cj 百三二蔓 - 三j 叫儿“”p 兰一l i 哪】二黼。n - 一衄圆姻 图2 20 v 6 6 2 0 输出的时序图 从上图可以看出，在帧同步信号v s y n c 和行同步信号h r e f 有效的情况下， 在每个p c l k 的下跳边沿会触发数据数出信号，经过数据建立时间y 和u v 即输出 有效信号。 为适应不同的应用，0 v 6 6 2 0 提供了多种数据输出格式，这些格式可以通过 s c c b 接口由用户编程。芯片提供y 7 ：0 ，u 、， 7 ：0 1 6 条数据线，垂直同步v s y n c ， 行有效h r e f ，时钟p c l k ，水平同步c h s y n c 等控制信号。 1 6 b i t ，4 ：2 ：2 格式：y 7 ：0 通道输出序列为y 0 ，y 1 ，y 2 ，y 3 ，此处 y n 表示8 b i t 量化的第n 个象素的亮度信号。u v 7 ：0 通道输出序列为u o ，v o ， u 2 ，v 2 ，此处u n 、v n 表示8 b i t 量化的第n 个象素的色差信号。 8 b i t ，4 ：2 ：2 捂式：y 7 ：0 通道输出序列为u 0 ，y 0 ，v l ，y 1 ，u 2 ，y 2 ， v 3 ，y 3 ，u v 7 ：0 通道没有输出。此时，工作时钟频率是象素速率的二倍。 4 b i t ，4 ：2 ：2 格式：此时只用到y 7 ：4 作为输出，工作频率是象紊速率 的四倍。 芯片也可以设置其输出r g b 信号，同样有三种输出格式。 第二章视频监控系统前端设计及主要硬件部分 1 6 b i t ，4 ：2 ：2 格式：y 7 ：0 通道输出序列为g o ，r 1 ，g 2 ，r 3 ，u v 7 ： 0 通道输出序列为b 0 ，g 1 ，b 2 ，g 3 。 8 b i t ，4 ：2 ：2 格式：y 7 ：0 通道输出序列为b 0 ，g 0 ，r 1 ，g 1 一，u v 7 ： 0 通道没有输出。此时工作时钟频率是象素速率的二倍。 4 b i t ，4 ：2 ：2 格式：此时只用到y 7 ：4 作为输出，工作频率是象素速率 的四倍。 另外在不需要高分辨率图像的情况下，0 v 6 6 2 0 还提供了一种q c i f 输出模式。 在这种模式下，像素速率会减小一半，缺省值为1 7 6 1 4 4 ，并可由用户编程。 图2 - 3 为0 v 6 6 2 0 工作于1 6 b i t ，y u v 输出的默认方式下的实测波形。 洲u1 厂 i 几九n 厂u u乙_ z几几r 心们 ；i v 5 y n ： !i 蜀翻 f 口d 口 tl u v 0 i l jjl j v i ： ： ! ly o! y l 、 s 0 u r c e广_ h c t l v eo u r 5 e n 1尺e a 已口u tc l e a r r l囹v i - v 2 一t 1 i 豳硼匝l c u r - s t 3 r 5 图2 30 v 6 6 2 0 输出的实测波形 上图中输出数据y u v 是在时钟信号p c l k 的下降沿变化，在上升沿时保持稳 定，所以在从0 v 6 6 2 0 输入数据时选用p c l k 的上升沿作为数据采样时刻。 2 2 2 缓存部分 1 f i f o 简介 f i f o ( f i r s ti nf i r s to u t ) 是一种先入先出存储器。本系统中我们采用的 f i f o 是i d t 公司的7 2 0 6 ，它是按照先入先出顺序存取数据的双口存储器，访问 速度可达1 5 n s 。它用空标志e f # 和满标志f f # 来作为数据空和数据满的标志信号， 通过管脚w # 和r # 来控制数据的读写。它具有1 6 k * 9 b i t 的容量，其中的一个比特 可以按照用户需求来作为控制或奇偶位使用。 使用f i f o 的原因是由于c o m s 传感器上电后处于实时的数据采集，但是由图 像传感器输出的数据不能直接传送给d s p ，否则会引起d s p 频繁的中断。设计中 7 第二章视频监控系统前端设计及主要硬件部分 数据在送给d s p 以前增加了两片先入先出f i f o 存储器作为缓存，在存储达到一 定程度后，由标志位向5 4 1 6 发出中断申请，这样可以将数据按块传送给视频压 缩单元5 4 1 6 ，提高了5 4 1 6 的效率。 i d t 7 2 0 6 的引脚说明如下： d o “d 7 ：8 位数据输入。 q 0 “q 7 ：8 位的数据输出，当读使能信号r # 为高电平即无效时，输出为高 阻状态。 r s # ：复位信号。该信号为低电平时，可以使f i f o 的读写指针同时调到 最初位置。 w # ：写使能信号。当f i f o 未满时( f f 无效) ，其下降沿标志一个写周期 的开始，数据被写入f i f o ；当上升沿到来后，写周勰结束。数据按顺序 写入r a m 中，并且写入的过程独立于读出的过程。 r # ：读使能信号。当f i f o 非空时( e f 无效) ，其下降沿标志一个读周期 的开始，数据被读出；当上升沿到来后，读周期结束。r # 进入高电平后， 数据输出q o q 7 会进入高阻态直到下一次读操作。 f l # r t # ：最先载入重传信号。此信号有两个作用，在使用了f i f o 的深 度扩展时，此管脚接地的器件是最先被操作的器件；在重传信号为低电 平时，当前数据被重新发送，在重发过程中，读、写使能必须保持为高 阻状态。 x i # ：扩展输入。在单器件模式下，此管脚接地；在深度扩展模式下，与 前一级扩展输出信号( x o # ) 相连。 f f # ：满标志。当f i f o 满时，该信号变为低电平，标志器件已经被写满， 以抑制进一步的写操作。 e f # ：空标志。当读写指针相同时，也就是器件变空了时，抑制进一步的 读操作。 x o # h f # ：扩展输出半满标志。当扩展输入管脚( x i 抖) 接地时，该信号 低电平表明f i f o 内的数据量已经达到其容量的一半：在深度扩展模式 下，该信号与前一级的扩展输出( x o # ) 相连。当读写指针到达f i f o 的 最后位置时，此输出提供一个脉冲，传送给下一个f i f o 器件。 2 f i f o 的读写过程 f i f o 的读写主要由r s # 、w # 、r # 、h f # 、f f # 、e f # 等控制。图2 4 为i d t 7 2 0 6 异步f i f o 的读写时序图，图中各个信号是相互独立的。 8 第二章视频监控系统前端设计及主要硬件部分 w 心 图2 4i d t 7 2 0 6 异步f i f o 的读写时序图 图中t 为读访问时间：t 。为读恢复时间：t m 为读脉冲宽度；t 。为读周期； t 。为读脉冲上升沿到数据输出呈高阻的时间；t 。为写数据建立时间；t 。为写数 据保持时间；t 。为写脉冲宽度；t 。为写恢复时间；为t 。写周期。对于系统中使 用的i d t 7 2 0 6 ，要求读周期t 。写周期t 。必须不小于2 5 n s ，t 。和c 。不小于1 5 n s ； 对于写入数据，数据建立时间t o s 不小于i i n s ，数据保持时间t 。最小为o n s 。 另外i d t 7 2 0 6 的数据线为9 位，而5 4 1 6 和0 v 6 6 2 0 的数据线都为1 6 位，为 了提高f i f o 容量和提高数据的传输效率，设计中利用f i f o 的x i # 和x o # h f # 将 两片i d t 7 2 0 6 作了宽度扩展。既把两片i d t 7 2 0 6 并联以提供1 6 位的数据线。做 扩展时需把x i # 信号接地，读使能( r # ) 、写使能( w # ) 、复位信号( r s # ) 和重 传信号( r t # ) 直接相连；标志位( f f g 、e f # 和f f # ) 可以任选其一。 3 f i f o 的容量确定 f i f o 可以同时进行异步的读操作和写操作，在写入速度比读出速度要快的情 况下，如图2 5 所示，实线表示写入f i f o 的平均速度，虚线表示读出f i f o 的平 均速度，两种操作同时开始进行，下面讨论在这种情况下每次传送一帧的数据量 时所需的f i f o 的最小容量。 图2 - 5f i f o 容量的确定 9 第二章视频监控系统前端设计及主要硬件部分 上图中c 为图像大小。v 为图像速度，f i f o 中的数据按实线增加，c r 秒后 一帧图像被写入。由于图像的速度为v 那么下一帧图像在1 v 秒后开始，这时 f i f o 中的数据必须被读空。图中虚线表示f i f o 的读出速度，而它们之间的距离 即表示任意时刻f i f o 中的数据量，从图中可以看出，在c r 处f i f o 所需容量为 最大，所以所需的f i f o 容量为c - x 。 这种策略适用于f i f o 写入比读出快的情况，且是以传送一帧图像在写完时 和读出时的图像数据量的差值作为f i f o 容量的最小值，这种情况需要写入和读 出保持精确的时间关系，即读写操作同时开始。 本设计中t m s 3 2 0 v c 5 4 1 6 读f i f o 的速度远大于0 v 6 6 2 0 对f i f o 写入的速度， 所以采用的是另一种策略( 见图2 6 ) ，即利用半满信号x o # h f # 作为视频数据压 缩单元t m s 3 2 0 v c 5 4 1 6 的中断请求信号，接到5 4 1 6 的中断申请输入端i n t o # 。当 f i f o 中的数据量达到容量的一半时，向5 4 1 6 发出中断申请，如果满足5 4 1 6 的 压缩条件( h p i 中的缓存为空) ，由中断服务程序将数据读出。由于是异步操作， 0 v 6 6 2 0 对f i f o 的写入和t m s 3 2 0 v c 5 4 1 6 对f i f o 的读出通过写指针和读指针异步 进行、互不影响，并且可以保证读出操作在下一次半满信号到达前完成，可以获 得比较高的系统效率，电路设计也比较简单。 如果用全满标志f f # 作为中断申请输入端，由于它是在比读指针少一个单元 的时候有效，而i n t o # 端是一个可屏蔽的中断申请端，那么到数据完全写满的时 候如果5 4 1 6 不能响应该该中断( 比如执行非屏蔽中断或处于不能响应中断的从 模式状态) ，那么就会发生读写错误。 利用中断方式传送数据对f i f o 的容量确定没有一个精确的度量。如果f i f o 容量过小，会引起d s p 频繁地中断，降低压缩效率。容量过大。则会增加系统成 本。c m o s 输出每帧的数据量约为l o o k ，本设计采用i d t 7 2 0 6 作为异步f i f o ，它 的容量为1 6 k 9 。f i f o 中数据的变化见下图。 m sm sm sm sm sm s t i m e 图2 - 6f i f o 实际的数据变化情况 由于c m o s 的像素时钟工作在8 8 6 m h z ，而d s p 的工作时钟可以达到f i f o 1 0 第二章视频监控系统前端设计及主要硬件部分 的存取数据的最高频率6 6 7 m ，经过0 8 9 m s f i f o 中数据达到半满，如果d s p 响应中断开始读取数据，则f i f o 处于同时读写的状态，由于读速率比写速率 高很多，f i f o 中的数据很快被读空。 2 2 3 数据选通单元 对于0 v 6 6 2 0 输出图像的截取是一步重要的工作，即只把有效的数据向压缩 单元中传送。这部分是通过a l t r a 公司的一块f p g a 来实现的，同时它还负责5 4 1 6 的一部分选通逻辑。 1 a l t r a 公司的e p m 7 1 2 8 简介 设计中使用的e p m 7 1 2 8 e 是基于e 2 p r o m 的可编程逻辑器件，它属与m a x 7 0 0 0 e 系列，可以通过标准的j t a g 接口实现在系统编程。该芯片内部包括1 2 8 个宏单 元( 称为逻辑阵列块l a b ) ，具有8 4 个管脚，另外还具有附加的全局时钟，输出 使能控制等信号。图2 7 为e p m 7 1 2 8 e 的结构框图。 m ”嘴 梆岫娜倦 图2 7e p m 7 1 2 8 e 的管脚分布图 e p m 7 1 2 8 e 含有四个专用输入，它们可以作为通用输入，也可以作为每个宏 单元和i o 引脚的高速、全局的控制信号，如时钟( c l o c k ) 、清除( c l e a r ) 和 输出使能( o u t p u te n a b l e ) 等。它的逻辑阵列块( l a b ) 由1 6 个宏单元组成， 多个l a b 通过可编程连线阵列( p i a ) 和全局总线连在一起。而宏单元由逻辑阵 列、乘积项选择矩阵和可编程触发器三个功能块组成。 2 m a x + p l u si i 简介 第二章视频监控系统前端设计及主要硬件部分 m a x + p l u s i i 是开发a l t r a 公司的f p g a 产品( 包括m a x 系列和f l e x 系列) 的 软件工具。它具有原理图输入和文本输入( 硬件描述语言) 两种输入手段，利用 该工具所配备的编辑、编译、仿真、综合和芯片编程等功能，将设计电路图或电 路描述程序变成基本的逻辑单元写入到可编程的芯片中( 如f p g a 芯片) ，做成 a s i c 芯片。它是e d a 设计中不可缺少的工具。目前该环境下使用的语言有v h d l 、 a h d l 和v e r i l o gh d l 。 b i a x + p l u si i 的设计过程如下： 设计的输入：包括图形输入、文本输入和波形输入。图形输入即输入 电路原理图，可以使用几乎全部的标准e d a 设计工具；文本输入支持 a l t r a 公司的a h d l 语言，同时兼容v h d l 和v e r i l o gh d l 。波形输入 可以由系统自动生成用户通过编辑输入的波形。 设计实现：设计实现意味着在所选的f p g a 器件内物理地实现所需逻 辑。它通过m a x + p l u si i 中的核心编译器( c o m r i i l e r ) 完成。 设计仿真：仿真器( s i m u l a t o r ) 和时延分析器( t i m i n ga n a l y z e r ) 利用编译器产生的数据文件自动完成逻辑功能仿真和延时特性仿真。 器件编程与测试：在仿真结果正确之后，就可以进行器件编程，也就 是通过编程器将设计下载到实际芯片中。下载之后，仍需要动态仿真。 3 v h d l 语言 v h d l 语言的全称是v h s i ch a t d w a r ed e s c r i p t i o nl a n g u a g e ，它最初是由美 国国防部开发的硬件描述语言，目前该语言已经成为i e e e s t d - 1 0 7 6 标准，很多 公司的硬件电路设计工具都支持v h d l 语言。 v h d l 语言支持自上至下和基于库的设计方法，而且还支持同步电路、异步电 路、f p g a 和其他随机电路的设计。该语言具有多层次描述系统硬件功能的能力， 可以从系统的数学模型直到门级电路；另外，高层次的行为描述可以与低层次的 r t l 描述和结构描述混合使用。 4 用v h d l 语言实现0 v 6 6 2 0 输出有效数据的选通 c m o s 图像传感器上电后就处于输出所采集数据的状态，在进入缓存之前需要 确定屏幕中输出数据的有效区域的位置及大小，并且按照时钟对数据进行截取。 输入e p m 7 1 2 8 e 的控制信号包括v s y n c 、h r e f 、p c l k 等信号，数据线也输入 e p m t l 2 8 e 并有相应输出。用v h d l 语言编写的数据选通程序的主要部分如下所示， 其中程序中的q 用来作为f i f o 的写控制信号。由于像素时钟为8 8 6 m h z ，故程 序中增加了一个周期为1 1 2 n s 的计数器。 1 2 第二章视频监控系统前端设计及主要硬件部分 l i b r a r yi e e e ： u s ei e e e s t dl o g i c11 6 4 a l l ： u s ei e e e s t dl o g i cu n s i g n e d a l l ： e n t i t yc m o si s p o r t ( y7 ：i ns t d _ l o g i cv e c t o r ( 7d o w n t o0 ) ： u l 7 ：i ns t d - l o g i c - v e c t o r ( 7d o w n t o0 ) q o ，q l ，q 2 ，q 3 ，q 4 ，q 5 ，q 6 ，q 7 ， q 8 ，q 9 ，q i o ，q l l ，q 1 2 ，q 1 3 ，q 1 4 ，q 1 5 ：o u ts t d _ l o g i c h r e f ，v s y n ，c l k ：i ns t dl o g i c ： q ：o u ts t dl o g i c ) e n dc m o s ： a r c h i t e c t u r er t lo fc m o si s s i g n a ld a t a l ：s t d _ l o g i c _ v e c t o r ( 7d o w n t o0 ) ： d a t a 2 ：s t d _ l o g i c _ v e c t o r ( 7d o w n t o0 ) ： b e g i n d a t a l = y - 7 ： d a t a 2 = u v7 ： q o = d a t a l ( 0 ) ： q 1 = d a t a l ( 1 ) ： 0 2 = d a t a l ( 2 ) ： q 3 = d a t a l ( 3 ) ： q 4 = d a t a l ( 4 ) ： q 5 = d a t a l ( 5 ) ： q 6 = d a t a l ( 6 ) ： q 7 = d a t a l ( 7 ) ； q 8 = d a t a 2 ( 0 ) ： q 9 = d a t a 2 ( 1 ) ： q l o = d a t a 2 ( 2 ) ： q 1 1 = d a t a 2 ( 3 ) ： q 1 2 = d a t a 2 ( 4 ) ； q l3 = d a t a 2 ( 5 ) ： q 1 4 = d a t a 2 ( 6 ) ： q 1 5 = d a t a 2 ( 7 ) ： p r o c e s s ( p c l k ) b e g i n 输入信号 a 输出信号 木输出写信号 选通后数据传送 第二章视频监控系统前端设计及主要硬件部分 i fv s y n = 0 t h e nav s y n 有效 i fh r e f = 1 t h e n肛h r e f 有效 i f ( p c l k e v e n ta n dp c l k = 1 ) t h e n 上升沿选通$ q = 0 ： q 一 境塞多工7 y 通知主处理器 4 5 1 0 b 读取数据 二 d s p 休眠 堕握通丑h ! 佳 。l 结束 图4 6d s p 处理一帧图像的流程 编码过程实际上是对d c 系数和a c 系数分别进行压缩的过程。其中，d c 系数 是8 * 8 块的平均空间密度。它采用差分方法编码，即预测值与前一值的差值。每 个差分d c 系数用两个符号进行编码。符号1 表示的信息称为“长度”，即为d c 系数的幅度迸行编码所用的位数，它用h u f f m a n 表中的可变长度代码( v l c ) 进行 编码。符号2 表示d c 系数的幅度，用可变长度整数代码( v l i ) 进行编码。类似的， 每个a c 系数也用两个符号表示。其中符号i 表示了“游程”和长度两条信息。 符号2 表示了a c 系数的幅度。分别用h u f f m a n 表中的v l c 和v l i 进行编码。编 码过程中可对零值a c 系数的个数作计数直到遇到第一个非零的a c 系数。编码时 每发现一个非零系数，就建立一个复合的8 位数值。其中8 位复合值中的低四位 是表示a c 系数所需位数被编码的b c d 值，用s s s s 表示。遇到非零a c 系数之前 的零值a c 系数的个数生成了8 位复合值的高4 位，用n n n n 表示。编码过程为 先对v l c 进行编码，v l c 代码之后是v l i ，它表示了a c 系数的幅度，这一过程重 第四章j p e g 算法及d s p 的运算分析 复进行直到全部6 3 个系数都用这种方式处理完毕。如果最后一个a c 系数是零， 就用块结束( e o b ) 代码。这一过程对于不同的8 * 8 数据块的量化结果所用的周期 数不一样，如果假设量化后的d c t 系数中含有2 5 的非零系数，这一过程大约需 要1 2 0 个时钟周期。 完成一帧图像数据的处理所需的时间是由c o m s 图像输出时间和d s p 完成 j p e g 压缩所需时间的较大值。如果d s p 的处理速度小于c m o s 图像传感器的输出 数据的速度，则可以降低c o m s 图像传感器的数据输出速率。本设计中进行j p e g 压缩的全过程所需要的时间为6 2 5 1 5 8 4 ( 5 1 2 + 6 4 + 1 2 0 ) = 6 8 9 m s 。而c m o s 图 像传感器默认的时钟频率是1 7 7 3 m h z ，像素频率为8 8 6 m h z ，时钟周期为 1 8 8 6 m h z = 1 1 2 n s ，所以每帧图像输出所需的时间为1 0 1 3 7 6 1 1 2 n s = 1 1 3 5 m s ，可 知d s p 可以在规定的时间中完成对一帧图像的压缩。 由于一帧的数据经由h p i 传至4 5 1 0 所需要的时间为1 4 5 m s ，满足5 4 1 6 压 缩数据的时间要求，所以这一设置为比较理想的方案。 4 3 3f d c t 变换的c 语言实现 d c t 算法中首先将二维转换为一维，然后对一维8 点利用快速算法，实现f d c t 的快速运算。这种算法的c 语言描述请参考附录，该程序只能对8 * 8 的采样块进 行变换。 变换过程分为两步：行变换和列变换，基本过程相同。在每一种变换中又分 为对偶数项( o ，