（光学工程专业论文）基于DSP的小型视频图像采集、处理与存储系统研究.pdf

硕 二 卜 论 文墓于 d sp 的小型视频图像采集、处理与存储系统研究 abs tract withs pe c i als t iu c t u r e and i m 吧 i n g ab i l i ty，e l e c tron i c e n d o s c o pep l ay s i m port a n t ro l e inv ario usfi e l dso f p r o d u ct i o n and l i fei n so c i et y. tr a d i t i o n a 1 e l e c tron i c e n d o sc 0 p e c annot d eal w i thd i g i talre co rdand p r o ee s s o f i m a g in g ， b u t it i s i n d i s p e n s abl e tom o ds mm e d i c al trea t m ent and l n d u s t r l aln on一 de s truct i vetest ing (nt d ) fi e l d . b as e d o n this b 那 kgro und ， 而s thes i s m a k e s re s e areh o n d i g i talv i d coc a p tu ri n g ， stori n g an d p r o ce s s i n g s y stem ， w h i c h i s port a b l e wi thl o w power an d h i ghi nt e g r at ed on th e b as i s o f w i d e1 y rc s e ai c h in g i n t o d ev e l opm e n t 即 t u a l i tyo f e l e c tr o n i c e ndo s c o pe and its加ag i ng p ro ce ss i ngtechoi q u e ， a c c 0 rd i ngtoi m a g e c h ar a c te ri sti c and th e t e c hoi q u e re quir e m e nto f th ee l e c tro垃 ce n d o s co pe s y s t e m ， th i s th e s i s p uts fo 拟肛 dth e s y stem ， 5 o v e r a l l sc h e m e ， c h oos e s the corechi p s ， co帅l e t e s the s che m 血 i c c i rc ul t d i a g r 别 m ， p c b sc h em e ， and t h en t he e ml uat o r a n d v erifi c ation o f t h e p c bboa r d . a fter th e s e ， the s y st e m，5 so n w are d e s i gni s co m p l e t e d ， u l ti m at e l y，the so n 从 are and h ardwarecom b i n edd e bug gi n g i s acc o mp l i s h e d . 而t i ald e b u g g i n g resultss h o wt h a t ， the s y s t e m， s o v e rall te c hni q ue 邪h e me i s fe a s i b l e， t he h a r d w are c i rc u i t andre 1 a t e ds y st em soft w are c an fon c t 1 o nc o rr e c t l ya c c 0 rdi ng tothe d e s i 罗， an dthe i m ag ec a p tu ri n g ， p ro ce s s i n g ， sy stem co n t r o l l i n g ， f a r 1 6fi l es y 引 e m e s l a b l i shin g ， c fc a r d file s 1 0 n n g and vi de。 。 u t p u 廿 1 雌 丘 川 c t l o n s are a 习 c o mp l i s h e d . on l h e w h o l e ， th e e x peot eda i mi s 即hi e v ed k e y w o r d s : e le c t r o n i c e n d o s c ope ， p o 州 刁 b l e ， d s p，d ig ita l v i d eo， i ma g e c apt u r i n g ， pr o c e s s i n g，s to ri n g 声明 本学位论文是我在导师的指导下取得的 研究成果， 尽我所知， 在 本学位论文中，除了加以 标注和致谢的部分外， 不包含其他人已 经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。 与我一同工作的同事对本学位论文做出的贡献均 已在论文中 作了明确的说明。 研 究 生 签 名 : 兽 志 . 听 为 介/ 月 f 日 学位论文使用授权声明 . 南京理工大学有权保存本学位论文的电子和纸质文档， 可以 借阅 或上网公布本学位论文的 部分或全部内容，可以向 有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。 对 于保密论文，按保密的有关规定和程序处理。 。签 名 : 遗 立 生 二 007 ， 7 月 : 。 硕 十 论 文 纂于ds p的小型视频图像采集、处理与存储系统研究 绪论 l l 课题的研究背景 数字视频图 像处理， 就是 对从图 像信息转换来的数字信号 进行某些数 字运算或处 理， 以 期 提高图像质量 或达到人们所预期的结果， 常用的数字 视频图 像处 理方法有图 像 增 强 、 去 噪 、 复 原 、 编 码 、 压 缩 等 111 。 随 着 数 字 视 频图 像 处 理 技 术的 深 入 发 展， 从 7 0年代中期开始，视频图像处理系统的 应用已 经深入到关系国计民生的许多领域。 但同 时， 由于 传统的 视频图 像采集、 处理与存储系统比 较庞大， 其在便携场合的应用 受到了 越来越大的限制121 。 本课题以 便携 式电 子内 窥镜为背景， 就基于d s p 的小 型视 频图像采集、处理与存储系统进行研究。 l l i 内 窥镜简介 1 . 1 1 1 内窥镜的起源及发展 内 窥镜起源于 1 5 0 6 年， 主要经历了4 个发展阶段，每 个阶段都以当时 所用器械 的主要特征为标志。 硬 式 内 窥 镜 阶 段 (l 8 06 一19 3 2) : 硬 式内 窥 镜由 德国 人p hil i即 b 。 及 而首 创， 由 一 花瓶状光源、 蜡烛和一系列镜片组成， 主要用于膀胧和尿 道检查。 1 8 95年ros e nh e in 研制的硬式内窥 镜由3 根管 子呈同 心圆状设置， 中心管为 光学 结构， 第二层管腔内 装 上铂丝圈制的灯泡和水冷结构，外 层壁上刻有刻度， 反映进镜深度。1 9 11 年 el s n e 了 对rose nhei n 式内窥 镜作了改 进， 在前端加上橡皮头做引导 之用， 但透镜脏污后 便无 法观察成为主要缺陷，尽管如此，elsner式胃镜在 1 9 犯 年以前仍处于主导地位. 半 屈 式内 窥 镜阶 段 ( 19 犯 19 5 7) : s ch in dl er 从1 9 2 8 年 与 优 秀 的 器 械 制 作 师g e o 落 w b l f 合作研制胃 镜， 最终在 19 32年获得 成功， 定名为w 匕 1 卜 s c h in d l 式胃 镜. 之后， 许多人对 其进 行了改 造， 使之功能更为齐 全， 更为实用13 . 光 导 纤 维 内 窥 镜 阶 段 (1 9 57 19 8 3) : 19 54年 ， 英 国 的h 叩 k in s 和k a p an y 发 明 了 光导纤 维技术。1 9 57 年，hi rs cho wi tz及助手在美国胃 镜学会 上展示了自 行研制的 光 导 纤 维 内 窥 镜。 60年 代 初， 日 本 奥 林巴 斯 ( ol y m p us ) 公 司 在 光导 纤 维胃 镜 基 础 上， 加 装了活 检装置 及照相机， 将胃 的像片保存 下来.19 6 6年奥林巴 斯公司首创前端弯角 机构，1 9 67 年 m a chida 公司采用外 部冷光源， 使光量度大增， 可发现小 病灶， 视野 进一步 扩大， 可以 观察到十二指肠。 随着附 属装置的 不断 改进， 如手术器械、 摄影系 统的发 展， 使纤维内 窥镜不但可 用于诊断，且可用于手术治 疗14 。 电 子内 窥 镜 时 代 ( 19 83年 至 今 ) : 19 83年 美国 的 韦 林 (welchal lyn ) 公 司 成 功 研 制 电 子 摄像式内 窥镜。 该内窥镜镜前 端装有被称 为 “ 高 敏感度微型摄像机” 的光电 祸合 器 硕士论文基于 dsp的小型视频图像采集、处理与存储系统研究 光学等 学科领域的 深入研究， 使图 像处理技术在理论 上得到了 扩充， 在算法上得到了 改进，在技术上更加成熟。 现在， 数字图像处理应用的领域己经极其广泛， 从民用领域， 如机器人视觉、资 源探测、航空航天、工业检测、公安司法、天气预报和各种医学图像分析等;到军用 领域， 如导 弹的 精确制导， 战场的动态分 析等， 都利用了 数字图像处理技术16 . 作为数字图 像处理的 一个重要应用 场合， 目 前国内 研制的电子内窥镜却普遍 缺乏 必要的图像管理系统，国外高档电子内窥镜则大都包含相对完整的图像管理系统。 如 韦林 公司研制的电 子内 窥镜包含数字变 焦、 分屏显示、 屏幕锁定、 曝光模式、 录 像以 及存储等图 像处理功能; 奥林巴 斯公司 研制的电子内 窥镜则包含图象捕捉和存储、 图 象 测 量、 图 象的 输 入 输出 、 图 像 明 暗 的 调 节以 及图 像 缩 放等 图 像处 理 功 能 15 ，9l 。 电 子内 窥镜视频图 像的处理芯片主 要有d s p 和f p g a等。 d s p具有强大的 运算 能力 和灵活的 可编程特性， 其功耗也在逐 渐降低; f p g a配置灵活， 具有丰富的 11， 资 源可供利用， 适合构造具有独特功能的 视频图 像处理算法， 当前很多fpg a厂商都 推出了大分辨率的视频应用解决方案。 总的来说， 这两种技术 目前在视频处理领域的 应用都很普遍。不过，对一般开发者来说，因 d s p更易使用，故其较为普及一些。 目 前， d s p 的主 要生 产厂家n公司 和a di公司都推出了视频图 像处理解决的新方案。 tl 公司推出的达芬奇技术是集成基于 d s p的处理器系列、软件、工具以及支持 开发广泛范围的优化数字视频终端设备的先驱， 专门为高效、 强大的数字视频量身定 制。达芬奇技术是根据视频应用的各种需要，将一系列全新技术和服务整合在一起， 其中包括了软件上的新型架构、操作系统及其上的驱动程序、硬件上的增强指令集、 协处 理器， 以 及开发 工具和配套的 技术支 持等等， 从而形 成一套完整的 视频开发 解决 方案。 其独特的d s p 和 a r m双核结构不仅能同时 满足视频应用在运算能 力和控制 功能上的要求， 而且大大简化了系统设计的复杂性， 很有可能成为今后视频应用处理 芯片的主流解决方案。 虽然达芬奇技 术带来了 全新的研发 理念， 但是作为一项尚 处于 发展初期的技术， 仍然可能存在一些问题。 首先是视频硬件加速器的使用细节没有公 开， 其次开发环境非常复杂。 但总的来说， 达芬奇技术整合了多项视频应用方面的前 沿技术， 针对视频应 用的需 要对d s p 子 系统进行全面的增强， 而且由 于集成了a r m 和d s p 双处理核， 能 给出 一个基于单芯 片的完整视频应用解决方案。 从这方面来说， 达芬奇技术已经 走到了 视频应用的前 沿 ， 6 。 a d i 公司推出的多媒体处理芯片是 blackfin系列的 d s p ，black f 讯处理器是一 类专为满足当 今嵌入式 音频、 视频和通信 应用的计算要求和功耗约束条件而设计的新 型16 3 2 位嵌入式处理 器. bl ac k fi n 处 理器基于由a d i 和i ntel 公司联合开发的 微信 号架构 (ms a ) ， 它将一个32位犯s c型 指令集和双16位乘法累加( m a c)信号处 理功 能与通用型微控制器所具有的易用性组合在了一起.这种处理特征的组合使得 硕 士论 文 荃于d舒 的小型视频图像采集、处理与存储系统研究 bla c k f i n 处理器能够在信号处理和控制处 理应用中 均发 挥上佳的作用， 在许多 场合中 免除了 增设单独的异类处理器的 需要。 该性能极大 地简 化了硬件和软件设计实现任 务。 其视 频指令除了具 有对8 位数据以 及许多 像素 处理算法所常用的字长的固有支持 之外， bl a c kfin处理器架构 还包括专为增强视频处 理应用中的性能而定义的指令。 比 如， 离 散 余 弦 变 换 (dc 刀 通 过一 个ie eel l 80舍入 操 作 得 到 支 持 ， 而 “ s u ma b s 0 l u 花 diffe r 卫 n c e ” 指令则支持在诸如m p e g z 、 m p e g4 和jpe g等视频压缩算法中所使 用的 运 动 估 计 算 法 11 71 。 近年来，视频图像处理系统利用多 媒体系列 d s p芯 片为核心硬件， 在软件上不 断改进原有算法和提出新的算法，同时 借助 d s p芯片的 不断更新换代来提高硬件的 处理能力， 同时在准确性、 实时 性方面变得 更加精确和更加迅速， d s p 越来越高的 性 能价格比 ，日 渐完善的开发方式使d sp 的 应用范围 越来越大，当 今基于d s p 图 像处 理的 硬件平台占 据了主导地位，已 经 广泛地应用于通信， 雷达， 声纳， 遥感， 生物医 学，机 器人， 控制精密机械， 语音和图像处 理等领域。 可以 说以 d s p芯片为基础的 数字图像处 理技术已 成为当 代电 子、通 信和信息 处理技术不可或缺的重要手段。 1 .2 论文的主 要研究内 容 本 课题拟以 便携 式电子内 窥镜为背景， 以研制 一种低功耗、 高 集成的便携式基于 d s p 的小型视频图像采集、 处理与存 储系统为目 标， 从而使电 子内 窥镜更好的满足市 场需求。 本论文的主要研究内 容包括以 下 几个方面: 1 调研电 子内 窥镜的 研究现状以 及其市场应用前景， 确定出 本系统的 研究 重点: 2研究数字视频信号的制式 及标准， 分析基于电 子内窥 镜的视频图像的特征， 并 结合系统的技术要求提出系统的整体设计方案; 3系统硬件设计，根据系统所要实现的功能选择合理的嵌入式结构体系 d s p 祀p l d ， 根据器件选型原则选择 实现各功能的器件， 采用模块 化设计思想， 进行 系统硬件电路的设计。 采用多 层板布线， 按照器件布局规则合理的 进行器 件布局， 然 后根据电 路布线的 设计规则， 以 及高 频部分布 线的设 计规则进行布线， 并最终完成整 个硬件 系统的p c b 设计及系统信号完整 性仿真; 4系统软件设计， 便携式基于d s p的小型视频图 像采集、 处理与存储系统软 件 设计的关键问题包括:以d s p芯片t ms320c 6204 为中心的图像采集处理软件、 系统 图像处理算法以及基于 c f卡的f a t 1 6 文件系统设计等; 5系统软硬件调试， 为了 验证硬件 系统的 可行性和可 靠性， 以 及软件系统的正确 性， 需要设计相 应的实 验来加以 验证。 硕士论文基于o s p的小型视频图像采集、处理与存储系统研究 2 系统整体方案设计 本章 将研究模拟 视频信号的制 式及数字视频 标准， 分析电子内窥 镜的成像原理以 及基于电 子内 窥镜的 视频图像 特征， 最后结合 系统的 技术要求研究系 统整体方案及其 可行性。 2. 1 模拟视频制式及数字视频标准 视频是由 许多幅按时间 序列构成的连续图 像组成， 每一幅图 像称为一帧， 帧图 像 是视频图像的基础。由于每一帧图像的内容可能不同，因此， 整个图像序列看起来就 是活 动图像， 视频可以 分为模拟视频和数字 视频两种 llb 。 2. l i 模拟视频制式 视频信号是一种模拟信号， 由视 频模拟数 据和视频同 步数据构 成， 用于监视器正 确地显示图像，图像的细节取决于应用的视频标准或者制式。目前模拟视频主要有三 种制式，即n t s c伽ati。 耐 tel evisi on s . 口 d ar d s c o inm itt ee ) 、 p a l伊 h 出 姆a l t e rn at i on li ne )和s e c a m(s eque ni ialc ol o uravecm emoi re ) 制 式， 这 三 种 制 式 皆 属 兼 容 制， 其 共同 点是都 采用能与黑白电 视兼容的 亮度信号和两 个色差信号作为传输信号; 其不同 点是两个色差信号对副载波采用不同的调制方式. n t s c制式: 它是1 9 52年由美国国 家电 视标准委员会指定的彩色电 视广播标准， 它采用正交平衡调幅的技术方式，故也称为正交平衡调幅制。 n t s c制式视频信号的 整个频谱 分量达6 m h z 带宽。 美国 、 加拿大等大 部分西半球国家以 及中国的台湾、 日 本、韩国、菲律宾等均采用这种制式。 以l 制式:它是西德在 19 62年指定的 彩色电 视广 播标准， 它采用逐行倒相正 交 平衡调幅的 技术方法， 克 服了n t s c制 式相位敏感 造成色彩失真的缺点。 p a l 制式 为 每秒25 帧图像，电视扫描线为6 25线， 每帧包括奇偶 两场. 西德、 英国 等一些西 欧 国家， 新 加坡、 中国大陆及香港， 澳大 利亚、 新西兰等国家采 用这种制式。 p a l 制式 中 根据不同的参数细节， 又可以 进一步 划分为g 、 1 、 d等制式， 其中pa卜d制是我 国大陆采用的制式。 sec a m制式: s e c a m是法文的 缩写，意为 顺序传送彩色信号与 存储恢复彩色 信号 制， 是由 法国 在 1 9 56年提出， 19 66年制定的一 种新的 彩色电 视制式。它也克服 了n t s c 制式相位失 真的 缺点， 但采用时间 分隔法来传送两 个色 差信号。 使用s e c a m 制式的国家主要集中在法国、东欧和中东一带。 上面 介绍的 三种模 拟视频制式的 主要参数 如表2 . 1 . 1 1 所示。 1 0 硕 士 论 文基于 d s p的小型视频图像采集、处理与存储系统研究 表2 卜 1 . 11三种模拟视频制式的主要参数 模拟视频制式 nts c 一 mp al ， ds e c a m 帧频( h z ) 3 02 52 5 行/ 帧5 2 5 6 2 5 6 2 5 亮度带宽( m h z) 42606o 彩色副载波( m h z) 3 5 84 434 念5 色度带宽( mh z)1 ，3 ( 1 ) ，0 .6 ( q )1 3 ( u ) ，1 3 ( v ) 1 .0 ( u ) ， 1 .0 ( v ) 声 音载波( mh z) 4 石656 一 5 2. l 2 通用数字视频标准 在不同的应用和产品之间交换数字视频， 就需要数字视频格式标准。 为了便于国 际节目交换以及 p a l制系统与 n t s c制系统之间兼容，这就导致了通用数字视频标 准的出 现。 下面将简述国际无线电 通信咨 询委员 会(c c ir)所制定的 数字分量视频标准 c ci r . 6 0 1及 cc ir一 6 5 6 。 i c c ir-6 0 l l l . ， 1刃 c c ir一 601 定义的对应于5 25 行和6 25 行电视 系统的电 视演播的数字视频标准， 建 立在带有一个 亮度 ( y ) 和两个色差( c r 和c b) 信号 的分量视 频的基 础上。 在5 25行和 6 2 5 行系统中， 采样频率均选择水平扫描频 率的整 数倍。因而，对 亮度分 量有: f， ， = 8 5 8 fh ，52 ， = 8 64 人 ，62 ， = 13 .5 人 办 12(2 一1 .2. 1) 对色度分量有: 人 ， ， = 人 ，/ 2 = 6 ，7 5 人 刀 介( 2 ; 1 .2 2 ) 因此， y ， c b ， c r 三者的比 例关系为4: 2: 2 ，图2 1 .2 . 1 是三者的 样点 结构图， 表 2 . 1 . 2 1 是c c i 凡6 0 1 的4 : 2 : 2 标准. 火kx火 x火火k xkkk kkk火 k:亮 度 信 号 :色 差 信 号 图2 . i 2 1 c cir 一 01标准样点结 构图 硕j论文某于ds p的小型视频图像采集、处理与存储系统研究 表2 . 1 . 2 . i c c i r 一 6 0 1 的 4 :2 :2标准 参量 n t s c 制( 5 2 5 行，6 0 场) 队l 制( 6 2 5 行，5 0 场) 有效像素币 l u m ( y ) c h r 0 ma( u，v ) 7 2 0 3 6 0 7 2 0 3 6 0 有效的行 / 图 像lum ( 丫 ) c h r o m a( u，v) 4 so 4 8 0 5 7 6 5 7 6 隔行扫描2 : 12 : 1 帧率 6 0 5 仃 宽高比4 : 34 : 3 z c c i r -6 5 6 12 0 2 1 c c i r-6 5 6 是在c c i r 一 6 01的基础上发展的一种 新数字视频标准。 协议使用2 7 m h z 的 时钟 对视频信号进行采样， 其中亮度 ( y)信号 采样频 率为 13.5 m hz，色差 似 和 v ) 采样频 率为6 7 5 m h z ， 量化比 特为8 或1 0bit 。 协议使用定时基准 信号表 示活动 视频 数据的开 始和结束， 且定时信息( 例如行同步、 场同步、 奇偶场等信息 ) 都包含在定时 基准信号 之中。 c c ir-6 56 协议中定义了 活动视频开 始(s av) 和活动视频结束( e a v ) 两 种定 时基 准信号。 s av 和e 八 v的 前三个字都是ox f f ， oxoo， 0 x00，第四个字oxx y 如表2 . 1 . 2 2所示。 表2 . 1 .2. 2定时 基准信号的第四字各比 特分 配情况 比 特19 : 7 6 5 4 3 12 : 0 o x xy f v h ” 3 pz p ，po 0 0 f =0 表示奇数场，f =1 表示偶数场;v =0表示活动视频，v二1 表示场消隐; h = 0 表示活动视 频从 此处开始，h =1 表示从此处结束: pl)、p l 、 pz、 p 3 用于 对f 、v 、 h进行容错纠正。 注释 当 采样量化比 特数为s b i t 时。 在 pal 制6 2 5 / 5 0 ( 每秒2 5 帧，每 帧 6 2 5 行， 每帧 分两 场隔行扫描) 标准下每 帧定时 基准信号的 位置如表 2 . 1 . 2. 3 所示。由 于 c c ir- 6 56 视频数 据流采用 8 根信号 线( 传统方式需 要 19根信号线) 就可以 传输所有的图像信息 和行同 步、 场同步、偶同步 信息， 因此采用c c 很一 6 56方 式进行接口 设计时， 便于实 时数 字图 像处理硬件平台以 功能 单元为单位进行模块化设 计. 表2 . 1 . 2 3队l 制标准数字定时基准信号的位置 上帧本帧 6 2 46 2 51 2 32 4 .。3 1 0 31 1二 ， 3 3 63 3 7 .。 . 6 236 2 462 5 奇场消隐奇场有效偶场消隐 偶场有效 下一帧奇 场消隐期 奇场偶场 在队l 制6 25/ 50( 每秒25帧，每帧6 25 行，每帧分 两场隔 行扫描 ) 下， 奇场消 隐 时间为6 2 4 行到 23 行，共 25 行;偶场消隐时间为 3 11 行到 3 36 行，共 2 6 行。如果 硕士论文 基于d sp 的小型视频图像采集、处理与存储系统研究 每行抽样8 64 个像素，其中从第0 个到第7 19个为有效 像素， 共计7 20 个，从720 个到8 63个为 消隐期像素。 每个像 素都抽取y分量， 每两个像素则抽取一 个cr和一 个cb 分量. 表2. 1 . 2. 4 是帧内 一行以 及像素 抽样数 据排列格式的示意图 。 72。 个 像素的y:u:v(4: 2: 2) 格式的 数据 c b 0 y 0 c r 0丁 cb 2 y 2 cr 2 y 3 cb 7 1 8 y 7 1 8 全 7 1 8 y 7 1 9 1 1 3 数字视频图像压缩标准 数字化信息的 数据量非常庞大， 这 样庞大的 数据量无疑给存储器的存 储容量、 通 信线路的信道传 输率以 及计算机的 计算速度都增加了极 大的压力。 同 时这也是制约多 媒体技术发展的 一个瓶颈问题。 解决这一问题， 单纯 通过扩大存储器容量、 增加通信 线路的 传输率是 不现实的，因 此需要对视频 数据进行压缩编码。 近年来，国 际标准化组织15 0 、 国 际电 工委员会ie c 、 国际电 信联盟仃 u . t 相继 制定了 一系列数 字视频图 像编码的国 际标准 ( 如表2 . 1 3. 1 所动 ， 有力地 促进了 视频信 息的 广泛传播和 相关产业的巨 大发展11 气 标准名称制定日期 压缩比与比特率主要应用 jp e g 连续色调静止图像编码! 卯 月 . 2 压缩比 2 3 0 因特网 图像1 视频编码 mpe g4 音视频对象的通用编码1 9 99 . 1 比特率 s kbi t/ 台 3 5 mb i 比 因特网、移动视频 交互式视频 护e g2 0(x) 下一代静止图 像编码 2 0(扣 j 压缩比 2 5 0 医学图像 数字图书馆 h.264 先进视频编码 2 的 2 .6 比特率 s kb眺 1 00h 肠1 的 视频电话、会议 因特网 下面简单介绍 一下先进视 频编码h.2 64标准。 视频联合工 作组j v t于2 001 年 12月成立， 它由n u . t 和 15 0两个国际 标准化 组织的 有关视频编码的专家联合组成。jvt的工作目 标 是制定一个新的视频编码标 准，以 实 现视频的高压缩比、 高图像 质量、良 好的网 络 适应性等目 标。目 前 丁 v t的 工作己 被i t u 一 t接纳，新的视频压 缩编码标准称为h.2 64标准， 该标准也被15 0接 纳， 称为avc ( a d v an 以 刃 巧d coc odin g ) 标准， 是n 于 e g 礴的第10部分. h.2 64算法和 结构上的 改进， 使它成为一个应用 广泛且高效的标准。 其改 进如下: 1多 种更好的 运动估 计。 包含高 精度估计、 多宏块划分 模式估计、 多参数帧估 计; 2更精确的帧内 预测。 在h.2 64 中 ， 每个4 x 4 块中 的每个像素都可用17个最接 硕士论文 荃于d s p的小型视频田像采集、处理与存储系统研究 近先 前己 编码的像素的不同 加权和来进行帧内 预测; 3统一的vl c (un l v e r s 幻 v l c ) . u v l c 使用一个相同的 码表进行编码， 而解码器 很容易识别码 字的前 级， u 丫 毛 c在发生比 特错误时 能快速获得重同 步。 通过上面的改 进， h.2 64具有下面的 优点: :1 更高的编码效率。 在相同 视频质量的情况 下， h.2 64 可比入 佃 e g 礴节省50% 左 右的码率: 2自 适应的时 延特性。 h. 2 64 既 可以 工作于低时 延模式下， 应用于视频会议等实 时通信 场合， 也可以 用于没有时延限制的 场合， 如视频存储等; 3面向ip包的 编码机制。 有利于ip网络中的分 组传输， 支持网 络中视频流媒 体 的 传输，并 且支持不同网 络资源下的分级传 输; 4错误恢复功能。 h.2 64提供了 解决网络传输包 丢失问 题的工具，可以在高误 码 率的信 道中 有效地传输数据; 5 开放性。 h2 64基本系统无须 使用版权，具有开 放性。 u电 子内 窥镜图 像分析及含图 像处理的电子内窥 镜系 统组成 2. 2. 1 电子内 窥镜图 像分析 电 子内 窥镜镜身部分由 于受人体消 化道、 工业管道等口 径的限制， 直径一般不会 很 大， 尤其对于人体消化道，直径一 般限 制在货 钊 叮 左右: 工业内 窥镜的直径一般为 6 2 0 . 叮 1圈。 而c c d 处 于 镜身 部 分， 其 尺 寸 受 到 了 很 大 限 制 ， 所 以 其 分 辨 率 不 高 ， 在监视 器上显示的 画面小， 不利于观察， 因 此需要对 采集到的图 像进行插值放大 处理。 在电 子内 窥镜系统中， 由 于人体以 及工 业管 道内 壁上水珠的反 射、 光源与内 壁各 处的 距离和相对角度的不同等因素 造成观察范围内 各处的 照度和反射光强度不一样， 从而使得内 窥镜图像的清晰 度不好， 细 节不能 突出 ， 因 此需要对采集到的图像进行增 强 处 理 1刀 1. 在工业无损检测中， 为了 更方便的 对发动机管道 等进行维护， 需 要对图 像进行分 屏等操作， 有时为了更方 便的 观察图 像， 就需 要对图 像进行一些 几何 变换， 如图像的 镜像、 平移等操 作。 此外， 在某些高端 产业中， 有时 需要保存 采集的 图像， 为了 节省存储空间， 需要 对图像进行压缩处理。 1 2. 2 含图 像处 理的电子内窥 镜系统组成及技术要 求 电 子内 窥镜主要由内 镜(巧 d e oend。 义 。 拌 ) 、 视频处理系统 帅d eo p r 侧 龙 s s in g sy s te m ) 、 监 视 器 ( m o ni to r) 及 存 储 部 分 伽e m o 珍 ) 组 成. 电 子 内 窥 镜 的 结 构 如 图 2. 2 :2 1 所示。 其成像原理是: 利 用视频 处理系统装备的 光源所发出的 光， 经内窥镜内的导光 1 4 硕士论文 基于 o s p的小型视频图像采集、处理与存储系统研究 纤维 将光导入受检体腔内， c c d图像 传感器接受体腔内 粘膜面、 工业管道壁等反射 来的光， 将此光信号转换成电 信号，再 通过导线将电 信号传 输到 视频图 像处理系统， 然后视频图像处理系统将对这些电信号进行储存和处理， 最后传输到电视监视器， 在 屏 幕 上 显 示 出 受 检 部 位 的图 像 1241 。 图2. 2. 2 1 电子内 窥镜的结构示意图 本 论文研究的 数字视频图像处 理系统 哪d eo s ys teln c e n t e r) 主要 针对工业电 子内 窥镜视 频图 像的采集、 处理与压缩存 储， 因 此特定的 应用场合决定本 系统的 技术要求 如下: 1 模拟视频输入制式: 队l 或n t s c 制式模拟视频信号; 2数字视频图 像处理: 图 像放大、 . 图像平移、 图像 镜像、 图 像增强等以 及结合硬 件选择合适的压缩算法; 3使用键盘作为输入，控制系统完成相应功能; 4使用外部存储器c f 卡进行静 态图 像存储; 5输出 制式:p a l 或是n t s c 制式模拟视频信号。 2 3 系统设计流程 首先我 们根据系统的 技术要求 提出 系统整体方 案， 并 对主要元器件进行选型; 其 次按照模块化设计思想进行系统硬件电 路的设计，按多层 板布线原则进行系统 p c b 设计;再次 结合硬件完 成系统软 件设计;最 后设计实验进行系统的 整体调 试. 系统的 整体 设计流程如图2. 3 1 所示， 我们将按照此流 程图 对系统进行设 计， 本 论文也将按照此流程图进行论述. 硕 十论 文基于 o s p的小型视频图像采奥、处理与存储系统研究 图2.31系统设计流程图 2. 4 系统 整体方案及主要元器件 选型 根据电子内窥镜的使用场合，其视频图像处理系统应当具有便携、实时等特点。 考虑到n的高 速d s p 芯片在供货、 开发工具 等方面的优势，以 及本课题组在此方面 的研究基础，故选其 t ms320c 6x 作为本系统的核心芯片。 数字视频处理系统的一个突出问题是视频数据的流量非常大， 如一幅灰度图像的 分辨率 为2 5 6 x 2 5 6 像素，则一 场图 像就 需要大约64k字节的存储空间。 如何处理 好 图像的采集、 显示与数据处理操作之间共享存储器时的资源冲突问题， 对保证系统高 效工作 是非常关键的。 d s p 对外部资源的操作 相对于对内 部资源的操作 所花费的指 令 周期要长，频繁的切换更加浪费时间， 因此要 尽量减少对外部资源的操作。 在视 频 刃0 、 d / a与d s p 之间 添加 缓冲单元就是为恒速的 视频编解码与变速的d s p图像处 理过程之间提供适应通道。 此外系统还要选择帧存储器， 用来暂存待处理或己处理的 图像， 最后还要选择合适的存储器件存储压缩后的图像。 嵌入式视频图像处理系统整 体 框图 如图2. 4 . 1 所示。 系统的工作原 理为: 系统管理单元通过护 c 总线对视频解码、 编码模块、 视频叠 加模块进 行初始 化设置; c c d摄像机输出的 标准模拟 视频( p a l 制或n t s c制 ) 输入视 频叠加模 块， 以 在图 像上叠加 相关图 像信息， 再经过 视频解码， 通过输入缓冲进入协 处理芯片c p l d 进行预处理， 然后进入数字图像处 理单元: 数 字图 像处理单元根据键 盘提供的控制指令来决定相应的处理操作; 最后数字图像处理单元把处理后的视频数 据经输出 缓冲送到视频编码模块， 编码模块将数字 视频转换成标准的 模拟视频提供给 监视器进行显示。 硕十论文 墓于d s p的小型视频图像采集、处理与存储系统研究 图2， 4 . 1嵌入式数字图像处理系统整体框图 2. 4. 1 视频图像处理芯片d s p选型 d s p芯片的 选择对于系统的设计非常重要，它不仅关系到系统的处 理速度和成 本， 还牵涉到系统开发难 度和开发 进程。 对于芯片的 选择， 主要从处 理速度、 体 积功 耗、开发难度、成本、封装形式来考虑。 在数字视 频行业， 下的c 6000系列和t m s320d m 64x 系列都占 据非常重要的 地 位。 c 6 0 0 0 系列包括c 62联、 c 67双、 c 6 4 x ， 该系列以高 性能著称， 最适合宽带网 络 和数字图像应用。其中c 62xx 和 c 64x是定点系列，c 67双 是浮点系列。c 6000 系列 提 供e m if扩展 存 储 器 接口 和 b ga 封 装， 只 能 制 作 多 层p c b ， 且 功 耗 较 大 125 洞 。 t m s3加d m 64 x 系列以t m s320d m 642 为 例， 它具有60o m的处理能 力， 有3 个vi d eo p o rt ， 带有p c i 和网络接口 ， 该产品 功耗低，因 此一经问 世得到了数 字视频行业的 强 烈关注. 作为在 d s p领域内下 的最大竞争对手，2 0 02 年 a d i 公司推出了blac灯in系列 d s p ，其中的 a d s p 一 2 1 5 3 5是一款适合数字视频应用的 d s p 。 a d 尽 p 一 2 巧 3 5具有 600 mh z的核内时钟， 3 00mh z主频， 一个 v p口以及比较丰富的接口资源。 bla c k f i n 系列的d s p 采用双m a c的结构具 有正 交的 类似ris c的 微处理器指令集， 使单指令 多数 据和多媒体操作都引入单 指令结 构。 这样的 d s p芯片结 构不但易于编程，可以 快 速的 信 号 处 理 和 多 媒 体 的 处 理 ， 而 且 方 便 扩 展u s b 、 p cl 阳、 u a rt、 s p o rt 等 接口 。 非 常适合对视频读入， 处理以 及传 输. a d i 最新的 双核a d s p 一 215 61 也是专 业 视频 处理d s p 领 域内 不容忽视的 好产品12 刀 。 从技术支持和仿真器角度来看，n 有国内完善的开发商支持，开发成本相对较 低，而能够支持 blackfin的第三方算法太少。若仅仅用于一般产品，n 的d s p更廉 价( 除了a d i 的bl a c k fi n ) ， 更容易 购买到产品， 支持较多; 而a d i 的 产品 更适合有一 定要求的工业 级产品， 缺点是供货周期较长、 价格高、 支持相对较少。 本系统是一 个视频图像处理系统， 需要大量的图 像处理 运算， 因此， d s p 的选择 硕 士论 文幕于d s p的小型视频图像采集、处理与存储系统研究 集中 在c 6 0 0 0 系列。 t ms 3 2 0 c 6 2 04具有高速度、多功能、小体积、 低功耗等特点， 且开发 仿真系 统比 较成熟、 资料比 较完备， 比 较适合 具有实 时性要求的 脱离计算机 独 立运 行的视频图 像处 理系统， 加上本 课题组具有一定的开发经验， 综合考虑上述因素 后，决定选择 t ms 320c6 2 0 4 作为图像处理系统 d s p的最终选型。该 d s p不但支持 汇编语言编 程， 还支持 c / c 料高级语言编程，通 过其配备的c编译器，在 提高效 率 的同 时也提高了 程序的可维护性和可移植性， 大大缩短了 开发周期12 5 2 61 。 2 . 4 .2 协处理芯片 c p l d选型 c p l d作为d s p的 协处理器件，应具有以 下功能: 接收输入缓存的8 位图 像数 据， 在 其内 部合并为16位数据并传给d s p 处理: 接收d s p 处理后的16位数据并 分 解为8 位图像数 据， 传输给输出 缓冲:产生d s p 外中断信号，用于触发 缓冲与d s p 之间的 数据传送:为 输入输出 缓冲以 及f l a s h提供复位信号:为视频 编码芯片提供 基准信号 等. 其选型应该以 是否能很好协助d s p 工作， 以及性能、 价格、 接口 标准、 速度、功耗等作为选择的条件。 1 速度问 题。 对于 某种器 件的 某一封装形式， 一 般有不同速度等 级的 芯片， 以 满 足不同 速度要求的需要。目前，c p l d 的引脚到引 脚的传输延迟己 达 ns 级， 如 x c 9 5 2 8 8 x l 的引 脚到引 脚的最短传输延 迟为4 n s ; 2功耗问题。目前， c p l d的工作电压越来越低， 如 xili nx 公司的c p l d就有工 作于s v的x c 9 5 0 0系列， 工作于 3 . 3 v的x c 9 5 0 0 x l 系列， 工作于2 5 v的x c 9 5 0 0 x v 系列。 因 此， 在要求 低功耗， 高集成 度的 便携式或手持设备中， 可选用低电 压系列 产 品以减少功耗; 3价格问 题。 价格通常与 性能是矛盾的， 一般来说， 性能 越高， 价格也 越高。 因 此，必须在价格与性能之间找到平衡点; 4性能问 题。 选择的c p l d应该所有信号都具有相同的延时，而与 其路径无关: 5开发 难度。 在选择c p l d芯片时， 还应该考虑其软件开发环境、 硬件仿真器以 及开 发语言的 难易程度: 6应 尽量选用is p( i n 一 sys t e mpr o gr amm a b l e) 器件，并具备系统内 电 擦除 功能，以 保证所设 计的 系统可随时 进行 修改 和硬件升级12 气 目 前， 生产 c p l d器件的公司 很多， 如 x i l i nx、 a l t e ra 、 a t m e l 、 m 川 t i s 、加币 ce 等，各公司的产品在性能、 价格、 逻辑规模和封装以及对应的开发软件等方面各有所 长。 综 合上面的考 虑， 最终选择了x ili nx 公司的c p l d芯片x c 9 5 2 8 8 x l作为 d s p 的协处理器。 硕士论文 基于dsp 的小型视频图像采集、处理与存储系统研究 2. 4 3 视频叠加方案 系统需要良好的人机界面及在图像上附加相关信息， 这就需要选择字符叠加芯片 来完成相应的功能。 从视频字符混合器的工作方式及本身电路的构成来看， 到目前为 止已 有3 种不同的实 现方案12。 第1 种方案是 通用中小规模集成电路实 现方案。 即全部 采用逻辑门、 计数器、 移 位寄存器等通用中小规模时序集成电路实现单路规模字符集时间叠加。 第2 种方案是基于fpg a的 多路实现方案。 即在共 用一 片c p u 、 字库r o m和实 时时 钟的 前提下， 利用fpg a集成若干路独立的显示r a m计数扫描