（通信与信息系统专业论文）基于roi分解的图像序列编码技术.pdf

摘要 本文论述了一种基于视频敏黪区域( r o d 分帮的图像序列编码技 术，并介绍了一种可应用该技术的准静态场景监视系统。 技术针对准静态场景，即背景在较长一段时间内保持不变，利用 目标检测与分割技术将监视场鬃图像序歹l j 转变为各视频目标( v o b ) 序 列之和，通过对各v o b 序列分别进行编码、控制、传输，既提高了压 缩比，又实现了监视系统的自动报警和基于r o t 的快速检索等功能 论文详细论述了构成整个技术的每个部分，包括动目标的检测与 分割，视频r 0 1 分解及合成，v o b 序列的编解码，以及保持应用特征 的采样等几个方面。 此外，在本文中还描述一个基于该技术的准静态场景监视系统信 息网络的设计思想和基本工作原理，对其中的每个部分都做了详细论 述。 【关键词】 峭吹j 准静态场景，触涵圆9 b 。b g i 锄_ o “鲁l 一 目标检准静态场景，敏感区域圆9 b o b g i 锄_ o “鲁l 钾讲。目标检 r o i 编解码，保持应用特征的采样 a b s t r a c t t h ev i d e oc o d i n gb a s e d0 n t h ev i d e or o l ( r e g i o no fi n 2 c r e s t ) 5 。g m c n a 1 0 n 1 8 d l s c u s s e di nt h i st h e s i s ，a n dt h eq u a s i s t i l l b a c k g r o u n dm o n i t o 5 y 5 c m w h l c hu 8 e 3 t h i st e c h n i q u ei sa l s op r e s e n t e d t h cc o d i n gi sb a s e do nt h ec h a r a c t e r i s t i c s o fq u a s i 。s t i l l b a c k g r o u n d ，w h l c h m e 8 n st h cb a c k g r o u n dd o e sn o tc h a n g e i nar e l a t i v e l yl o n gt i m e t h e7 i d e o l s s e 口a r a t e di n t ot h es c to ft h ev o b ( v i d e oo b j e c t ) s e q u e n c e sb yu t i l i z m gt h eo b j e c t d c t e c t i o na n ds e g m e n t a t i o n t h r o u g h t h ec o d i n g ，c o n t r o la n dt r a n s m l 8 8 1 0 no fe v e y v o bs e q u c n c c s ，t h cs y s t e mn o to n l yg a i n st h eh i g h e rc o m p r e s sr a t i o b u ta l s oh a s n c wf u n c t i o n ss u c ha sa u t o m a t i c a l l yg i v i n ga l e r ta n d f a s tr e t r i e v a lb yr o i e t c e v e r yp a f to f t h et e c h n i q u ei m p l e m e n t a t i o ni sd i s c u s s e d i nt h i st h e s i s ，s u c ha s m o v i n go b j c c t d e t e c t i o na n d s e g m e n t a t i o n ， v i d e or o i d e c o m p o 。s i 1 0 n a n d c o r a p o s i t i o n ，v o bs e q u e n c ec o d i n ga n dd e c o d i n g ，a n df e a t u r e 。r a t a l n m g8 a m p l i n g e t c b c y o n dt h a t ，i n t h i s p a p e r ，aq u a s i s t i l l b a c k g r o u n d m o n i t o rs y s t e ma n d i n f o r m a t i o nn e t w o r ki sd e s c r i b e d t h ek e yt e c h n o l o g y i sa l s oi n t r o d u c e d k e y w o r d s ： q u a s i s t i l ls c e n e g o i ( r c g i o n o fi n t e r e s t ) ，o b j e c td e t e c t i o na n ds e g m e n t a t i o “， r o ic o d i n ga n dd e c o d i n g ， f e a t u r e r e t a i n i n gs a m p l i n g h 独创性声明 本人声明所呈交的学位论文焉布人在导师指导下进行的 研究工作及取得的研究成果。据我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得电子科技大学或其它教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 签名：缝叁日期：l 。口年，月，3 日 关于论文使用授权的说明 本学位论文作者完全了解电予科技大学有关保留、使用学 位论文的规定，有权保留并向国家有关部门或机构送交论文 的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科 技大学可以将学位论文的全都或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编 学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：尘煞导师签名： 日期：矾 第一章 引言 1 1 科研任务的提出和完成结果 视频方面的编码研究一直是多媒体技术领域的研究重点，在经历 了两代的演变之后，视频编码已经从第一代基于数据统计的压缩编码 走向了第二代基于对象的压缩编码，它是针对人眼对轮廓、边缘的特 殊敏感性和方向感知特性提出的。 本课题为预研课题，课题名称为“基于r 0 1 分解的图像序列编码 技术”。课题围绕“准静态场景监视系统”展开，基于准静态场景中的 背景基本保持不变这一前提下，采用视频r o i ( r e g i o no f i n t e r e s t ) 分解及 综合、r o i 编解码和保持应用特征的采样等技术，将目标与背景分别 进行处理，不仅提高压缩比，而且实现了对场景视频更加灵活有效的 控制。 本课题要求完成的研究任务有： 1 场景图像序列r 0 1 分解； 2 视频r o i 编解码； 3 图像压缩数据率分析； 4 保持应用特征的变速率采样； 5 图像序列r o i 综合； 本人在该课题中共完成了六个部分： 1 准静态场景监视系统方案设计及调研。初步探讨了几种系统 实现方案。 2 准静态场景中的动目标检测及分割，即视频r o i 的分解。 3 基于r 0 1 分解的图像序列r o i - - v o b 编解码程序设计完 成对视频v o b 及背景的编解码操作。 4 r o i 综合过程程序设计完成对解码后的r o i 与背景的合成 过程，即原始影像的重建。 5 保持应用特征的时变速率采样程序设计。 6 p c 仿真演示程序设计，实现一个p c 演示模型，并对试验结 果进行了压缩率方面的数据分析。 第一章引言 1 2 相关技术动态 监视系统一般由摄像机、视频处理硬件卡和计算机主机组成。采用 专用的视频编码芯片，按照m p e g 系列、h 系列或其他的编码方案进 行压缩。如图1 。l 所示。目前针对图像序列的编码方案很多，针对不 同的应用可采用不同的标准，但总的说来这些编码方式都是非面向对 象的第一代压缩编码标准。但随着第二代压缩方法中对面向对象技术 的研究，人们看到了它给图像序列编码技术所带来的新的前景。 图1 1 监视系统框图 论文讨论的是基于r o i ( 敏感区域) 分解的场景图像序列的编码技 术，它属于第二代图像编码技术的范畴，下面就第一代和第二代的图 像编码技术分别介绍一下当今关于图像编码方法的技术动态。 近十几年来，图像编码技术得到了迅速的发展和广泛的应用，并 且日臻成熟，其标志就是几个关于图像编码的国际标准的制定，即 i s o i e c 关于静止图像的编码标准j p e g 州、c c i t t 关于电视电话会议 电视的视频编码标准h 2 6 11 2 ，和i s o i e c 关于活动图像的编码标准 m p e g - 1 、m p e g 2 【l 。这些标准图像编码算法融合了各种性能优良的 传统图像编码方法，是对传统编码技术的总结，代表了目前图像编码 的发展水平。 有关国际标准的研究制定时间如下： j p e g 0 9 8 8 一1 9 9 0 ) h 2 6 1 ( 1 9 8 4 一1 9 9 0 ) m p e g 一1 ( 1 9 8 9 - 1 9 9 2 ) m p e g - 2 f 1 9 9 l 1 9 9 4 ) 1 j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) j p e g 是联合图像专家小组的英文缩写，多年以来它一直致力于标 准化工作，他们开发研制出，连续色调、多级灰度、精制图像的压缩 编码方法，称为j p e g 算法。它是国际上。彩色、灰度、静止图像的第 一个国际标准。j p e g 标准是一个应用广泛的通用标准，它不仅适用于 静态图像，电视图像序列的帧内图像的压缩编码也常采用j p e g 压缩标 准。 j p e g 的目的是为了给出一个连续色调的压缩方法，使之满足以下 要求： ( 1 ) 达到或接近当前压缩比与图像保真度的技术水平，能覆盖一个 较宽的图像质量等级范围。 ( 2 ) 能适用于任何种类的连续色调图像，且长宽比都不受限制，同 时也不受限于景物内容、图像的复杂程度和统计特性等。 ( 3 ) 计算的复杂性是可控制的，其软件可在各种c p u 上完成，算法 也可用硬件实现。 j p e g 中允许四种编解码模式【“。1 ： ( 1 ) 串行d c t ( s e q u e n t i a ld c t ) 方式； ( 2 ) 逐渐浮现式d c t ( p r o g r c s s i v ed c t ) 方式； ( 3 ) 无失真( 1 0 s s l e s s ) 方式； ( 4 ) 分层次( h i e r a r c h i c a l ) 方式： 其中( 1 ) 和( 2 ) 是基于d c t 方法，( 3 ) 是线性预测方法，( 4 ) 可以是d c t 与有失真方法的分层混合。 j p e g 定义了一个基本系统，它是d c t 方法的最简单形式，也是 串行d c t 的一个子集一个符合j p e g 标准的编解码器至少要满足基 本系统的技术指标。 2 h 2 6 1 h 2 6 1 是c c i t t 针对可视电话和会议电视、窄带i s d n 等要求实 时编解码和低延时应用提出的一个编码标准。该标准包含的比特率为p 6 4 k b i t s ，其中p 是一个整数，取值范围从l 到3 0 ，对应比特率从 6 4 k b i t s 到1 9 2 m b i t s 9 1 。 h 2 6 1 大体上分为两种编码方式：帧内模式和帧间模式。对于和缓 塑= 童! ! 童 一 运动的人头肩像，帧闻编码模式将占主导地位：而画面切换频繁或运 动剧烈的序列图像，则帧间模式要频繁的向帧内编码模式转换。 3 m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 一1 1 9 9 2 年发布的m p e g 1 标准，主要是为数字存储媒介( d s m ) 中的 视频、音频信息压缩而提出的，应用于c d - r o m 、数字录音带( d a t ) 、 计算机硬盘和可擦写光盘等。 m p e g 1 的视频编码过程类似h 2 6 1 标准，不同点在于m p e g 一1 引入了双向运动补偿。它将视频序列分为三种类型的画面：( 1 ) 帧内图 ( i - p i c t u r e ) ，( 2 ) 预测图( p p i c t u r e ) ，( 3 ) 插补图( b - p i c t u r e ) ，也称双向预测 圈。 i 图甩类似j p e g 的方法，p 图的编码类似h 2 6 1 ，b 图较为复杂， 它需要用到i 翻和p 图进行双向补偿，也叫插补。由于双向预测被编 码的信息悬低分辨率子图和附加校正信息，同时由于视频信号时域冗 余度很高，需要传送的附加运动校正信息非常少，所以双向运动补偿 可以大幅度的压缩数据。所以m p e g 1 的性能优于h 2 6 1 。m p e g 一1 在 1 2 m b i t s 的速率下可获得高质量的视频图像。 4 m p e g - 2 为满足高比特攀、高质量的视频应用，m p e g 委员会于1 9 9 4 年发 布了m p e g 2 标准，传输比特率高于3 m b i t s 低于1 0 m b i t s ，图像质量 不低于n t s c ，p a l s e c a m 制式标准。 m p e g 2 视频信号压缩编码完全引用了m p e g 1 基于d c t 的，有 运动补偿的帧阃双向预测的基本结构，并对此有以下扩展： ( 1 ) 输入，输出的图像彩色分量之比可以是4 ：2 ：0 ，4 ：2 ：2 ，4 ：2 ：4 ； ( 2 ) 输入，输出的圈像格式不限定； ( 3 ) 可以直接对踊行扫描视频信号进行处理； ( 4 ) 在空间分辨率、时间分辨率、信噪比方面的可分级性适合于不 同用途的解码图像要求，并可给出传输上不同等级的优先级； ( 5 ) 码流结构的可分级性； ( 6 ) 输出码流速率可以是恒定的也可以是变化的以适应同步和异步 传输。 按照编码方法发展的两代论，目前已经制定成熟的图像难缩编码 t 垒王翌垫查堂璧主堡塞 标准，如j p e g 、m p e g 1 、m p e g 2 、h 2 6 1 、h 2 6 3 等都属于第一代的 压缩编码方法，即基于数据统计的压缩编码方法。而正在制定的 m p e g 4 i i 。2 0 ! 、m p e g 7 t 2 1 , 2 2 ) ，以及针对静态图像的j p e g 2 0 0 0 忙3 1 则属于 第二代压缩编码方法中基于对象的压缩编码方法。 第二代图像编码方法是针对传统编码方法中没有考虑人限对轮 廓、边缘的特殊敏感性和方向感知特性而提出的。它认为传统的第一 代编码技术以信息论和数字信号处理技术为基础，出发点是消除图象 数据的线性相关性等统计冗余信息，其数据压缩能力已接近极限，难 以再提高压缩比，例如对静态图像来说，这类方法的压缩比一般为 1 0 一2 0 倍左右。第二代图像编码方法不周限于仙农理论框架，要求充 分利用人类视觉系统的生理和心理特点以及信源的各种性质来获得高 压缩比。这类方法一般要对图像进行预处理，将图像数据根据视觉敏 感性进行分割。 在面向对象的图像编码的算法上，m k u n t 于1 9 8 5 年提出了利用 人眼视觉特性的第二代图像编码技术1 1 0 , 1 1 1 ，此后1 9 8 8 年m b a r n s l e y 提 出了基于迭代函数系统( i f s ，i t e r a t e df u n c t i o ns y s t e m ) 的分形图像编码 技术 n a z i ，1 9 8 9 年s m a l l a t 、i d a u b e c h e 将小波分析理论应用于图像编 码| 1 4 , 1 5 | 丽在面向对象的多媒体图像编码圜际标准上，则是正在研究中 的m p e g 4 ，m p e g 7 ，j p e g 2 0 0 0 下面详细介绍一下这几种情况。 分形图像编码是在m a n d e l b r o t 分形几何理论l l 的基础上发展起来 的一种编码方法。分形编码利用的是自然界物体的自相关性，这种自 相关性可以是确定的，也可以是统计意义上的。通过引入迭代函数系 统( i f s ) 来描述这种自相关性，并用于图像编码，对某些特定图像可获 得非常高的压缩比 小波变换的本质是多分辨率或多尺度的分析信号，非常适合视觉 系统对频率感知的视觉特性相对于分形编码，小波编码一方面具有 传统编码方法的一些优点，能够很好的消除图象数据中的统计冗余， 另一方面，小波变换的多分辨率变换特性提供了利用人眼视觉特性的 很好机制，而且小波变换后的图像数据能够保持原图像在各分辨率下 的精细结构，为进一步去除图像中其它冗余信息提供了便利。因此， 小波变换编码在匿像编码领域的应用比较成功。 蔓= 童萎一一 随着面向对象技术的不断进步，在国际标准的制定上，也出现了 m p e g 4 、m p e g 7 和j p e g 2 0 0 0 等面向对象的图像编码技术。 m p e g 4 的初衷是针对视频会议、视频电话的超低比特率编码，但 后来修改了计划，制定了现在意义上的m p e g 一4 ，即典型的基于对象的 压缩编码方法。现在的m p e g 4 标准定位在：支持多种多媒体应用( 主 要侧重于对多媒体信息内容的访问) ，可根据应用要求的不同来现场配 髯解码器。编码系统是开放的，可以随时加入新的、有效的算法模块。 m p e g 4 的主要特点是对图像中的内容进行编码，其具体的编码对 象是图像中的音频、视频，成为a v 对象。有a v 对象可以组成a v 场 景。因此，m p e g 4 标准就是围绕着a v 对象的编码、存储、传输和组 合箍制定的，高效率的编码、组织、存储、传输a v 对象。是m p e g - 4 标准的基本内容。 m p e g 7 实际上是“多媒体内容描述接口”，不只是一种单纯意义 上的压维编码方法，主要针对基于内容检索的需求。用来描述各种类 型的多媒体信息及它们之间的关系，以便更快更有效的检索信息。这 些媒体材料可包括静态图像、图形、3 d 模型、声音、电视以及在多媒 体演示中它们之闯的组合关系。m p e g 7 从某种意义上来说是基于 m p e g 4 之上的。 j p e g 2 0 0 0 是i s 0 i e cj t c l s c 2 9 标准化小组中的w g l 小组负责制 定的，目前其总体框架已经完成。j p e g 2 0 0 0 有很多原标准不可比拟的 优点。它能实现无损压缩，它采用无损编码的预测法，并且已作为标 准写入到j p e g 2 0 0 0 中j p e g 2 0 0 0 系统稳定性好，能实现渐进传输，此 外它的另一个极其重要的优点就是r o i ( r e g i o i lo fi n t e r e s t ) ，你可以 指定感兴趣区域，在这些区域，你可以在压缩时指定特定的压缩质量， 或在恢复时指定特定的解压缩要求，这就给我们带来了极大的方便。 j p e g 2 0 0 0 的一个最大改进是它采用小波变换代替了余弦变换，这主要 是考虑到小波的时频域局域化性质。j p e g 2 0 0 0 还考虑了人的视觉特性， 增加了视觉权重，这样在不损坏视觉效果的情况下，大大提高了效率。 1 3 论文安排 第一章：介绍课题的来源、要求，本人在该课题中完成的部分，以及 电子科技大学硕士论文 相关技术的国内外发展动态。 第二章：场景图像序列r 0 1 分解与高效压缩总体设计。首先讨论了系 统设计的出发点：接着讨论了系统总体设计方案；最后讨论 了系统中所用的关键技术。 第三章：介绍了图像序列压缩的关键技术井对其进行了压缩性能方面 的分析。 第四章：介绍了p c 仿真的情况和d s p 软仿真中遇到的一些问题。 第五章：介绍了一个可以应用该技术的一个系统，即“准静态场景监 视系统信息网络”的总体方案设计，特别对其前端部分即视 频采集、分割压缩前端系统进行了详细介绍。 最后是结束语、附录、参考文献、致谢和个人简历。 7 笙三童鱼墨鬯竖壁型! ! ! 坌簦皇压堡童堡望盐一 第二章场景图像序列r 0 1 分解与压缩总体设计 2 1 设计的基本出发点及特性介绍 该系统是针对以往的场景监视系统的不足，而提出的一种改进方 案。系统针对的是准静态场景，即场景中的背景在较长一段时间内保 持不变。 让我们看一下场景监视系统是如何工作的。监视系统一般置于安 全通道、银行、仓库等需要保证安全的场所，并实行全天制的监视。 以银行的一天为例，上班时间和下班时间人员的流动量会有很大差异， 由于传统的视频编码方法不基于视频内容，因此对二者不会加以区分， 实际上大部分时间的视频是可以用帧图像代替的。此外，传统的编 码方法不区分目标与背景，尽管采用了运动补偿，但仍然对背景进行 了多次的重复压缩与存储，如m p e g 1 中的i 帧和p 帧。 传统的监视系统采用m p e g 的编码方式，它具有很高的压缩比和实 时播放的功能，但限于存储容量的限制，仍然只能存储近期内的影像。 针对这点，我们希望能实现一种采样机制，将久远时间段视频中最有 代表性的帧采样出来。最大程度的保留其视频信息。 此外，由于有时观察者往往只对在某个时间段内发生了什么事情 感兴趣，而并不想完整的观看整段视频，这样就需要一种设计一种保 持应用特征的采样机制，将某个时间段内最有代表性的那些帧播放出 来，供观察者参考。 基于内容的视频编码方法可以使计算机自己判断出何时有活动目 标何时没有，从而帮助观察者实现快速的检索。而在不应当有活动目 标的时间段内如果出现了动目标，基于r 0 1 分解的场景监视系统可自 动检测到并报警，从而减少了人为的疏忽。这些在传统监视系统中很 难做到。 我们希望建立这样一种监视系统，它至少应实现以下几点： 1 能检测到非法时段的入侵者，并自动进行报警。 2 对近期的场景影像可以做到完整重放和实时观看，这也是监 视糸统中最基本的一点。 3 建立场景采样机制，保留长时期内最有代表性的场景帧，尽 0 璺至燮奎堂苎圭丝苎一一 管有帧损失，但并不影响观察者对当时情况的了解。这样就 可以大大延长系统对场景的存储时间。 4 通过计算机辅助观察人员进行快速检索，从而帮助观察者快 速找到所需的图像。 鉴于准静态场景监视系统主要的特点是其背景基本保持不变，在 这种情况下，完全可以将背景与目标进行分离，即分割出场景中的敏 感区域r o i ( r e g i o no fi n t e r e s t ) ，也就是将场景中的活动目标和背景 看成一个个的v o b ( v i d e oo b j e c t ) ，对其分别进行编码、处理及控制。 它的主要优点有以下几点： 1 采用r 0 1 分解的方式，可以实现对场景更加灵活的控制和处 理。 2 可以进一步的提高系统压缩比，由予采用了背景和目标单独 压缩的方式，这样就减少了对背景的重复处理，( 背景单独用类似j p e g 方式压缩成单帧，播放时通过一定的时域和空域信息将目标和背景融 合从而完成原始影像重建) ，在相同资源下可以进一步的提高压缩比。 3 采用了保持应用特征的时变速采样机制，将某个时间段内最 有代表性的那些帧播放出来，尽管它省略了某些视频帧，但却保留了 绝大部分的视频信息，因此可以在很大程度上进一步提高压缩比。 4 事前采用了目标检溯与分割技术，在非法时段有目标入侵时 可以实现自动报警提高了系统安全性。 5 可以基于视频中的r o i 进行快速检索，快速找到有变化场景 图像。 2 2 场景图像序列r 0 l v o b 分解综合模型 场景图像序列r o i v o b 的分解与综合是系统实现中的关键一 步，因为整个系统可以键筑是建立在将场景分割成多个v o b 这个基础 之上的 2 2 i 祝藏r 0 1 分解、综合的基本概念： l 、视频r o i 的基本概念： 视频r o i ( r e g i o no fi n t e r e s t ) 指的是影像中的敏感区域部分，即相对 于不同应用的观察者来说最感兴趣、包含信息量最大的一部分。一般 第k 帧 圈2 ，1 背景中的运动目标图一l 碍b 一 枷艚篡誊磊玉篆嵩浍 黼警搿搿蒜篇淼俐删滢神 烈 烈 溅 。 检 圉 行 睡 选 示 景 孵 背 分 与 褥 标 甚 目 碘 钓 活 中 中 频 器 视 。场 对程态 先彤静是的婀 的隅肇 ：据分髑 解饼其个分分将一 的强擀是毗烈聚以 = 趴 强 皇王登垫查兰! 生堡! ! 一 对于一个监视系统而言，我们甚至可以在做系统初始化时，就事先捕 捉一张背景图像，这就给我们分离活动目标与背景提供了极大的便利。 实际上，从运动的背景中提取活动目标，边界往往带有很大噪声，即 使利用运动补偿分离出的目标图像，也很难在影像重建时达到对原始 影像的保真，此外各种运算也会占用大量的系统资源，从而对系统的 可实现性和稳定性来说都提出更大的挑战。 图2 - 2 演示了目标分割的基本概念，之所以采用矩形分割是考虑 到对目标图像压缩时仍衡扩展为矩形区域，此外在影像重建时如果采 用轮廓分割，也难以精确实现目标与背景的边界融合。 3 、视频r 0 1 分解及综合概念： 综合上述两点我们知道一段准静态图像摩列可看作是许多 v o b ( 视频目标) 图像序列的和，也即v i d e o = uv o b ( i ) ，这里将背景也看 成是一个特殊的v o b 图像序列。如果背景本身不发生变化，那么这个 图像序列就只用一帧表示分解出的每个v o b 均可视为一个敏感区域， 随后进入v o b ( i ) 压缩处理过程，获得每个v o b 的压缩码流，同时记录 各个v o b 出现的时间段，在背景豳中的空间坐标，以备影像重建时使 用。视频敏感区域的分解过程可简要的表示为图2 - 3 。 r o b ( 1 ) 压矧 1 处理b a n kr 厂 广 厂 厂 厂 v t 如h 黼h 黼 一：一蒜h 信道l v l d e oh 检测r i 提取 + 码流广 循1 邑 l jl j l j 、厂而i 商7 l j l 一，l 处理b a n k 图2 - 3 视频分解处理压缩过程示意图 合成则表现为分解的逆过程，也是整个影像的熏建过程。为了保 证观察的准确性，重建过程必须确保目标和背景在空问和时间上的准 确融合，因此在码流中加入了影像重建时所需的时间信息和空间信息。 其中时间信息主要是利用帧号记录每个目标的所属帧，而空间信息则 主要表现为对矩形框左上角和右下角的坐标。 合成过程则是从总的压缩码流中提取出码流中所携带时间及边界 信息，利用时域内插及空域融合等技术完成原始影像的重建。视频敏 蔓三童堑墨望堡壁型堕! 坌签墨匿堡璺签丝盐 感区域的综合过程可简要的表示为图2 4 ： 从码流中提取 时间及空间信息 利用时域内插技术完 成时域的同步合并 2 2 2 总体技术框架 圈2 - 4 视频k o l 的综台过程五：意甾 通过对基本概念的了解，我们可以看出视频影像可以分解为背景 和各目标影像之和，我们可以对其分别进行编码，而播放时则分别进 行解码，通过时域内插，进行背景和目标在时域的同步合并，再通过 空域上的合并，完成边界的融合，这样就完成了原始影像的重建。 由于是基于目标的影像压缩，我们就可以对影像进行基于内容的 检索，或者进行保持应用特征的采样。 1 、总体流程 监视视频r 0 1 分解综合与高效压缩技术总体流程如图2 5 所示： e 砸寸圈 函厘 倍世引叫 图2 5 总体流程圈 2 、v o b 臆缩与处理b a n k ( 幽2 - 5 中的说明2 ) ： 1 2 洋地i 兑i i j | 3 这是对图2 - 5 中相应部分的进一步说明视频经由分解之后，变 为各v o b 分量，对v o b ( i ) 单独处理与压缩，使每个v o b ( i ) 按照一定 的流结构形成码流，再汇总，这样通过对每个流进行同步控制，可将 原来2 5 帧，秒的匀速码流变为具有一定流结构的非匀速码流，从而进 行进一步的传输和处理。具体过程参看图2 - 6 。 圈2 _ 6v o s ( i ) 压缩与处理b a n k 3 、特征保持型v o b ( i ) 综合技术( 图2 5 中的说明3 ) ： 这是对圈2 5 中相应部分的进一步说明。由于目标与背景分离， 因此在影像重组时就涉及到目标与背景的时域内插和空域的融合问 题，也即特征保持型v o b ( i ) 综合技术。它指的是影像重建时目标与背 纛必须能够准确融合的这么一个过程，在时闻轴上袭现为各v o b 所隶 属的帧不能出错，空闯平面上单帧图像中各v o b 的具体方位不能出错。 具体过程参看图2 7 将各v o b 进行时域 的同步合并 悃7 空域合并完成各v o b 与背景的边界融合 图2 - ? 特征保持型v ( i ) 综合技术 图中时域合并主要是指各v o b 与其所隶属的背景能够在时间上 做到同步。利用为系统特别设计的码漉结构可做到各目标与背景的一 一对应，具体码流结构请参见图2 2 0 ( 压缩码流结构示意图) 。空域合 并主要是矩形目标框与背景的准确叠加，突出表现为码流结构中所记 录的各v o b 框左上角和右下角的坐标 2 3 静态背景下的目标的检测与分割 为了便于后面的讲述，这里先介绍一下静止背景下的目标检测与 第二章场景图像序列r 0 1 分解与堡缩蘑煎 塞盐 分割，以及对目标进行矩形分割的原因。 2 3 1 动目标的检测与分割 从变化的背景中精确的提取活动目标很困难，采用运动补偿是一 种方法，它可以判别出目标的活动状态也可以对目标进行提取，但移 动的背景所引入的噪声很难完全去除，分割出的目标难以达到影像重 建时对图像保真的要求，此外在系统实现时再加上编码、合成、采样 等操作将使得实现变得困难。 图2 8 目标差分及分割结果图 准静态场景的特点是背景在段对婀内保持不变，这样就非常有 利于我们进行动目标的提取。利用背景与场景的差分运算，计算机可 以知道有活动目标出现，并可以获得活动目标区域，图2 - 8 是一个例 子，图中c 是由a 和b 进行差分后获得的二值图像，由它可以进行动 图：o 求取动口标差分圈 i ：i 程序流程盈 m 目标的轮廓分割或矩形分割，圉d 是按矩形分割詹的结果a 图2 - 9 是 求取活动目标差分图的程序流程图。程序以1 4 4 1 9 2 大小8 b i t 灰度 图像为例，设i m a g e l 为图2 - 8 中a 图，i m a g e 2 为图2 8 中b 图，i m a g e 3 为图2 8 中c 图，i 为行标，j 为列标，程序以l l r l s i g n e dc h a r 型读入 图像，灰度值从0 到2 5 5 。程序结束后得到图2 8 中c 图，利用该差分 图我们可以对活动目标进行边缘分割。 2 3 2 动目标按矩形分翻 图2 - 8 中d 图是动目标按矩形分割的结果，采用矩形分割有两个 原因，一是对v o b 序列采用j p e g 编码时需要将非规则图形进行扩展， 以便进行8 8 象素块的编码操作( 具体见第三章) ，二是在影像重建时 非规则目标图形不易与背景进行精确重合。鉴于上述原因，最后采用 了对活动目标的矩形分割。 矩形分割主要是在差分图的基础上对其求取外接矩形，对差分图 进行扫描，记录下差分圈中白色目标区域中上下左右四个方向最远点 的坐标，取最左点横坐标和最上点纵坐标合成为矩形左上角的点坐标， 最右点横坐标和最下点纵坐标合成为矩形右下角的点坐标，再根据这 两个点的坐标从原始图像中切割出动目标的矩形区域。 图2 1 0 是求取动目标区域量上点坐标的方法，在差分图像中从上 程序结束，未 找到目标区域 最上点，返回 一个异常值 跳出循环返回一个正常值 圈2 一1 0 求取动目标区域最上点坐标程序流程图 蔓三童堑墨望堡壁型! ! ! 坌鲤量星堡望笪丝盐一 到下按行进行扫描。其中i 为行标，j 为列标，i m a g e 为图2 - 9 中得到 的目标差分图像。 图2 一1 0 只求取了目标区域最上点坐标，并记录了该点纵坐标作为 矩形区域左上角的纵坐标。求矩形区域左上角的横坐标以及右下角坐 标的方法类似，例如在差分图中从左到右按列扫描可找到目标区域的 最左点，取其横坐标作为矩形左上角横坐标；从右到左按列扫描可找 到目标区域的最右点，取其横坐标作为矩形右卜角横坐标：从下到上 按行扫描可找到目标区域的最下点。取其纵坐标作为矩形右下角纵坐 标；这样就求出了矩形左上角和右下角的两个点坐标。 由这两个点我们就可以从原图像序列中切割出活动目标，场景图 像序列中相同的目标就形成了同一个v o b 图像序列。 2 4 保持应用特征的r o i v o b 时变速采样 在这一节里将介绍一下进行采样的原因，以及其中的“保持应用 特征”、“时变速”和“采样”等词语的概念，最后介绍一下总体采样 方案的实现。 2 4 1 特性分析 对于监视系统的观察者来说，他往往并不希望对整段的视频进行 完接观看，而是希望能快速定位到感兴趣的图像帧并对该相关时间段 内的影像进行仔细观察。传统视频压缩方案不容易实现这一点，但对 于基于r 0 1 分解的图像序列，由于图像已被分解为各个v o b 之和，只 需对各v o b 的状态进行跟踪，例如通过对v o b 形心的移动距离、宽 高纥及面积的变化等进行判断，就可以利用计算机判断出何时目标有 剧烈的变化，何时趋于静止。然后快速切入到那些目标频繁变化的对 段，进行进一步的观察。 此外，对于存储的影像还有一点要加以考虑，那就是久远影像的 存储问题。一般说来，时间久远的视频影像对观察者来说意义不大， 重要性低于近期影像基于对存储空间和其重要性的考虑，传统监视 方案是予以删除，但我们可采用一种折中的方案，那就是通过采样， 保留信息量最大的帧。 综上所述，保持应用特征的时变速采样是图像序列基于r 0 1 分解 1 6 皇王苎堡盔茎燮奎一 后可采用的一项实际应用。它的主要目的有三点： 1 实现快速检索，短时间内搜索出待查时间段内目标活动最频 繁的图像帧，以便观察者进行快速查看及定位。 2 对久远时问段的影像，限于存储空间，无法完整存储。可对 影像进行有损存储，只保留信息量最大的某些帧。 3 在对监视视频完整性不作要求时，可通过采样机制实现对影 像的高压缩比存储。 2 4 2 方案设计 一、保持应用特征的r o i v o b 时变速采样概念： 这里我们将视频图像理解为在时间轴上均匀分布的图像序列，那 么哭样就是取出某一帧或几帧作为样本米代表某一时间段内的所有图 像序列保持应用特征指的是采样出的样本应该能最大程度上的代表 该段时间内发生的搴件，不能出现大范围的信息丢失或者使观察耆产 生误解的情况时变速是由于采样的前提是保持应用特征，而场景的 变化在时间轴上往往是不均匀的，可能在一段时间内活动频繁，在另 一段时问内趋于静止，活动频繁时需要较多的样本。而活动较少时则 抽取几帧甚至某一帧来代袭。 图2 一1 1 是时变速采样的简单概念图。图中的图像序列沿时间轴均 匀分布，但采出的样本序列( 有箭头指示部分) 分布不均匀，这主要是 因为采样以活动的场景为基准，在保持应用特征的前提下，依据一定 的判别准则，进行采样而产生的结果。 图2 - 1 1 变速率采样概念图 笙三茎堑茎里堡壁型堕! 坌壁兰堡堡垒签垦进 二、采样实现中的各种问题： 时变速采样出的样本应该是该时段内最有代表性的帧，即信息量 最大的图像帧，在某种意义上表现为目标的剧烈变化。因此采样的关 键点在于准确判断目标的活动状态与静止状态并相应的抽取代表帧。 基于r 0 1 分解的图像序列可以很方便的实现这一点。 前面叙述过系统是建立在基于r 0 1 分解的图像序列基础之上的， 住时图像进行压缩之前，已经分解出r 视频敏感区域，在监视系统中 表现为入侵者。此时图像序列被分成了许多个v o b ，即视频目标的集合， 这也正是我们感兴趣的部分，因为分解的v o b 是基于活动目标的，它 们往往就是信息量最大的部分。 当然。在场景中可能不只一个活动目标，这样针对每个动目标， 都会产生一个隶属于它的v o b 流。现在我们以一个v o b 流为例讲述一 下时变速采样的实现 系统中的v o b 是以矩形框出现的，之所以采用矩形框一是便于压 缩，二就是便于采样下面的讲述都是基于矩形v o b 的。 我们先来看一下动目标的可能活动方式及相应的处理方法： 1 v o b 的形心出现位移。如图2 一1 2 所示，这种是典型的活动方式， v 0 8 的形状、大小基本不变，但整体出现了位移。 厂 r 让一 v o b o ) 在第k 帧中的位置 v o b ( 1 ) 在第k 1 帧中的位置 团2 1 2v o b 形心变化示意圈 处理方法是事先设定一阈值，然后计算v o b 形心的位移，当位移 超过了所设阙值时即认为目标状态发生了变化。 设从( x 2 , y ：) 为当前帧中r o b 的形心坐标，( 五，y 。) 为刚采样过的图像 帧( 不一定为上一相邻帧) 中v 0 8 形心坐标，g 为形心位移门限，则形 心位移的平方r = 0 2 一而) 2 + ( y 2 一m ) 2 t 采用位移的平方而不开根是为 ：避免出现小数，囚为以象素点为基本单。 i f ( r = g 。2 ) 采样； i 量要苎塾查兰曼主塑苎 e ls ef 进入对面积的判断： 用形心的位移进行判断是整个过程的第一步，因为它代表了大多 数情况，但不是全部，在它之后还有西个步骤，以确定目标是否发生 了状态改变。 2 v o b 的面积出现变化。如图2 - 1 3 所示，v o b 形t l , 没有发生位移， 但从图中可明显看出目标的面积扩大了。 v o b ( 1 ) 在第k 帧中的位鬟 v o b ( 1 ) 在第k - l 帧中的位置 圈2 - l3v o b 面积变化示意图 图中的变化主要表现在v o b 的面积扩大了，但其形心并未移动， 或者其位移没有超过预设的门限。 对这一步的处理应该在对形心位移进行判断之后进行。它需要对 对面积的变化范围设上下两个门限，当面积的扩大或缩小超过了所设 门限时，认为状态有变化，从丽采样该帧。 设g ：为面积比门限，。岛为当前帧中v o b 的面积，s ，为上一采样帧 ( 不一定为相邻帧) 中v o b 面积，则二者面积比r ，= s 2 s , ， i f ( 震。 = g ，) 采样： e l s e 进入对宽高比的判别： 3 v o b 的宽商比出现变化如图2 1 4 所示，这是第三种可能，它 不符合翦两种变化，主要是v o b 的宽高比发生了改变，它也代表了v o b 状态的变化。 v o b ( 1 ) 在第k 帧中的位置 v o b ( 1 ) 在第k - l 帧中的位置 图2 1 4v o b 宽高比变化示意 处理方法是设定出宽高比的门限，当宽高比的变化超过了所设门 1 9 蔓三童堑墨璧墼壁型盟! 坌堡墨星堡垒箜堡盐一 限时，认为其有变化，从而采样该帧。 设g ，为宽高比的变化门限，r 2 为当前帧中v o b 宽高比t r i 为上一 采样帧( 不一定为相邻帧) 中v o b 的宽高比，则前后两个宽高比的比值 r = r 2 置， i f ( r “ = g ，) 采样： e 1s e 不对当前帧采样： = 、时殳趣米样的实土兕方案： 图2 1 5 是综合了上述三种情况的一个例子，图中虚线框对应同 个v o b ，我们看一下对它是如何进行采样的。 攀l 忆a m e 一2 翔翔翻： 拶锣7 夕歹夕乡。 i 。 , l i n g 多 s a m pl i n gs 1 1 1 【p i i n gs a m p i i n g s n l l, p i i n g $ 1 u n 图2 1 5 蛮涑奉采样示煮圉 第二帧与第一帧比较，v o b 的形心、面积和宽高比均未发生变化， 故对第二帧不进行采样。第三帧与第一帧比较( 因为第二帧没采样) ， v o b 形心出现位移，采样该帧。第四帧与第三帧比较，尽管形心没有位 移，但出现了面积变化，要进行采样。第五帧中v o b 面积较第四帧中 减小了，对该帧进行采样。第六帧较第五帧中v o b 的宽高比发生改变， 所以进行采样。 上述例子基本上给出了一个采样的基本思路，图2 一1 6 是针对一个 v o b 流的采样流程图，该流中所有v o b 均隶属于同一视频目标。实际上 图中一般不只一个活动目标，这样就会产生几个v o b 序列，每个v o b 序列对应一个目标，必须分别对其运用采样判决方法。每个v o b 序列 有其自身的编号，这样就可按编号依次进行采样判决，只要有一个v o b _ ：列通过采 芊判决，则浮止对后续i o b 序列的采样判决，直接判定刈 该图像帧采样。 程序中需定义一个n 行3 列二维数组，第i 行中第0 列、l 列和二 列分别存储采样帧中r o b ( i ) 的形心位置、面积和宽高比作为后续帧比 将第帧采样 7 记录c 采样横中v o b 的形心 位置、面积和宽高 匕 0 采样 将下一赣中v o b 的形心与采样 帧中形心位置进行比较 是 将