（信息与通信工程专业论文）体三维视频数据压缩技术研究.pdf

独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：言压审签字日期：- p ，o 年厂月厅日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿 盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：毒长牵 导师签名： 多钥谚 签字日期： 仞p 年月加日签字日期：2 。归年参月f 口日 20 洲9iiiii-川571洲y 浙江大学硕士学位论文致谢 致谢 时光飞逝，转眼间将近三年的浙大研究生生活就要结束了在浙大信电系信 通所攻读硕士学位期间，无论在学术上还是在思想上，我都得到很多，这些必将 成为我一生的巨大拥有。希望能借这篇论文给我的学生生涯画上一个圆满的句号。 在完成这篇论文的过程中，我得到了很多老师和同学的指导和帮助，在此向他们 表达我最衷心的感谢。 首先，我要感谢我的导师王维东副教授。在攻读硕士学位的三年时间里，我 得到了王老师的悉心指导和亲切关怀。王老师学识渊博，治学严谨，不但传授我 很多专业知识，也教会我很多为人处世的道理。王老师不但为我创造了优越的科 研和学习环境，也为我诠释了一个科研工作者所具备的忘我工作精神。三年的时 间虽说短暂，在王老师的指导下，我增强了攻克科研难题的信心，提高了科研能 力，开拓了知识面。我这三年所取得的很多进步，都与王老师的关怀息息相关， 再次衷心感谢王老师为我所付出的一切辛劳和汗水。 同时，感谢姚庆栋教授，姚老师的渊博学识和一丝不苟的治学作风，是我一 生学习的榜样。感谢刘鹏老师和史册老师，你们的指导，给了我很大的帮助，也 让我感到大实验室家庭般的温暖。 感谢已经毕业的师兄们，张贻雄，章弦，汪少杰，郑重，你们耐心的指导和 鼓励，给我克服困难的信心和勇气，让我终生铭记。 感谢吴祖成，一起走过三年的快乐和美好时光；感谢赵亚飞，两年的时间中， 给予我很多的帮助和支持；感谢陈潇红和涂植跑，带给我的支持和快乐；感谢求 学路上陪伴过的同学和朋友们，感谢你们给予我的帮助。 最后，我要感谢我的父母和弟妹们，在漫长的求学道路上，父母一直都是我 最坚实的后盾，他们给予我的永远都是支持、信任、鼓励和关怀，给予我克服一 切困难的勇气和信心。我所取得的一切成绩都离不开你们所给予我的一切。 张中 2 0 1 0 年5 月于浙大求是园 浙江大学硕士学位论文 摘要 摘要 随着多媒体技术的不断发展，人们对具有真实感的多媒体系统的需求日益增 强。三维显示技术的不断进步，掀起了研究三维视频技术的热潮。体三维显示技 术能直接将三维数据场中的每个点在其对应空间位置成像，该技术以其最具真实 感体验而备受关注。相对于二维视频，体三维视频的数据量非常大，对其进行高 效压缩是体三维视频技术研究的重要内容。体三维视频技术可广泛应用于电视、 娱乐、广告，以及科学研究、工业设计、医学和军事等领域。 本文首先简要介绍体三维视频显示和立体视频压缩的研究状况；介绍了体三 维视频数据及其特征，并对当前体三维视频数据压缩的研究方法进行了归纳和总 结。然后，提出一种基于体块的体三维视频数据压缩方法；研究一种快速三维块 匹配算法，比较不同匹配准则、不同体块大小、半体素和整体素搜索对三维运动 估计的性能影响；比较不同扫描和量化方法的性能，提出一种帧内体块和帧间体 块的量化方法；采用一种游程自适应算术编码系统，对量化后的系数进行编码； 分析基于体块方法的性能，并与j p e g 2 0 0 0 方法进行比较。研究一种基于体帧的 体三维视频数据压缩方法，比较四种小波的压缩性能，包括j p e g 2 0 0 0 中( 9 , 7 ) x 波和( 5 ，3 ) 小波，以及两种插值小波( 2 ，4 ) 小波和( 2 ，2 ) 小波；详细介绍3 d s p i h t 算 法；分析整个基于体帧方法的性能，与j p e g 2 0 0 0 、3 d j p e g 2 0 0 0 方法进行比较。 鉴于小波在静态图像压缩中具有良好性能，而对残差图像压缩性能下降，提出一 种基于双变换的体三维视频数据压缩方法，主帧采用小波变换编码，中间帧采用 d c t 变换编码。最后，对三种不同压缩方案进行性能比较和分析。 关键词：体三维视频数据，三维运动估计，三维d c t ，三维小波变换，游程算 术编码，3 d s p i h t 浙江大学硕士学位论文a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l i t m e d i at e c h n o l o g y , d e m a n do nr e a l i s t i cm u l t i m e d i a s y s t e mi si n c r e a s i n g l ys t r o n g t h ea d v a n c e m e n to ft h r e e d i m e n s i o n a l ( 3 d ) d i s p l a ys e t s o f faw a v eo f3 dv i d e ot e c h n o l o g y v o l u m e t r i c3 d d i s p l a y , c r e a t i n ga l li m a g ei nw h i c h e a c hp o i n to fl i g h th a sar e a lp o i n to fo r i g i ni n s p a c e ，g i v e st h em o s tr e a l i s t i c e x p e r i e n c e h o w e v e r , v o l u m e t r i c3 dv i d e oi sv e r yh u g e ，h o wt oc o m p r e s st h e mi sa l l i m p o r t a n tp a r to fv o l u m e t r i c3 dv i d e ot e c h n o l o g y v o l u m e t r i c3 dv i d e oc a nb ew i d e l y u s e di n3 d - e n t e r t a i n m e n t , a d v e r t i s i n g ，a n ds c i e n t i f i cr e s e a r c h , m e d i c a la n d m i l i t a r yf i e l d s ，a n ds oo n t h i s p a p e rf i r s t l y i n t r o d u c e st h ed e v e l o p m e n to f3 dd i s p l a yt e c h n o l o g ya n d s t e r e o s c o p i cv i d e oc o m p r e s s i o nt e c h n o l o g y t h e n ，v o l u m e t r i c3 dv i d e od a t aa n di t s c h a r a c t e r i s t i ca l e a n a l y z e d v o l u m e t r i c 3 dv i d e o c o m p r e s s i o n m e t h o d sa r e s u m m a r i z e d t h e n , ab l o c k w i s ec o m p r e s s i o nm e t h o di sp r o p o s e d af a s t3 dc u b i c b l o c k ( c b ) m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h mi sp r e s e n t e d ；w ec o m p a r ed i f f e r e n t m a t c h i n gc r i t e r i a , d i f f e r e n tc bs i z e ，h a l fv o x e ls e a r c ha n df u l lv o x e ls e a r c h w e c o m p a r et h ep e r f o r m a n c eo fd i f f e r e n ts c a na n dq u a n t i t a t i v em e t h o d s ，a n dp r o p o s ea n i n t r a - c ba n di n t e r - c bq u a n t i t a t i v em e t h o d a nr l c a d a p t i v ea r i t h m e t i cc o d i n gs y s t e m i su s e dt oe n c o d et h eq u a n t i z e dd c tc o e f f i c i e n t s w et e s tt h e p e r f o r m a n c eo f b l o c k w i s em e t h o d i nt h i sp a p e r , af r a m e w i s ec o m p r e s s i o nm e t h o di si n t r o d u c e d w e c o m p a r et h ep e r f o r m a c eo ff o u rw a v e l e tt y p e s ，i n c l u d i n g ( 9 ，7 ) a n d ( 5 ，3 ) i nj p e g 2 0 0 0 ， t w oi n t e r p o l a t i n gw a v e l e t ( 2 ，4 ) w a v e l e ta n d ( 2 ，2 ) w a v e l e t w ei n t r o d u c e3 d s p i h t m e t h o di nd e t a i l w ea l s ot e s tt h ep e r f o r m a n c eo ff r a m e w i s ec o m p r e s s i o ns t r u c t u r e b e c a u s ew a v e l e tt r a n s f o r mh a sag o o dp e r f o r m a n c ei ns t a t i ci m a g ec o m p r e s s i o n ，a n da b a dp e r f o r m a n c ei nr e s i d u a li m a g ec o m p r e s s i o n , ac o m p r e s s i o nm e t h o dc o m b i n e d w a v e l e tt r a n s f o r mw i t hd c tt r a n s f o r mi s p r o p o s e d ，i n t r af r a m ei se n c o d e du s i n g w a v e l e tt r a n s f o r m ；p r e d i c t e df r a m ei se n c o d e du s i n g 3 d d c t f i n i a l l y , s o m e e x p e r i m e n t a lr e s u l t so ft h r e ep r o p o s e dm e t h o d sa l ep r e s e n t e d w ea l s oc o m p a r et h e s e t h r e es c h e m e s 、访t l lj p e g 2 0 0 0a n d3 d j p e g 2 0 0 0 k e y w o r d ：v o l u m e t r i c3 dv i d e od a t a , 3 dm o t i o ne s t i m a t i o n , 3 d d c t , 3 dw a v e l e t t r a n s f o r m ，r l c a r i t h m e t i cc o d e c ，3 d s p i h t i i i 浙江大学硕士学位论文目录 目录 j l f c 谢i 摘要i i a b s t r a c t i i i 目录 1 绪论1 1 1 体三维显示技术1 1 2 立体视频压缩技术。2 1 2 1 双目立体视频压缩技术3 1 2 2 多视点视频压缩技术3 1 3 体三维视频数据压缩技术4 1 3 1 体三维视频数据及其特征4 1 3 2 体三维视频数据压缩方法1 0 1 4 本文主要工作及内容安排l l 2 基于体块的体三维视频数据压缩方法1 3 2 1 三维运动估计1 3 2 1 1 快速块匹配算法1 4 2 1 2 运动矢量熵编码。1 6 2 1 3 残差数据分析16 2 1 4 实验结果及分析18 2 2 三维d c t 变换21 2 3 系数量化和扫描2 2 2 3 1 扫描方式2 3 2 3 2 量化方法2 3 2 3 3 实验结果及分析2 5 2 4 系数熵编码2 6 2 4 1 游程编码2 6 2 4 2 算术编码2 7 2 4 3 游程算术编码2 9 2 4 4 实验结果及分析3 0 2 5 基于体块的压缩方案3 l 2 6 基于体块方法的性能分析3 3 2 6 1 评价标准3 3 2 6 2 实验结果及分析3 4 2 6 3 重建图像3 8 2 7 本章小结4 0 3 基于体帧的体三维视频数据压缩方法4 1 3 1 三维小波变换4 1 3 1 1 基于提升方案的小波4 2 3 1 2 三维整数小波变换4 3 i v 浙江大学硕士学位论文目录 3 1 3 小波系数组织和编码“ 3 2 基于体帧的压缩方案4 7 3 2 1 实验结果及分析4 8 3 2 2 重建图像5l 3 3 基于双变换的体三维视频数据压缩方法5 4 3 3 1 基于双变换的压缩方案5 5 3 3 2 基于双变换方法的性能分析5 6 3 4 三种不同压缩方案的性能比较5 8 3 5 本章小结6 1 4 总结和展望6 2 4 1 总结6 2 4 2 展望6 3 参考文献6 4 作者攻读硕士学位期间发表的学术论文6 8 v 浙江大学硕士学位论文绪论 第1 章绪论 自然界的物体是以立体的方式存在的，人们努力用各种方式表达我们周围三 维世界中的客观事物。近年来，随着多媒体技术的发展，人们对具有真实感的多 媒体系统需求日益增强。许多三维显示出现，例如全息显示【1 】、佩戴特殊眼镜的 立体显示【刀、三维宽屏电影以及多视点视频显示【1 1 1 等。常见的三维显示通常是利 用人眼的立体视觉特性产生立体效果，其本质仍是基于像素的；体三维显示技术 是直接将三维数据场中的每个点在空间位置成像，每个体素点都具有物理深度【2 】， 使整个图像具有真正的物理深度信息，是最具真实感体验的三维显示技术。体三 维视频技术不仅可用于立体电视、游戏娱乐和立体广告传媒等，也可用于科学研 究、工业设计、建设、生产、医学和军事等领域。 体三维视频数据，比二维视频数据多一个维度，其数据量也相应地大上几个 数量级，对其进行压缩是体三维视频技术研究的重要内容。虽然体三维视频的数 据量很大，但数据之间存在很大的相关性，利用帧内编码、帧间编码和熵编码等 技术消除体三维视频数据中的冗余是本文研究的出发点。体三维视频数据压缩的 主要目标是，在保证一定重建质量的前提下，以尽量少的比特数表征体三维视频 数据。研究体三维视频数据压缩技术具有重要的理论意义和应用价值。体三维视 频数据压缩技术的进步，将推动体三维视频技术的发展，从而使体三维视频得到 更广泛的应用。 1 1 体三维显示技术 三维显示是视频技术发展的方向，目前，三维立体显示技术【1 】【2 】可大致上分为 四类：立体眼镜、自由立体显示、全息显示和体三维显示。立体眼镜是利用人眼 的立体视觉特性，将两幅图像投影到两个眼睛，通过大脑组合，产生三维效果； 自由立体显示则不需要特殊的眼镜，观察者在显示器前，两只眼睛接受不同的景 象，产生立体感觉。这些显示技术均是利用二维屏幕显示二维图像，表现出三维 效果，解决了视角和位置变化的问题，但没有物理景深，其本质上是基于像素的。 并且，由于技术本身的局限，观众在观看时容易导致眼睛疲劳。全息显示技术是 浙江大学硕士学位论文绪论 利用干涉和衍射原理产生真实的三维图像，不需要佩戴眼镜或者头部感应器，就 可以允许多人进行观看。 体三维显示技术，是直接将三维数据场中的每个点，真实地在显示空间相应 位置成像，并且每个体素的亮度和色彩是可控的，产生出来的三维场景即有心理 景深，又有物理景深，最具真实感体验，并且可从任意角度观看，就像观赏金鱼 缸里的金鱼一样【2 】，是真正意义上的三维显示技术。 目前关于体三维视频技术的研究，多集中在体三维显示领域。体三维显示技 术大体分为扫描体显示和静态体显示两种。扫描体显示技术是依靠显示设备周期 性运动构造成像空间；若按照运动形式来划分，扫描体显示又可分为平移体扫描 显示和旋转体扫描显示【3 1 ，前者是用平移运动构造成像空间，后者是屏幕的旋转 运动构成成像空间。目前，关于扫描体显示技术的研究，国外较多，有h o l o v e r s e 旋转显示【1 3 】、土耳其b i l k e n t 大学的基于数字微镜设备的体三维显示【1 4 】，已进入 商用阶段的美国a c t u a l i t y 公司p e r s p e c t a ”1 和德国的f e l i x 1 6 1 等；在国内，浙江 大学光学仪器国家重点实验室对主动发光l e d 式旋转屏扫描系统进行了研究【4 】， 南京航空航天大学三维课题组研制了基于振镜的激光体三维系统，并在此基础上 采用先进的数据子光投影技术建立基于d m d 的旋转扫描体三维系统【3 】等。静态 体显示技术是不依靠显示设备机械运动，在一个由特殊材料制造的透明成像空间 里靠两柬光源的交叉激活体素，每个体素对应构成真实物体的一个实际点，当两 个光束快速移动时，在成像空间中构成三维的物体图像。关于静态体显示技术的 研究，如s o l i d f e l i x 体显示【l 】，通过红外线激光相交或聚焦，在空气或立方体水 晶介质空间点处激发发光，形成三维物像；d e p t h c u b e 系统是在若干层叠液晶屏 幕上快速的切换显示三维物体截面来产生纵深感，实现体三维显示【2 】。 1 2 立体视频压缩技术 与二维视频相比，立体显示增加了场景的深度信息，更具真实感体验。立体 显示是电视“立体化”、“高清晰度化”、“数字化”三大发展方向之一立体视频 利用人眼的视觉特性产生深度感和逼真感。双目多视点视频有两个或者两个以上 的视频通道，视频数据量的增加，给存储和传输带来了挑战，如何对这些通道内 的数据进行有效压缩是立体视频编码研究的核心内容【7 1 。 2 浙江大学硕士学位论文 绪论 1 2 1 双目立体视频压缩技术 二维视频压缩技术使数字视频得到大量的应用，成为广播和娱乐媒体的基本 组成部分，二维视频编码标准的制定，又促进了视频编码技术的发展。目前，视 频压缩标准主要有h 2 6 x 系列和m p e g 系列，i t u t 制定了h 2 6 1 、h 2 6 2 、h 2 6 3 、 h 2 6 3 + 、h 2 6 3 + + 、h 2 6 l 和h 2 6 4 a v c ；i s o i e c 制定了m p e g 1 、m p e g 2 、 m p e g - 4 、m p e g 7 和m p e g 2 1 。m p e g 2 h 2 6 2 和h 2 6 4 a v c 由两者联手制定 在双目立体视频编码的研究初期，把立体视频的左右图像当作不相关的图像对， 用二维视频编码方法分别压缩，不考虑左右图像之间的相关性。 随着研究的深入，利用视差矢量来消除左右图像之间的冗余信息【l6 1 。目前， 双目立体视频编码方法可分为基于块的方法和基于对象的方法【1 5 】【1 8 】；基于块的编 码方法又可分为固定块尺寸匹配算法和可变块尺寸匹配算法。左图像作为参考图 像，单独编码，文献 9 提出基于m p e g 2 的压缩方法，文献【7 】使用基于h 2 6 4 的 压缩方法；右图像的编码，以某种准则在左图像中找到最佳匹配块，两者之间的 位置差异就是视差矢量。基于对象的立体视频编码，利用立体图像对中的深度信 息，建立和编码物体的三维模型来提高编码效率【1 0 1 。 1 2 2 多视点视频压缩技术 多视点视频( m u l t i v i e wv i d e o ) i u l 是由多个摄像机从不同角度拍摄得到的多组 视频数据，能够实现交互的自由定位，多视点视频在自由视点视频、立体电视、 立体视频会议、多视点视频点播等领域都有广泛的应用前景。 1 9 9 6 年，m u l t i v i e wp r o f i l e ( m v p ) 作为一种改进方法加入了m p e g 2 视频编 码标准，主要针对立体视频编码应用；2 0 0 5 年1 月，3 d a v 小组接收多视点视频 编码提案；2 0 0 6 年7 月，m v c 标准化工作移交给j v t ，m v c 标准化进入实质 性阶段。多视点视频的巨大数据量是制约多视点视频广泛应用的主要瓶颈。 多视点视频压缩技术的研究，主要是利用视点之间的相关性以及视点内部的 相关性，利用视差信息提高压缩编码效率。大部分关于双目立体视频压缩编码的 方法可以直接应用到多视点编码中。陈建乐【1 2 】在多视点视频编码方法的研究 博士论文中对多视点视频压缩的原理和相关技术进行了总结和归纳，研究了一种 基于h 2 6 4 的多视点视频编码方法，为了进一步提高编码效率，提出一种基于颜 3 浙江大学硕士学位论文 绪论 色差异补偿的视差预测编码方法。 1 3 体三维视频数据压缩技术 相对于二维视频数据，体三维视频数据的数据量要大很多倍，给数据的存储 和传输带来了非常大的挑战，例如，要实现一个1 0 2 4 1 0 2 4 6 0 8 分辨率的体三维 显示，每秒3 0 体帧，每个体素2 4 比特，共需要多达每秒4 3 g 字节的存储空间。 大量的存储和传输需求给基本的i 0 和通信子系统带来了压力，还会造成端到端 的延迟，这些都会制约体三维视频的应用和发展。 1 3 1 体三维视频数据及其特征 目前，自然场景体三维视频数据很少，常见的体三维视频数据多是特殊的动 态体数据。在科学计算可视化、体图形学及c a d 等领域产生大量的体数据，可 以从几百兆字节到几亿兆字节；利用计算模型模拟物理现象时，产生大量的仿真 体数据。随着医学数字成像技术的发展，如计算机体层摄影( c t ) 、磁共振成像 ( m r i ) 、正电子发射体层成像( p e t ) 、超声成像( u s ) 等，促进了现代化医疗设备的 增加和医院网络信息化的发展【5 】，同时产生大量的医学体数据。 体三维视频序列由一系列的体帧组成，体帧可看成由一系列的二维图像片组 成。如图1 1 所示，一个由n 个体帧组成的体三维视频序列，每个体帧有s 片二 维图像组成。 体帧1 本文使用p o p i 、a g e c a n o n i x 、f i v i x 和m a g i x 四个动态医学体数据序 列。法国里昂b 每r a r d 癌症中1 ( ；& c r e a t i s 实验室【3 刀提供的四维医学数据p o p i ， 是一个呼吸胸部的c t 图像序列，每一片的分辨率0 9 7 6 5 6 5 m m 0 9 7 6 5 6 2 m m ， 厚度2 m m ，5 1 2 5 1 2 1 4 1 体素体帧( 取第2 5 至8 7 片进行研究) ，1 6 比特体素， 4 浙江大学硕士学位论文 绪论 共1 0 帧，图1 2 ( a ) 是第1 个体帧，图1 2 ( b ) 是第1 个体帧第3 l 片。o s i r i x 开发组 织【3 8 】提供的医学图像数据：a g e c a n o n i x 、f i v i x 和m a g i x ，均是心脏运动的 c t 图像序列；a g e c a n o n i x ，每一片的分辨率0 4 6 8 7 5 m m 0 4 6 8 7 5 m m ，厚度 1 5 m r n ，5 1 2 5 1 2x5 1 体素体帧( 取第1 至4 8 片进行研究) ，1 6 比特体素，共 9 帧，图1 3 ( a ) 是第1 个体帧，图1 3 ( b ) 是第1 个体帧第2 4 片；f i v i x ，每一片的 分辨率o 3 5 1 5 6 3 m m 0 3 5 1 5 6 3 m m ，厚度2 m m ，5 1 2x5 1 2 5 3 体素4 * 帧( 取第l 至4 8 片进行研究) ，1 6 比特体素，共1 0 帧，图1 4 ( a ) 是第1 个体帧，图1 4 ( b ) 是第1 个体帧第2 4 片；m a g i x ，每一片的分辨率0 4 0 2 3 4 4 m m 0 4 0 2 3 4 4 m m ， 厚度2 m m ，5 1 2 5 1 2 7 6 体素体帧( 取第1 至7 2 片进行研究) ，1 6 比特体素， 共1 0 帧，图1 5 ( a ) 是第1 个体帧，图1 5 ( b ) 是第1 个体帧第3 6 片 ( a ) 第1 体帧 图1 - 2p o p i 序列 ( b ) 第l 体帧第3 l 片 ( a ) 第1 体帧 ( b ) 第1 体帧第2 4 片 图1 3a g e c a n o n i x 序列 5 浙江大学硕士学位论文 绪论 ( a ) 第1 体帧 图1 4f i v l x 序列 ( b ) 第1 体帧第2 4 片 ( a ) 第1 体帧( b ) 第l 体帧第3 6 片 图1 5m a g i x 序列 由于同一物体或者背景各采样点的颜色之间往往存在着空间连贯性，同一体 帧的相邻片之间具有很强的相关性，如图1 6 所示，( a 1 ) 和( a 1 ) 是p o p i 第1 个体 帧第1 片和第2 片，两者相减的图像( a 3 ) ；( b 1 ) 和( b 2 ) 是a g e c a n o n i x 第1 个体 帧第l 片和第2 片，两者相减的图像( b 3 ) ；( c 1 ) 和( c 1 ) 是f i v i x 第1 个体帧第1 片 和第2 片，两者相减的图像( c 3 ) ；( d 1 ) 和( d 2 ) 是m a g i x 第1 个体帧第1 片和第2 片，两者相减的图像( d 3 ) 。可以看出，由于空间的相关性，体帧内部相邻片之间 的差异不太大；另外，不同的体三维视频，这种相关性的差别很大，相对于p o p i 来说，f i v i x 、m a g i x 和a g e c a n o n i x 中物体的运动更明显。 相邻体帧之间往往包含相同的背景和运动物体，只是物体的空间位置有所不 同，所以，相邻体帧的相同位置和相邻位置上的片之间具有很强的相关性，如图 1 7 所示，( a 1 ) 、( b 1 ) 和( c 1 ) 是p o p i 第2 个体帧第l 片、第2 片和第4 片，( a 2 ) 、( b 2 ) 6 浙江大学硕士学位论文 绪论 和( c 2 ) 是其与第1 个体帧第1 片相减的图像；如图1 8 所示，( a 1 ) 、( b 1 ) 和( c 1 ) 是 a g e c a n o n i x 第2 个体帧第l 片、第2 片和第4 片，( a 2 ) 、( b 2 ) 和( c 2 ) 是其与第 1 个体帧第l 片相减的图像；如图1 9 所示，( a i ) 、( b 1 ) 和( c 1 ) 是f i v i x 第2 个体 帧第1 片、第2 片和第4 片，( a 2 ) 、( b 2 ) 和( c 2 ) 是其与第1 个体帧第1 片相减的图 像；如图1 1 0 所示，( a d 、( b 1 ) 和( c 1 ) 是m a g i x 第2 个体帧第1 片、第2 片和第 4 片，( a 2 ) 、( b 2 ) 和( c 2 ) 是其与第1 个体帧第1 片相减的图像。可以看出，不同的 是边缘区域和纹理不一致区域。另外，体帧内部的纹理结构存在自相似性，如图 1 6 图1 1 0 所示。 f a l ) p o p i 第1 片f a 2 1p o p i 第2 片f a 3 l 两片相减图像 ( b 1 ) a g e c a n o n i x 第1 片( b 2 ) a g e c a n o n i x 第2 片 f b 3 ) 两片相减图像 ( c 1 ) f i v l x 第1 片( c 2 ) f i v i x 第2 片( c 3 ) 两片相减图像 7 浙江大学硕士学位论文 绪论 ( d 1 ) m a g i x 第1 片( d 2 ) m a g i x 第2 片( c l 3 ) 两片相减图像 图1 6 体帧内部相邻片的相关性 ( a 1 ) 第2 体帧第1 片f b l1 第2 体帧第2 片r c l ) 第2 体帧第4 片 ( a 2 ) 相减图像( b 2 ) 相减图像( c 2 ) 相减图像 图1 7p o p i 相邻体帧相同和相邻位置片的相关性 ( a 1 ) 第2 体帧第l 片( b i ) 第2 体帧第2 片( c 1 ) 第2 体帧第4 片 8 浙江大学硕士学位论文绪论 ( a 2 ) 相减图像( b 2 ) 相减图像( c 2 ) 相减图像 图1 8a g e c a n o n i x 相邻体帧相同和相邻位置片的相关性 f a l ) 第2 体帧第1 片( b 1 1 第2 体帧第2 片( c 1 1 第2 体帧第4 片 ( a 2 ) 相减图像 ( b 2 ) 相减图像( c 2 ) 相减图像 图1 9f i v i x 相邻体帧相同和相邻位置片的相关性 ( a 1 ) 第2 体帧第1 片( b 1 ) 第2 体帧第2 片( c 1 ) 第2 体帧第4 片 9 浙江大学硕士学位论文 绪论 ( a 2 ) 相减图像 ( b 2 ) 相减图像 ( c 2 ) 相减图像 图1 1 0m a g i x 相邻体帧的相同和相邻位置片的相关性 1 3 2 体三维视频数据压缩方法 静态体数据压缩方法，对体三维视频压缩的研究具有重要的借鉴意义。利用 小波变换【1 7 】【1 8 1 对静态体数据进行压缩的研究较多，二维小波压缩【5 9 】，三维小波压 缩f 删【6 5 】【矧，3 d j p e g 2 0 0 0 t 1 9 1 也利用三维小波变换。b o o n l o c k 和b e d e 等人【2 0 1 提 出一种3 d d c t 三维标量体数据压缩方法，根据不同的需求对体图像进行块分解 以进行快速体绘常j ( r e n d e r i n g ) ；文献 2 1 】使用v q ( 矢量量化) ，对体素性质分组构 成矢量；c o c h r a n , w o 和h a r t ，j c 等田】使用分形编码，性能比v q 好，比d c t 差，但分形解压缩不能结合绘制过程。 目前，关于体三维视频压缩技术的研究并不多。体三维视频数据压缩方法可 分为四类：第一类是以体图像为基本单元，采用变换和运动估计进行压缩，通过 小波变换消除帧内的空间冗余，运动估计消除帧间的时间冗余；第二类是把体图 像看成一系列二维图像片，分别沿空间轴和时间轴方向进行编码；第三类是以整 个四维序列为处理对象，采用四维变换编码；第四类是矢量量化。 在第一类压缩方法中，多采用小波变换，例如2 0 0 5 年新加坡国立大学 a k a s s i m 和p i n g k u n y a n 等2 3 1 1 2 4 】提出一种有损到无损的四维医学图像压缩方法， 利用三维运动估计消除时间冗余，采用快速3 d 体匹配算法，对主帧和残差帧进 行三维整数小波变换。g u t h e 和s t r a 1 3 e r 2 5 】采用运动补偿和三维小波变换对时变体 数据进行压缩。2 0 0 2 年美国德克萨斯州大学s o h n 和b a j a j 等【2 6 1 研究等值面和海 洋温度体数据压缩和快速交互演播时，提出一种体三维视频压缩方案，能够进行 实时重建和绘制。 在第二类压缩方法中，2 0 0 6 年英国哥伦比亚大学s a n c h e z 、n a s i o p o u l o s 和 1 0 浙江大学硕士学位论文绪论 a b u g h a r b i e h l 2 7 1 提出一种基于h 2 6 4 a v c 的四维医学图像无损压缩方法，消除四 维医学图像中三维图像和二维图像片之间的时间和空间冗余，2 0 0 8 年提出一种基 于多帧运动补偿的四维医学图像无损压缩方法【2 8 1 ，采用了四维搜索、变块大小和 双向预测技术；2 0 0 8 年，m a r t i n 和k a u p 2 9 】【3 0 1 提出一种结合空间和时间信息的四 维医学体数据方法，采用一种类似多视点编码( m v c ) 的方法。 在第三类压缩方法中，2 0 0 7 年美国纽约r e n s s e l a e r 理工学院y m gl i u 和a p e a r l m a i l 【3 1 】提出一种基于四维小波变换的四维医学图像压缩方法，把s b h p ( 子 带块分层分类) 方法扩展到四维。在文献 3 2 】中，同样采用四维离散小波变换， 把e z w ( 嵌入式零数小波编码) 扩展到四维，对超声波心动图像数据进行有损压 缩；h c t l a l g u d i 和a b i l g i nf f a t 3 3 1 把s p i h t 扩展到四维，对磁共振图像( f m r i ) 和四维超声波图像进行压缩。 在第四类压缩方法中，n a t h a n i e lf o u t 和k w a n 1 i um a 等【3 4 】提出两种基于v q 的多维体数据压缩方案，对时变、多变量体数据进行压缩，消除变量之间的冗余； 研究基于块的多变量体数据压缩，采用了两种基于数据维度的分层策略。m o u r n w a h 和a 1 d u w a i s h h 等人在文献 3 5 】中指出反射残差矢量量化( r p v q ) 不能保 证全局最小，用在血管造影片中很容易发散，通过在编码设计过程中使用竞争学 习神经网络，提出了一个稳定和集中的算法。 上述关于体三维视频数据压缩的研究中，考虑到医学图像的医用特性，多数 研究无损压缩方法，而对于体三维视频的体图像失真特性与压缩率间的关系缺少 详细研究。并且，上述方法根据数据自身的特点及应用进行研究，例如，根据医 学图像逐片采集的特点进行逐片压缩。 1 4 本文主要工作及内容安排 本文将基于预测变换的二维视频混合编码思路扩展到三维，研究帧内编码、 帧间编码和熵编码等对体三维视频数据进行压缩的方法。 第一章：归纳体三维显示和立体视频压缩技术；分析体三维视频数据及其特 征；综述视频数据压缩方法。 第二章：提出一种基于体块的压缩方法。介绍三维运动估计方法，对体三维 残差数据进行分析；介绍三维d c t 、量化和扫描方法，提出一种帧内体块和帧间 浙江大学硕士学位论文绪论 体块量化方法；介绍一种游程编码自适应算术编码方法。 第三章：研究一种基于体帧的压缩方法；分析四种提升小波变换的性能；介 绍3 d s p i h t 小波系数组织编码方法。提出一种基于双变换的压缩方法，主帧采 用小波变换编码，中间帧采用d c t 变换编码。对三种压缩方案进行性能分析。 第四章：本文工作的总结和展望。 本文的创新点： 1 提出一种基于体块的体三维视频数据压缩方法，采用三维运动估计消除相 邻体帧的时间冗余，三维d c t 变换消除体帧内部的空间冗余。 2 提出一种帧内体块和帧间体块量化方法，由m p e g - 4 量化表推算出来，与 三维莫顿扫描和量化方法相比，其p s n r 提高2 d b 左右。 3 研究了一种半体素搜索的三维运动估计方法，通过对相应整体素点进行线 性插值得到半体素点，与整体素搜索方法相比，其率失真性能提高1 - 3 d b 。 4 研究一种基于体帧的体三维视频数据压缩方法。分析四种三维小波变换的 性能，研究体块三维运动估计方法的性能。 5 提出一种基于双变换的体三维视频数据压缩方法。主帧采用三维小波变换 编码，中间帧采用三维d c t 变换编码，结合两种变换编码的优势对体三维视频数 据进行压缩。 1 2 浙江大学硕士学位论文 基于体块的体三维视频数据压缩方法 第2 章基于体块的体三维视频数据压缩方法 在二维视频预测变换混合编码框架中，基于块的方法结合了预测编码、变换 编码和熵编码等技术去除视频数据之间的冗余。本章介绍一种基于体块的体三维 视频数据压缩方法，将二维视频编码框架扩展到三维，以体块为基本单位进行三 维运动估计、三维变换、量化和熵编码。探索基于体块的体三维视频数据压缩方 法的性能，研究不同模块采用不同方法对压缩效率的影响。 2 1 三维运动估计 对于体三维视频来说，连续体帧之间具有很大的相关性。在文献【2 3 】和 2 4 中， a k a s s i m 和p i n g l a my a n 扩展新三步法【4 3 1 到三维，提出一种快速三维块匹配运动 估计算法；g u t h e 和s t r a b e r 等2 5 1 将二维加窗运动估计算法扩展到三维。下面对三 维运动估计算法进行介绍，研究和分析三维运动估计前后体三