（通信与信息系统专业论文）三维电视系统编码、视点变换算法研究及运动补偿硬件设计.pdf

摘要 摘要 三维影像能够提供给观众身临其境的视觉体验，三维电视( 3 d t v ) 系统是 传统二维电视系统的变革方向，自由立体显示技术的发展为3 d t v 系统的普及提 供了可能性，各种高级信号处理算法则为3 d t v 系统奠定了基础，研究高效的 3 d t v 系统具有重要的理论、现实和经济意义。 当前实用的3 d t v 系统一般采用视频加深度的场景表示方法，一个显著特点 是包含多视点视频流。论文一方面围绕3 d t v 系统的编码问题，研究提高压缩效 率、绘制虚拟视点的方法；另一方面从视频解码的实时性出发，研究运动补偿的 硬件设计。编码方法、图像处理构成了 3 d t v 系统实现提供了积极的借鉴意义。 3 d t v 系统的算法基础，硬件加速则为 论文取得的创新性成果包括： ( 1 ) 提出一种多视点加深度的编码方法，在时间域上采用层次化b 帧的预 测结构、在空间域上利用视点变换来编码多个视点。该方法将视点分成主视点和 辅视点，采用图像渲染技术来合成辅视点的预测图像；编码并传输视点的遮挡信 息，以在解码端获得高质量的重建图像；可根据主、辅视点在空间域上相关性的 强弱，解耦主视点深度图周期和图像组长度，耦合主视点深度图周期和辅视点图 像组长度，以充分挖掘时空域上的相关性。该编码方法可扩展至二维排列的视点 阵列，在保证重建图像质量的同时可获得更高的压缩性能。 ( 2 ) 提出一种深度辅助样本匹配算法，以修复视点内部的空洞。采用提出 算法的视点变换流程包括深度图形态学处理、图像渲染和空洞修复。在预处理阶 段，采用膨胀处理深度图像，以抑制变换视点中的物体分裂；在后处理阶段，通 过制定优先级确定修复顺序，采用块匹配搜索空洞纹理，在匹配代价函数中加入 深度信息，通过纹理相似性和深度一致性确定最佳匹配块，根据视频采样的特点 采用亮度优先的修复策略。采用本算法得到的目标视点具有几何保真、结构保持、 深度区分方面的优越性，能够为预测编码提供有效的参考图像。 ( 3 ) 提出一种串并混合的运动补偿亮度插值结构和三级递归色度插值结构， 通过在垂直方向串行处理输入整数像素点以优化数据流；提出一种多参考图像管 理的算法和硬件结构，以较小的代价加速了解码器的运动补偿流程。 关键词：多视点编码，深度图像渲染，视点交换，运动补偿，三维电视 i i i a b s t r a c t a b s t r a c t t h r e ed i m e n s i o n a lt e l e v i s i o n ( 3 d t nh a st h ea b i l i t yo fm a k i n ga u d i e n c ef e e l r i g h to nt h es c e n e 3 d t vi st h ef u t u r ee v o l u t i o n t h ea d v a n c eo fa u t o s t e r e o s c o p i c d i s p l a y sa n ds i g n a lp r o c e s s i n ga l g o r i t h m sm a k et h es o l i df o u n d a t i o n r e s e a r c ho n 3 d t vi so f s u b s t a n t i a l l yt h e o r e t i c a l ，p r a c t i c a la n dc o m m e r c i a lm e a n i n g s a p r a c t i c a l3 d t vs y s t e mg e n e r a l l yu t i l i z ev i d e op l u sd e p t hi n f o r m a t i o n n o t a b l y 3 d t vh a st od e a lw i t hm u l t i v i e wv i d e os t r e a m s t h i sp a p e rm a k e sr e s e a r c ho nt h e f i e l do f3 d t vc o d i n g ，r e n d e r i n gm e t h o da n dm o t i o n c o m p e n s a t i o nh a r d w a r e i m p l e m e n t a t i o n t h ea c h i e v e m e n t sa r ea sf o l l o w s ： ( 1 ) p r o p o s e dam u l t i v e wv i d e op l u sd e p t hc o d i n gm e t h o d ，w h i c ha d o p t s h i r e r a r c h i c a lbs t r u c t u r ea n dv i e ww a r p i n go nt h et e m p o r a la n ds p a t i a ld o m a i n r e s p e c t i v e l y t h em e t h o dd i f f e r e n t i a t e sv i e w si n t om a i na n da u x i l i a r yg r o u p ，a n d t r a n s m i t sd i s o c c l u s i o ni n f o r m a t i o nt oh e l pd e c o d e rr e c o n s t r u c tq u a l i t yv i e w s t h e m e t h o da l s op r o v i d e st h ea b i l i t yt oc o u p l em a i nv i e w sd e p t hi m a g ep e r i o dw i t h a u x i l i a r yv i e w sg r o u po fp i c t u r el e n g t ht oe x p l o i ts p a t i a lc o r r e l a t i o n ( 2 ) p r o p o s e dad e p t h a i d e di n p a i n t i n ga l g o r i t h m f o rd i s o c c l u s i o nr e s t o r a t i o n d u r i n gr e n d e r i n g t h em e t h o dp r e p r o c e s s e st h ed e p t hi m a g ew i t hd i l a t i o n t h e r e s t o r a t i o no r d e ri sb a s e do nt h eb l o c kp r i o r i t y t h em e t c h i n gc o s tf u n c t i o nu t i l i z e s t e x t u r ea n dd e p t hs i m i l a r i t yt oc h o o s et h em o s tm e t c h i n gb l o c k c o m p a r e dw i t ho t h e r m e t h o d s ，p r o p o s e dm e t h o dh a ss u p e r i o r i t yi ng e o m e t i cf i d e l i t y , s t r u c t u r ep r o p a g a t i o n a n dd e p t hd i f f e r e n t i a t i o n i th a st h ea b i l i t yt op r o v i d ee f f i c i e n tp i c t u r e sf o rp r e d i c t i v e c o d i n g ( 3 ) p r o p o s e d ap a r a l l e ls e r i a lm i x e dl u m aa n d3s t a g er e c u r s i v ec h r o m a i n t e r p o l a t i o na r c h i t e c t u r e t h r o u g hs e r i a lp r o c e s s i n gt h ev e r t i c a li n p u td a t a ，t h ed e s i g n o p t i m i z e di n t e r p o l a t o rd a t af l o w a l s op r o p o s e dh a r d w a r ea d a p t i v ea l g o r i t h mf o r r e f r e n c ep i c t u r em a n a g e m e n t ，w h i c ha c c e l e r a t e st h em o t i o nc o m p e n s a t i o np r o c e s s w i t hs m a l lc o s t k e y w o r d s ：m u l t i v i e wv i d e oc o d i n g ，d e p t hi m a g eb a s e dr e n d e r i n g ，v i e w w a r p i n g ，m o t i o nc o m p e n s a t i o n ，t h r e ed i m e n s i o n a lt e l e v i s i o n v 图目录 图目录 图1 1 艺术家眼中的三维效果1 图1 2 自由立体显示器2 图1 3 3 d t v 系统组成3 图1 4i m a x3 d 体验4 图1 5p a _ n o 蝴系统框架5 图1 6a t i e s t 系统框架5 图1 7a t t e s t 分层编码示意6 图1 8 a t t e s t 虚拟摄像机配置示意6 图1 9飞利浦w o w 方案系统流程7 图2 1 3 d t v 系统框架1 1 图2 2时域分层示意。1 2 图2 3m v p 时域分层编解码系统框图1 3 图2 4 v d 系统框图1 4 图2 5图像重投影( 视点变换) 示意1 5 图2 6同一场景的两个视角1 5 图2 7飞利浦w o w 方案“消除遮挡”格式1 6 图2 。8 多层深度图像( l d i ) 示意1 7 图2 9m v c 系统框图1 7 图2 1 0m v c 时空混合预测结构：1 8 图2 1 1视点合成示意2 0 图2 1 2 视点内插示意。2 0 图2 1 3 编码器框架2 3 图2 1 4 编码举例1 2 5 图2 1 5 编码举例2 。2 7 图2 1 6 编码举例3 2 7 图2 1 7 测试序列摄像机( 视点) 位置示意2 8 图2 1 8b r e a k d a n c e r s 序列率失真曲线3 0 x l 浙江大学博上学位论文 图2 1 9b a l l e t 序列率失真曲线3 1 图3 1三种坐标空间示意3 5 图3 2 针孔摄像机成像示意。3 5 图3 3 重采样问题4 1 图3 4 s p l a t t i n g 算法示意4 1 图3 5四边形s p l a t 示意4 2 图3 6 参考视点第一帧图像4 3 图3 74 号视点到其他视点的第一帧图像变换结果4 4 图3 8 暴露、遮挡错误示意4 6 图3 9 视点变换流程4 6 图3 1 0 反距离权重内插示意( k - 1 ，n = 4 ) 5 0 图3 1 1 目标视点图像5 1 图3 1 2 参考视点深度图对比5 2 图3 1 3区域和符号示意5 3 图3 1 4当前块( 待修复块) 和样本块组成5 5 图3 1 5c r i m i n i s i 算法流程5 6 图3 1 65 号视点第一帧目标图像局部j 5 7 图3 1 74 ：2 ：0 视频图像采样格式6 0 图3 1 8 视点变换流程6 0 图3 1 9法向量计算示意6 1 图3 2 0 参考图像匹配块搜索示意6 2 图3 2 1 不同算法的视点绘制结果6 4 图3 2 2目标图像几何失真比较6 5 图3 2 3目标图像结构延伸比较6 6 图3 2 4目标图像深度区分比较6 8 图3 2 5p s n r 比较系统6 8 图3 2 6 测试序列不同算法p s n r 比较6 9 图4 1 块匹配运动估计示意7 2 图4 2 分数格点亮度插值位置示意图7 4 图目录 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图4 1 2 图4 1 3 图4 1 4 图4 1 5 图4 1 6 图4 1 7 图4 1 8 图4 1 9 图4 2 0 图4 2 1 图4 2 2 分数格点色度插值位置示意图7 7 s o n g 插值单元系统结构7 8 w a n g 插值单元系统结构7 8 c h e n 插值单元系统结构。7 9 c h e n 结构的基本单元8 0 像素点分区8 1 6 点选择器阵列结构( m a ) 8 1 片上缓存数据读取示意8 1 h 2 6 4 标准6 阶滤波器结构8 2 a v s 标准4 阶滤波器并行结构8 3 a v s 标准4 阶滤波器串行组合结构8 3 亮度插值器基本单元( p e ) 8 4 三级递归色度插值算法示意。8 6 三级递归算法硬件实现基本单元( b f ) 8 6 插值器处理单元结构8 7 插值器整体结构8 8 解码器简化工作流程9 0 标记流程示意9 2 加入更新的标记流程示意9 3 参考图像管理硬件结构9 6 表目录 表目录 表2 1 b r e a k d a n c e r s 序列关键帧编码性能( a b p p ) 比较2 9 表2 2 b a l l e t 序列关键帧编码性能( b p p ) 比较2 9 表4 1亮度插值器实现比较8 9 表4 2 色度插值器实现比较。8 9 表4 3 初始化结果9 1 表4 4 分割实例9 4 表4 5 帧场调整实例9 5 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 猢虢钆鳓期：鸠年日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂可以将学位论文 的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：l 价q 年 ， 导师签名： 签字日期梦多月日 致谢 致谢 历经五年来孜孜以求的科研岁月、数月来勤勤勉勉的文献查阅，凝聚着导师、 课题组成员以及个人心血与汗水的论文终于接近尾声了。辍笔在即，思绪如潮， 忆往昔求学生涯，得良师益友诸多的指引和帮助，在此深表谢意。 首先要特别感谢我的导师张明教授。五年前怀着对信息科学的热情，有缘投 身导师门下，在导师诲人不倦的启发、茅塞顿开的点拨和高屋建瓴的指导下，在 完成研究工作的同时，也历经了人生最重要的一段旅程。导师五年来在思想，科 研和生活上对我的教导、指引和关心，学生将永铭于心；导师学高身正，爽直宽 容，勇于创新，专注执著，学生将勉力追随。在此特别向他表示我衷心的感谢! 祝愿他在今后的工作和生活中顺顺利利，身体健康! 另外要特别提到的是实验室的李东晓老师，他在科研期间给予了我很大的支 持和帮助，让我在科研和论文上都有了很大的进步，使我时时感到信心十足、乐 观生活，勇于直面科研中出现的困难和挑战，在此表示诚挚的谢意和真诚的祝福! 祝愿他身体健康，心想事成! 感谢实验室众位朝夕相处的同门，他们是朱梦尧、朱政、方健、李炳博、何 赛军、王梁昊、石冰、戴郁、陈庆、陈智德、冯雅美、李振华等；感谢一起生活 的室友，感谢我在浙江大学认识的好朋友。与他们相处给生活增添了无限的温馨 和快乐，对于他们无私的帮助我表示深深的谢意! 最后还要特别感谢的是我的父母和我的爱人，感谢父母的养育之恩，感谢爱 人对我的深深理解和默默支持，祝愿他们永远健康幸福! 骆凯 2 0 0 9 年3 月于求是园 1 绪论 1 1 背晕与研究意义 科幻小说影视作品中描绘的三维影像令人期待，早在2 0 世纪2 0 年代，电 视工业的先驱j o h nl o g i cb a i r d 就梦想着电视能够提供给观众身临其境的视觉体 验 1 ，。显示技术的发展日斯月异吼电视已经从黑与白步入了高清世界御，三维 是电祝工业发展的下一个阶段，是电视系统的变革与进化方向 5 一“ 矗 v ? 圈1 1 艺术家眼中的三雏效果 三维电视( t h r e e d i m e n s i o n a l t e l e v i s i o n ，简称3 d t v ) 可以直观描述为，通 过现代显示技术毗高分辨率近乎真实的再现场景，使用户能够从不同的角度甚至 从背面去观察再现的场景。 3 d t v 的独特魅力需要通过显示设备展现。立体成像，显示技术的发展至争 已有1 7 0 多年的历史。c h a r l e s w h e a t s t o n e 在1 8 3 8 年首次阐述了立体视觉原理， f r e d e f c k e u g e n e i v e s 在1 9 0 0 年最早为他的立体相机设备申请了专利，公认最早 的三维电影则是1 9 2 2 年在洛杉矶a m b a s s a d o rh o t e l 剧院首映的“t h ep o w e ro f l o v e ”。2 0 世纪是平面影像的繁荣年代，传统立体显示技术在成像质量上的不足 阻碍了三维影像的商业普及。立体视觉是由双目获得的视差图像对经大脑融合产 生的8 ，传统立体显示基于特殊的眼镜，包括色分( a a a g l y p h ) 、时分( e c l i p s e s h u t t e r g l a s s e s ) 1 9 1 、极化( p o l a r i z a t i o n ) 1 0 1 技术，这些技术会引起图像信息损失、 串扰和视觉疲劳等问题，而自由立体显示( a u t o s t e r e o s c o p i c ) 技术的发展则为三 维影像的普及提供了可能性。 自由立体显示技术【i l 】不需要观众配戴日镜等辅助设备，通过光栅式( p a r a l l a x b a r r i e r ) 【1 2 1 3 】或者透镜武( l e n t i c u l a rs h e e t ) 1 5 l 显示器变织显示多幅祝差图像。 淅江大学博学位论女 将浯当的视差图像对送入特定位置观众的双眼。通常自由立体显示器提供9 个祝 点，平均每个祝点的观察范围为2 0 度 看，而且能够提供不同角度的场景信息 多个视点不仅能够支持多个观众同时观 这些优势是传统豆体显示技术不可比拟 的。更为复杂的显示技术则包括体三维技术i t 6 - 1 8 、全息技术【1 9 , 2 0 ，他们能够在空 间呈现三维立体影像，为观众带来终极的视觉体验。 、事阖 ( a ) v i e w s o n i c( b ) p h i l i p s 图12 自由立体显示器 3 d t v 的应用可以拓展到当前二维电视( 2 d t v 在消费电子领域，可用于教字图像、电视电影、 场景的真宴感，为消费者带柬着迷的视觉享受； 在广告传媒领域，可用于产品、景观的展览展示 大加深受众对产品的印象； 的方方面面： 游戏娱乐，3 d 技术加强了 其逼真的视觉效果可阻大 在虚拟现实领域，可用于手术模拟、驾驶控制、军事演习等仿真培训，降低 对场景、设备、人员的投入成本； 在文教科研领域，可作为辅助工具，为各学科提供直观的三维显示，例如高 分子微观结构、地理测绘信息、气象数据信息等， 在医疗卫生领域，可用于器官、病灶的立体成像，使医生研判病情、手术治 疗更加准确，使医疗教学更加直观。 可以预见3 d t v 的前景无限，国内外的机构、院校对这一领域的研究倾注了 极大的热情，国际标准化组织i s o i e c 的运动图像专家组m p e g 在1 9 9 4 年制定 了基于m p e g 2 标准的双视点编码规范m v p l 2 “。欧洲早在1 9 9 2 年开展7 在 宽带通信网络上传输立体视频的研究f 2 ”，在2 0 0 4 年成立了由1 9 家机构院校组成 的3 d t v 联盟i 川，从2 0 0 7 年开始每年组织3 d t v - c o n f e r e n c e 国际会议，就3 d t v 系统的各方面进行研讨。国际图像科技协会i s & t 和国际光学协会s p i e 从1 9 9 6 镕论 年开始每年举办s t e r e o s c o p i cd i s p a l y sa n da 口p l i c a t i o n s 国际会议，就立体显示 技术和应用进行研讨。联合视频组j v t 从2 0 0 5 年底开始研讨多视点编码 ( m u l t i v i c w v i d e o c o d i n g ，简称m v c ) 的提案，到2 0 0 8 年7 月已经制定7 m v c 第8 版草案l 矧。近年来，国家自然科学基金资助了清华大学的孙正峰教授，上海 大学的安平副教授、宁渡大学的蒋刚毅教授捌，哈尔滨工业大学的赵德斌教授 【”】、浙江大学的李东晓副教授【3 叫等学者开展了乡视点视频编码的研究。 3 d t v 系统是传统二维电视系统的变革方向，自由立体显示技术的发展为 3 d t v 系统的普及提供7 可能性，各种高级信号处理算法则为3 d t v 系统奠定了 基础，研究高效的3 d t v 系统具有重要的理论、现实和经济意义。 1 _ 23 d t v 系统发展 田1 3 给出一个典型的3 d t v 系统组成【2 4 1 ，其包括场景获取、表示，编码、 传输、解码、后处理、显示等各个环节。其中场景表示决定了所需获取的内容、 采用的信号处理技术、系统所能提供的交互性，也影响对编码方法的选择。场景 表示包括二维祝频、稠密深度圉、网格模型、全息数据等方法，而信号处理则包 括运动视差补偿预测，立体匹配三维重建、图像渲染等方法。 t 一 _ h 捕获h 表示h 编码_ _ 一 丽面圈 岖h 夏h 蔓卜黑誓 田133 d t v 系统组成 2 0 世纪9 0 年代之前，立体视觉理论【8 】指导了双视点立体视频系统的发展， 这些系统的局限在于场景获取和显示从端到端一一对应，考虑到视差因素显示 特点和观看条件，场景的摄取变得相当复杂 以商业上获得成功的i m a x3 d 系统9 1 1 为例，该系统使用两个巨大的摄像机， 每个摄像机超过1 1 3k g ，摄像机的基线距离为6 4 i i l l r l ，大致等于平均双眼问距 拍摄时，同时在两条6 5i f l m 宽的肢片上记录双视点成像；放映时，将摄取场景 同时投射到特别设计的超大屏幕，观众别使用极化眼镜观看。i m a x 的银幕约八 蕊一曲i t 层楼高，涂有高性能金属，略向观众倾斜，以消除银幕边界限制造成的不舒适感 ( 图1 4 ) 。 图14i m a x3 d 体验 采用双祝点编码的另一个例子是韩国的t - d m b 系统。2 0 0 5 年，韩国t _ d m b ( t e r r e s t r i a l d i g i t a l m u l t i m e d i a b r o a d c a s t i n g ) 系统1 3 2 - 3 a l 开始提供移动多媒体服务， 研究人员同时开展了提供2 d 3 d 混合多媒体服务的尝试1 3 s , 3 q 3 dt d m b 提供全屏幕部分屏幕、画中画p i p ( p i c t u r e i np i c t u r e ) 三类立 体音视频服务，采用h2 6 4 标准i ”l 编码双视点视频流，采用m p e g 2 t s 流复用。 该系统接收端的- s 维视频处理模块旧可以分为事件处理、内容处理和视频合成三 个单元。事件处理单元读取、分析井向后输出平移、旋转、缩放、视差等信息。 内容处理单元负责产生两个视点的视频流，对于单视点输入，通过在本平方向平 移输入获得另一视点。视频合成单元则通过交织双视点视频流获得水平分辨率加 倍的合成流。 2 0 世纪9 0 年代之后，研究者开始从解耦场最获取和显示的角度提出3 d t v 系统解决方案。其主要思想在于，获取场景的几何信息，通过图像处理技术在显 示端合成虚拟视点图像。其编码对象为“视频加几何信息”，在编解码和显示处 理过程中涉及到计算机视觉、计算机图形学，视频处理、图像处理等多个领域的 技术。 在自由立体显示和综合业务宽带通信网络的发展下，1 9 9 2 年欧洲开展7 d i s t t m a 项目f ”l ，目标在于建立一种立体视频获取、编码、传输、显示的标准， 提供一种宽带网络上端到端的立体视频传输服务”】，1 9 9 4 年1 2 月，首次在a t m 网络上传输了立体视频。d i s t i m a 取得的成果包括立体匹配，祝差估计等理论 算法【”i ，和摄像机阵列、自由立体显示器等硬件设备。 绪论 d i s t i m a 的后继项目是1 9 9 5 1 9 9 8 年进行的p a n o r a m a 项目 4 0 】。该项目 建立了一个立体视频会议系统，采用观众头部跟踪和视点内插等技术进行显示处 理。图1 5 给出该项目的系统框架【4 。 砚频1 解码 r视点 立体 视差 斗 视净 编码 a t m 视频2 内插显示 网络 o 解 复用 复用 图1 5p a n o r a m a 系统框架 o h m 等研究人员对该系统的硬件实现提出了一个原型【4 1 1 。在发端采用块匹 配算法从获取的左右视点估计视差场，采用m p e g 2 标准【2 1 】编码二维视频；对 视差图，则先将其转化为一种c o m m a n dm a p 4 2 1 ，然后对其采用l e m p e l z i v 算法 【4 3 】编码压缩。在收端解码左右视点、将c o m m a n dm a p 转换成视差场，然后采用 线性加权内插产生平均双眼间距的两个虚拟视点。 2 0 0 2 年欧洲的a t t e s t ( a d v a n c e dt h r e e d i m e n s i o n a lt e l e v i s i o ns y s t e m t e c h n o l o g i e s ) 项目将发端的几何信息从视差场变成了深度场，将收端的显示 从双视点扩展到多视点，图1 6 给出a t t e s t 的系统框架【4 5 】。 s t a n d e 憎 一i2dcodd+。ady。o：impeeg-2 +d v 日 d c o d o r 3 1 2 - v i d e o 圳诚j c o d i n g aa入彳 墨二j 3 d 。，c o r d e j r ”i j j ：。一二l 巨二：b o 哩叠姗? = = i 夏i 甲m 。：习 图1 6a t t e s t 系统框架 在获取级，a t t e s t 采用7 c a m t m 4 6 i 来实时获取场景深度，其输出包括二维 视频信号和对应的点级深度图，并提供了对二维视频的三维转化支持。a t t e s t 系统的显著特点在于其编码传输中心视点的视频和深度信息。这种“视频加深度” 的思路能够提供给系统一些重要的特性，例如解码器的后向兼容性、接收端的伸 5 浙江 学博 世论x 缩性和显示设备的兼容性。该系统采用m p e g 一2 信琛编码标准和d v b 信道编码 标准，解码器可以忽略增强层的深度信息，仅解码基本层视频流，将其输出到二 维显示设备。 c o d ”gs m l 【a x 1 删r f lc n q 图1 _ 7a t t e s t 分层编码示意 a t t e s t 系统在解码端采用图像渲染技术实时绘制虚拟视点图像，这种多视 点图像产生的方式能够使图像适合不同的显示设备、观看条件和用户偏好，在三 维可感的基础上，支持一定的交互性图l 8 ( a ) 给出a t t e s t 系统的虚拟视点配 置方式【4 5 , 4 7 1 。两个虚拟摄像机垂直于显示平面摆放，t 。表示其基线距离( 光心距 离) ，f 为焦距。虚线所示表面z p s 距基线距离乙，其上每一点在两个虚拟摄像 机的成像平面具有零视差，给摄像机内部c c d 一个平移h ，使z p s 成为平面以 简化视点绘制，这种平移可以看作对成像平面主点的平移。图18 ( b ) 显示了所绘 制图像由视差不同带来的视觉效果【4 ”，当视差为正时，场景在显示屏之后，反之 则在显示屏之前。 ( a )( b j 图1 8a t t e s t 虚拟摄像机配置示意 飞利浦公司在2 0 0 6 年推出了三维解决方案w o w i 删，支持从3 d 内容制作到 播放的整个处理过程。显示器采用乡视角、倾斜透镜技术制造，支持2 d 3 d 模 式切换。栗用“视频加探度”的场景表示和编码格式，使场景的创建和播放分离 图1 9 给出w o w 方粜的系统流程，飞利浦开发了实时和离线的内容制作工 作，开发了3 ds t u d i om a x 、m a y a 等软件插件和辅助工具，以实时提取深度信息， 将单路或双路视频转换为“视频加深度”格式，采用m p e g 2 等编码器编码压缩 视频和深度流，在接收端通过内嵌在显示器当中的媒体播放器和i c 芯片 ( i n t e g r a t e dc i r c u i t s ) 解码、渲染、播放立体视频。 一连接hi i 卜 图1 9 飞利浦w o w 方案系统流程 1 3 论文的主要工作 从上述对研究背景的介绍和3 d t v 系统的发展举例可以看出： ( 1 ) 自由立体显示技术的进步，使3 d t v 系统获得7 多视点显示的能力， 由于数字视频信息的海量性胛】，同传统的双视点系统相比，编码方法作为提高 3 d t v 系统效率的关键将发挥愈加重要的作用； ( 2 ) 当前实用的3 d t v 系统的场景表示以二维视频和深度信息为主4 1 , 4 5 , 4 7 , “i ，同仅采用视频信息的系统川相比，“视频加深度”通过解耦场景的获取和 显示，能够适应收端的多样性，从而为系统提供旯活性i ，因此对深度信息的利 用尤其是高教、高质量地绘制虚拟视点将对系统性能发挥重要影响： 【3 ) 3 d t v 系统可以利用h2 6 4 5 ”、a v s i “i 、v c 1 【5 等新一代视频编码标 准提高多祝点视频编码效率翎，同m p e g 2 1 2 1 】、h 2 6 3 5 4 l 等标准相比，这些新标 准在编解码复杂度上有了数量级的提升f 5 ”，因此借助专用硬件以获得编解码的实 时性将愈发普遍。 在攻读博士学位期间，本文作者先后参与了h2 6 4 标准视频解码芯片的设计 和3 d t v 系统的研究工作。综合上述分析，本文一方面围绕3 d t v 系统的编码问 题，研究提高压缩效率、绘制虚拟视点的方法；另一方面从视频解码的实时- 性出 发，研究运动补偿的硬件设计。编码方法、图像处理构成了3 d t v 系统的算法基 善f 嚣 ； 浙江大学博上学位论文 础，硬件加速则可以为3 d t v 系统的编解码实现提供积极的借鉴意义。 论文的主要工作可以概括为以下几个方面： 1 比较了当前实用的3 d t v 系统，介绍了他们采用的技术特点、系统特色， 阐述了3 d t v 系统的研究价值。 2 讨论了当前3 d t v 系统场景表示及编码方法研究现状，分析了各种提高 编码效率的工具及其特点，介绍了一些典型的国内外立体视频、多视点视频系统 及编码专利。 3 提出一种利用深度信息，采用图像渲染，结合运动视差补偿预测的多视 点编码方法，采用8 视点的测试序列进行了编码测试。 4 推导了视点变换算法，描述了场景表面重建的可见性、重采样问题，讨 论了这些问题的解决方法。 5 讨论了视点变换当中的空洞问题，分析了空洞成因的本质，比较了当前 解决空洞的各种预处理、后处理算法特点，通过实验展示了主观效果。 6 介绍了图像修复的概念和算法，提出一种深度辅助样本匹配算法以获得 较好的视点内部空洞修复效果，对8 视点测试序列进行了实验，从主观效果、客 观质量两方面对算法性能进行了比较评价。 7 以h 2 6 4 标准为例，介绍了混合编码框架结构下的运动补偿流程。分析 了运动补偿单元分数插值模块的不同结构特点，提出一种串并混合插值硬件结 构，给出对应h 2 6 4 标准和a v s 标准的具体结构。 8 以h 2 6 4 标准为例，对参考图像管理算法进行了研究，提出适合硬件实 现的更新策略和相应算法，给出原型结构。 1 4 论文的内容组织 第一章介绍了3 d t v 系统的背景、发展和研究意义，结合实际工作，概述了 论文的研究内容。 第二章讨论了当前3 d t v 系统场景表示及编码方法研究现状，分析了各种提 高编码效率的工具及其特点，介绍了一些典型的国内外立体视频、多视点视频系 统及编码专利，提出并实验了一种多视点视频加深度的混合编码结构。 第三章推导了编解码端都需涉及的视点变换算法，介绍了场景表面重建需要 解决的可见性、重采样问题和解决方法，讨论了空洞问题的成因和现有解决方法， 绪论 在c r i m i n i s i 算法的基础上，提出并实现一种深度辅助样本匹配的空洞修复算法。 第四章介绍了视频解码的运动补偿流程，分类比较了分像素插值模块的硬件 结构，提出并实现一种串并混合的插值结构、以及一种串行工作c a c h e 加速的参 考图像管理结构。 第五章总结了本文的成果，提出3 d t v 系统可研究的方向和工作内容。 9 = 维电视编码研究 2 三维电视编码研究 2 1 引言 3 d t v 系统需要支持场景获取和显示设备的多样性在获取端，可通过两个 摄像机获取双视点视频流，可通过澡度摄像机直接获取视频流及其深度图，可通 过摄像机阵列获取多祝点视频流，还可通过信号处理算法把已有的二维视频转化 为三维视频在显示端，既有传统的眼镜方式，又有最新的自由立体显示、头部 追踪显示，既支持传统的二维显示，又支持三维立体显示。 旺_ 一 ： 二j 一 # 二t 日i 获。f + ，后一i 取一、一传输f 处_ + i o厂一1 理 圈髓u 自自i 体显示 卫n u 头踪丑i 图2 13 d t v 系统框架 为了提供对这些多样性的支持，统一高效的编解码，后处理方案显得尤为重 要。3 d t v 系统区别于传统电视系统( 2 d t v ) 的一个显著特点是祝点数目，同 单个祝点相比，多个视点存在空域上的相关性，采用先进的( 视频) 图像处理技 术通过挖掘空域相关性，从而提高编码效率和处理灵活性，己成为3 d t v 系统多 视点视频编码的出发点m i 。 m p e g 一2 标准最早对双视点编码作7 规范，采用空域上的视差预测补偿 ( d c p ) 编码增强层视点i ”】随着混合编码( h y b r i dc o d i n g ) 的发展，联合视频 组j v t 在2 0 0 8 年7 月制定7 多祝点编码标准m v c 的第8 版草案i ，主要通过 在空域上采用类似时域的b 帧编码结构以提高发端的编码效率。欧洲的 d i s t i m a l 2 3 , a 8 、p a n o r a m a 5 8 5 ”、a t r f s 一圳项目则结合视频编码和图像渲染 技术，研究并实现了利用深度图像渲染技术编码绘制多个视点，这种视频加深度 的速径提供7 收端的数据处理灵活性对上述编码技术的增强包括改进的预测结 萎一 浙江大学博士学位论文 构 2 8 - 3 0 , 6 0 - 6 4 】、亮度补偿 6 5 - 7 0 1 、视点合成【2 8 3 1 】、多层次深度图等技术【7 1 , 7 2 】，不少公 司和科研院校申请了关于多视点( 立体) 视频系统的专利【7 3 铷】。此外网格技术f 8 l 】 从图形学角度发展了三维物体的表示和编码。 针对3 d t v 系统的编码问题，在多视点编码和图像渲染的基础上，本章提出 一种多视点加深度的多视点编码方法。该方法利用深度信息，采用图像渲染技术 来挖掘视点间的空域相关性，编码传输图像帧的遮挡信息，以获得高质量的重建 图像帧。同a t r e s t 方案相比，该方法保证了重建图像质量，同m v c 方案相比， 该方法可获得更高的压缩性能。 2 2 编码研究现状 2 2 1 传统立体编码技术 当视点数目等于2 时，多视点视频简化为立体视频( s t e r e o s c o p i cv i d e o ) ， 其两路视频由两个相距较近的摄像机拍摄，其内容存在较大的相似性。 m p e g 2 标准的多视点规范m v p ( m u l t i v i e wp r o f i l e ) 2 2 】最早提供了对双视 点立体视频编码的支持。m v p 使用时域分层( t e m p o r a ls c a l a b i l i t y ) 工具 8 2 , 8 3 】， 分层编码双视点视频信号，复用传输。 增强层 ( 右视点) 基本层 ( 左视点) 图2 2 时域分层示意 图2 2 给出m v p 时域分层示意。通常将左视点作为基本层，右视点作为增 强层，在基本层和增强层内部使用运动补