（计算机应用技术专业论文）面向网络的立体视频编码和传输技术研究.pdf

摘要 随着计算机、通信及网络技术的发展，立体视频的应用前景已经越来越广泛，其应 用包括立体视频会议、立体电视、远程机器人控制、远程医疗等等。而立体视频的有效 编码和传输是实现这些应用的重要基础，本文研究的就是面向网络的立体视频编码和传 输技术。 首先，本文提出了一种基于h 2 6 4 的立体视频编码方案，实验结果证明，该方案和 基于h 2 6 3 的立体视频编码方案相比，编码性能明显提高。在此基础上，本文提出了一 种兼容h ，2 6 4 标准的立体视频编码方案，该方案在保证编码性能的同时，实现了和h 2 6 4 标准码流的兼容。 其次，本文对h 2 6 4 的帧内预测技术进行了深入的分析，提出了一系列的快速帧内 预测模式选择算法，同时将这些快速算法进行了融合。实验结果表明，本文最后提出的 融合算法，和h 2 6 4 原始的帧内预澳算法相比，在保证编码质量和输出码率基本不变的 前提下，编码复杂度下降了8 0 左右。 接着，本文对妒网络环境下的立体视频传输技术进行了研究，设计了一系列立体视 频流式传输的方法，并根据立体视频的特点，对传统的流媒体网络传输协议进行了扩展 和修改。 最后，本文将立体视频编码和传输上的研究成果转化为应用成果，设计和实现了基 于h 2 6 4 的立体视频v o d 原型系统，该系统实现了立体视频的编码、立体视频节目的 在线点播，节目的发布、立体视频实时解码以及立体视频的3 d 显示。 关键词：立体视频；h 2 6 4 ；帧内预测；流媒体；视频点播 r e s e a r c ho nn e t w o r kf a c e ds t e r e o s c o p i cv i d e oc o d i n ga n dt r a n s m i s s i o n l is h i p i n g ( c o m p u t e r a p p l i c a t i o n ) d i r e c t e db yj i a n gg a n g y i a st h ed e v e l o p m e n to f c o m p u t e r , c o m m u n i c a t i o na n dn e t w o r kt e c h n o l o g y , t h ea p p l i c a t i o n p r o s p e c to fs t e r e o s c o p i cv i d e oi sm o r ea n dm o r eb r o a d i t sa p p l i c a t i o ni n c l u d i n g3 dv i d e o c o n f e r e n c e ，3 d t v , r e m o t er o b o tc o n t r o l ，r e m o t em e d i c a ls e r v i c ea n ds oo n t h es t u d ys u b j e c t o ft h i st h e s i si st h er e s e a r c ho nn e t w o r kf a c e ds t e r e o s c o p i cv i d e oc o d i n ga n dt r a n s m i s s i o n , w h i c hi st h ei m p o r t a n tp a r to f t h er e s e a r c ho f s t e r e o s c o p i cv i d e oa p p l i c a t i o n f i r s t ，ak i n do fs t e r e o s c o p i cv i d e oc o d i n gs c h e m eb a s e do nh 2 6 4w a sp r o p o s e di nt h i s t h e s i s t h ee x p e r i m e n t a lr e s u l t ss h o w e dt h a t , c o m p a r e dw i t ht h es c h e m eb a s e do nh 2 6 3 ，t h e p r o p o s e ds c h e m ei m p r o v e dt h ee n c o d i n gp e r f o r m a n c eal o t b a s e do nt h i ss c h e m e ，ah 2 6 4 s t a n d a r dc o m p a t i b l es t e r e o s c o p i cv i d e oc o d i n gs c h e m ew a sp r o p o s e d t h eb i ts t r e a mc o d e db y t h i sn e ws c h e m ei s c o m p a t i b l e w i t hh 2 6 4 s t a n d a r d ，w h i l em a i n t a i n i n gt h ec o d i n g p e r f o r m a n c e n e x t , i n t r ap r e d i c t i o nt e c h n o l o g yo fh 2 6 4w a st h o r o u g h l ya n a l y z e di nt h i st h e s i s a n da s e r i e so ff a s ti n t r ap r e d i c t i o nm o d es e l e c t i o na l g o r i t h m sw e r ep r o p o s e d f u r t h e r m o r e ，s o m eo f t h e s ef a s ta l g o r i t h m sw e r ea d o p t e di nt h ef i n a l l yp r o p o s e df a s ta l g o r i t h m t h ee x p e r i m e n t a l r e s u l t sp r o v e dt h a t , c o m p a r e dw i t ht h eo r i g i n a li n t r ap r e d i c t i o na l g o r i t h mo f h 2 6 4 ，t h ef i n a l l y p r o p o s e df a s ta l g o r i t h mc a l lr e d u c e8 0 o f t h ec o d i n gt i m ew h i l em a i n t a i n i n gt h ep s n r a n d b i tr a t e t h e n , t r a n s m i s s i o no fs t e r e o s c o p i cv i d e oi nn e t w o r ke n v i r o n m e n tw a ss t u d i e di nt h i s t h e s i s as e r i e so f s t r e a ms t e r e o s c o p i cv i d e ot r a n s m i s s i o nm e t h o d sw e r ed e s i g n e d a c c o r d i n gt o t h ec h a r a c t e r i s t i co fs t e r e o s c o p i cv i d e o ，t h et r a d i t i o n a ls t r e a mm e d i an e t w o r kt r a n s m i s s i o n p r o t o c o l sw e r ee x p a n d e da n d a m e n d e d f i n a l l y , t h er e s e a r c ha c h i e v e m e n t so fs t e r e o s c o p i cc o d i n ga n dt r a n s m i s s i o nw e r eu t i l i z e d i nt 1 1 ep r a c t i c a ls y s t e m ah 2 6 4b a s e ds t e r e o s c o p i cv i d e o - o n - d e m a n dp r o t o t y p es y s t e mw a s d e s i g n e da n di m p l e m e n t e di n t h i st h e s i s t h i ss y s t e mi m p l e m e n t e dt h ef u n c t i o n si n c l u d i n g s t e r e o s c o p i cv i d e oe n c o d i n g ，o n - l i n ew a t c h i n go f 恤s t e r e o s c o p i cv i d e op r o g r a m s ，r e l e a s eo f t h es t e r e o s c o p i cv i d e op r o g r a m s ，r e a l - t i m ed e c o d i n go ft h es t e r e o s c o p i cv i d e oa sw e l la s3 d d i s p l a yo f t h es t e r e o s c o p i cv i d e o k e y w o r d s ：s t e r e o s c o p i cv i d e o ，h 2 6 4 ，i n t r ap r e d i c a t i o n , s t r e a m i n gm e d i a ，v o d l i l 图目录 图1 1 德国h h i 研究所实现的沉浸式立体视频会议系统 图1 2 韩国e t r i 研究所拍摄的立体视频序列( 显示比例：3 4 5 ) 3 图2 i 双目立体摄像系统模型 图2 2 平行双目摄像机成像原理8 图2 3 一体化双目立体摄像机1 0 图2 4 由两个普通摄像头组装而成的双目立体摄像机l o 图2 5 基于偏振光技术的立体投影显示系统ll 图2 6 波长分解过滤器原理图 图2 7 德国3 d d i s p l a y 公司开发的裸眼可视立体显示器1 2 图3 1 国际视频编码标准发展历程 图3 2 v c l 、n a l 及网络传输层三者之间的关系。 1 8 1 9 图3 3h 2 6 4 标准的编码框图一2 l 图3 4 基于m p e g - 4 的立体视频编码方案左右通道独立编码2 2 图3 5 基于m p e g - 4 的立体视频编码方案= 考虑左右通道相关性，不考虑残差2 2 图3 6 基于m p e g - 4 的立体视频编码方案三考虑左右通道相关性和残差。2 3 图3 7 基于砌p e g 4 的立体视频编码方案四采用时域分级编码( m c p + d c p ) 2 3 图3 8 基于h 2 6 4 的四类典型的块基立体视频编码方案2 5 图3 9 基于h 2 6 4 的三种立体视频编码方案中右通道图象的预测误差比较2 6 图3 1 0 基于h 2 6 3 + 、h 2 6 4 方法压缩右通道解码图象局部比较2 7 图3 1 1f r e x t 新增编码特性示意图。 图3 1 2 立体视频编码框图 图3 1 3 两种立体视频编码方案的率失真曲线比较 图4 14 x 4 亮度块的9 种预测模式 i x 面向州络的立体视频编码和传输技术研究：图目录 图4 21 6 x 1 6 亮度块的4 种预测模式一3 4 图4 3c l a i r e 序列首帧在各个方差值下的4 x 4 块数统计3 6 图4 4 c o n t a i n e r 序列码率一p s n r 拟合曲线( 方案a ) 4 0 图4 5c l a i r e 序列首帧在各m a d 值下的4 x 4 块数统计。4 2 图4 6 c o n t a i n e r 序列码率- p s n r 拟合曲线( 方案b ) 4 3 图4 7c o n t a i n e r 序列码率一p s n r 拟合曲线( 方案c ) 5 0 图4 8i n t r a 4 x 4 和i n t r a l 6 x 1 6 之间选择的算法框架5 l 图4 9c l a i r e 序列中采用i n t r a l 6 x 1 6 的宏块亮度直方图。5 2 图4 1 0c l a i r e 序列中采用i n t r a 4 x 4 的宏块亮度直方图5 2 图4 1 1i n t r a l 6 x 1 6 和i n t r a 4 x 4 下的非零系数个数分布特点5 3 图4 1 2 针对i n t r a 4 x 4 和i n t r a l 6 x 1 6 的快速选择算法框图。5 4 图4 1 3q c i f 测试序列m i s s a 和s i l e n t 。5 5 图4 1 4c l a i r e 序列码率p s n r 拟合曲线( 方案e ) 5 9 图4 1 5h 2 6 4 三大编码器率失真曲线比较“ 图4 1 6h 2 6 4 三大编码器的编码速度比较6 8 图4 1 7h 2 6 4 三大编码器的重建图像质量比较6 9 图5 1 期曙数据包头结构一 图5 2 流媒体网络协议层次模型 图5 3w i n s o c k 数据传输模型 图5 4 面向连接的w i n s o c k 编程模型8 l 图5 5 无连接的w i n s o c k 编程模型 图5 6r t p r t c p 数据包的发送流程8 2 图5 7r t p r t c p 数据包的接收流程8 3 图5 8o p t i o n 方法的请求和应答示例8 4 图5 9r t p 相关类的继承关系图 x 8 6 面向捌络的立体翘颠编妈和传输技术研究；幽目录 图5 1 0v o d 系统中的r t p 包发送流程 图5 1 1v o d 系统中的r t p 包接收流程 图5 1 2 显示模式切换的r t s p 命令示例 图5 1 3 分碎n a l u 的包格式 图5 1 4 参数集带外传输框架 图5 1 5 参数集r t s p 命令示例服务端主动传送型 图5 1 6 参数集r t s p 命令示例客户端请求传送型 图5 1 7 立体视频节目的s d p 描述信息示例一 图6 1 时分复用的立体显示装置。 图6 2 立体视频会议原型系统程序运行效果 8 7 8 7 8 9 9 0 9 0 9 l 图6 3 立体视频实时传输系统框架9 5 图6 4 立体视频实时传输系统效果图 图6 5 机器人远程控制系统框图 图6 6 立体视频v o d 系统框架 图6 7 立体投影显示系统 9 8 图6 8 立体视频v o d 系统软件模块结构图 图6 9 立体视频点播服务端软件界面 图6 1 0 立体视频播放器软件界面 图6 1 1 立体视频播放器中的线程交互关系图 图6 1 2 立体视频节目发布站点 图6 1 3 立体视频v o d 系统运行现场 1 0 0 1 0 3 图6 1 4 调试信息中显示的服务端与客户端之间的交互流程1 0 4 图6 1 5p u p p y 序列立体点播方式 图6 1 6p u p p y 序列单通道点播方式 图a 1c o o r _ f l o w 序列( 7 2 0 x 4 8 0 ) x l 1 0 5 1 0 5 1 1 3 由向网络的寸体视频编码和传输技术研究：图日录 图a 2f i s h 序列( 7 2 0 x 4 8 0 ) 图a 3f o r b i d d e n _ c i t y 序列( 7 2 0 x 4 8 0 ) 图a 4f o r e s t 序列( 7 2 0 4 6 0 ) 一 图a 5g a r d e n 序列( 7 2 0 4 8 0 ) 1 1 4 图a 6g r e a t w a l l 序列( 7 2 0 x 4 8 0 ) 图a 7h e a d 序列( 7 2 0 x 4 8 0 ) 1 1 5 图a 8h e a r t 序列( 7 2 0 x 4 8 0 ) 1 1 5 图a 9h o n g k o n g 序列( 7 2 0 x 4 8 0 ) 图a 1 0 p u p p y 序列( 7 2 0 x 4 8 0 ) 图a 1 1n m n i n g 序列( 7 2 0 4 8 0 ) 图a 1 2s e a 序列( 7 2 0 x 4 8 0 ) 图a 1 3s o c c e r 2 序列( 7 2 0 x 4 8 0 ) 图a 1 4b o o k s a l e 序列( 3 2 0 x 2 4 0 ) 图a 1 5c r o w d 序列( 3 2 0 2 4 0 ) 1 1 7 表目录 表3 1 图像质量相近下的输出码率比较2 7 表3 2 输出码率相近下的图像质量比较2 7 表3 3h 2 6 4 中立体视频s e i 信息的语法结构2 9 表4 14 x 4 亮度块的参考象素和顶测模式的关系3 5 表4 2 参考象素亮度值相似性分析实验结果3 5 表4 3q p = 2 8 实验结果( 帧内预测快速算法方案a ) 表4 4q p = 3 2 实验结果( 帧内预测快速算法方案a ) ，3 8 袁4 5q p = 3 6 实验结果( 帧内预测快速算法方案a ) 3 9 表4 6q p - - 4 0 实验结果( 帧内预测快速算法方案a ) 3 9 表4 7 方案b 和p a n 方案分别相对于j m 6 1 在编码时间上的下降比例4 4 表4 8 方案b 相对fp a n 方案在编码时间上的下降比例4 4 表4 9j m 6 1 、p a n 方案和方案b 三者问的码率比较：r a t e ( k b i t 疗a m e l 4 4 表4 1 0j m 6 1 、p a n 方案和方案b 三者问的失真比较：p s n r ( d b ) ，4 5 表4 1 1 方案c 相对于j m 8 6 在编码时间上的下降比例 表4 1 2j m 8 6 和方案c 之问的码率比较 表4 1 3j m 8 6 和方案c 之间的失真比较 4 9 4 9 4 9 表4 1 4 各s a t d 阂值下的i n t r a l 6 x 1 6 和i n t r a 4 x 4 的宏块比例5 3 表4 1 5q c i f 格式序列的实验结果( 帧内预测快速算法方案d ) 5 5 表4 1 6c i f 格式序列的实验结果( 帧内预测快速算法方案d ) 。 表4 1 7 方案e 和p a n 方案分别相对于j m 8 6 ，在编码时间上的下降比例 5 5 5 7 表4 1 8 方案e 和p a n 方案分别相对于j m 8 6 ，在输出码率上的增加比例5 7 表4 1 9j m 8 6 、p a n 方案和方案e 三者间的失真比较：p s n r ( d b ) 表4 2 0h 2 6 4 编码器比较所用测试序列 5 8 6 0 血向网络的- 奇体视频编码和传输技术研究：裹目录 表4 2 1 立体视频编码速度的实验结果7 0 表5 1 常用旨视频编码格式对应的r t p 载荷类型 表5 2n a l u 类型及其含义 7 5 表5 3n a l u 尺寸统计( 单位：b y t e ) 8 8 表6 1 点播服务器硬件配置9 9 表6 2 不同视频序列的立体感评价1 0 6 表6 3 p u p p y 序列在不同分辨卒下的立体感评价1 0 7 表6 4p u p p y 序列在左右通道视频质量不一致下的立体感评价1 0 8 表6 5 点播延时测试结果。1 0 9 表6 6 最大并行点数测试结果10 9 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名： 茑埘 j 日期：“年f 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 储虢柑导师签名幂掘嗍跳吣严 1 绪论 随着立体显示技术的成熟，困扰立体视频发展的瓶颈问题已经淡化。因而，当前视 频研究领域掀起了立体视频技术研究的热潮，其中包括：立体视频捕获、立体视频编码 压缩、中问说点的合成、立体视频传输以及立体感的呈现等等。本章首先介绍了本论文 的选题背景，然后介绍了国内外立体视频领域的研究进展，再阐述了本论文的主要工作 及创新之处，最后给出了本论文的结构安排。 1 1 选题背景 随着计算机，通信及网络技术的发展，实时的二维视频可视通信已经走向成熟，基 于各种国际标准( 如m p e g 系列、h 2 6 x 系列等) 的视频产品已经进入了人们的生活、 学习、工作等各个方面。然而，人们对于数字视频的要求正日益提高，人们希望看到表 征自然景物的数字视频能够更加地清晰、更加地真实，而二维视频在真实性上存在很大 的局限。相比之下，立体视频增加了景物的深度信息，增强了视觉的现实感和逼真感。 因此，立体视频技术作为当前的一个研究热点，已经吸引了越来越多的国内外的学者， 并在各个领域得到了广泛应用，如立体数字电视( 3 d 1 v ) 、远程教育、远程工业控制、三 维视颁会议系统、虚拟现实系统、远程医疗、遥控机器人、自动导航、消费电子等诸多 方面f 1 3 1 。 立体视频是利用人眼的双目视差原理，双目各自独立地接收来自同一场景的特定摄 像点的左右图象，左眼看偏左的图象，右眼看偏右的图象，形成双目视差，大脑能得到 图象的深度信息，使欣赏到的图象具有深度感和逼真感1 4 l 。由于技术条件的限制，立体 视频一直没有得到快速的发展，进入2 0 世纪9 0 年代后，随着三维显示技术的进步，立 体视频技术得到了全世界学者的关注，成为了一个研究的热点例。 立体视频与传统的单通道视频相比，要处理至少翻倍的数据量( 6 1 ，所以必须采用 更高效的数据压缩编码技术，才能对立体视频数据进行有效的存储和传输。同时，随着 人们对视频观看质量要求的提高，高分辨率、高清晰度是今后的趋势，这将带来视频数 据量的急剧增加，仅仅依靠网络带宽的提高和存储容量的提升是无法解决这个问题的， 还必须采用高效的视频编码压缩技术。目前，h 2 6 4 作为新一代的视频编码标准，编码 效率有了很大的提高，与h 2 6 3 + 或m p e g 一4 相比，在保证相同视频质量的前提下，能节 省5 0 左右的码率m 。本论文的第一个研究内容就是在h 2 6 4 编码标准基础上提出高效 的，兼容h 2 6 4 标准的立体视频编码方案。 立体视频要真i f 实用化的另外一个亟待解决的问题就是编码复杂度过高的问题阁。 因为，和传统的单通道视频相比，立体视频的编码复杂度至少提高一倍。对于立体视频 中国科学院硕t 学位论文血向网络的立体视频编码和传输技术研究 会议、立体视频出席等应用，必须要实现立体视频的实时编码。应用的实时性耍求和立 体视频编码复杂度过高是一对矛盾，解决的途径只有降低编码复杂度，通常是算法级的 优化和程序实现上的优化。由于h 2 6 4 编码标准本身的复杂度就很高，而本论文提出的 立体视频编码方案是基于h 2 6 4 ，所以降低h 2 6 4 的编码复杂度是前提。本论文对于h 2 6 4 的帧内预测进行了深入的研究，同时还研究了h 2 6 4 程序实现优化的问题。 流媒体技术，作为多媒体和网络领域的交叉学科，其应用和研究得到了迅速发展。 流媒体改变了以往先下载后观看的模式，引入了边下载边观看的模式，极大地提升了人 们使用媒体的效率。当前，针对传统单通道视频的流传输技术研究已非常成熟，而学术 界对于立体视频的流传输技术所做的研究工作还很少。立体视频和传统视频的码流格式 虽然有一定的相似性，但其区别也很明显，如立体视频码流中一个通道的数据( 假设该 通道数据没有被另外一个通道参考时) 可以选择性传输，从而实现视点可分级；另外， 根据人眼视觉系统的特点，当两个通道的视频质量有一定的差异时，而观看者最终感受 到的视觉效果不会有差异，这个特性对于立体视频的码率分配很有影响。根据以上分析， 本论文确定的另一个重要研究内容是立体视频流的有效传输。 1 2 国内外立体视频领域的研究进展 人眼视觉系统是依靠双目视差来获取景物的立体感，这不是一个新的发现。早在公 元前三百多年，e u c l i d 就发现人的双眼看到的图象是存在略微差异的。但是，直到1 8 3 2 年，c h a r l e s w h e a t s t o n e 才解释了立体感的来源，立体感是依靠大脑对两幅略有差异的图 象合成三维场景才得到的1 9 1 ，而大脑是如何合成三维场景的，这个疑惑至今仍没有被揭 晓。目前，立体视频技术得到了全世界学者的关注，下面就具体阐述国内外立体视频领 域的研究进展。 1 国外的研究进展 国外对于数字立体视频的研究从2 0 世纪9 0 年代初期就已开展，十多年来，其研究 成果已经涉及立体视频技术的各个方面，包括立体视频捕获、立体视频编码压缩、立体 视频传输以及立体感的呈现等等。其中，德国、美国、法国、日本和韩国等国家对立体 视频技术丌展的研究工作比较深入。比如，欧洲几个国家从1 9 9 2 年开始联合开展的 d i s t 6 m a 项目 l o l ，采用m p e g - 2 编码标准作为基础，现已实现了一个集捕获、显示、 压缩和传输于一体的完整的立体视频系统，并得到了广泛的应用；另外，德国的h h i 研 究所致力于研究沉浸式的立体视频会议系统【j 】，该系统能将实际的会议桌和远程与会者 的虚拟会议桌无缝的拼接起来，再配备上逼真的立体视觉呈现，使与会者感觉就像是在 面对面的进行交流，图1 1 所示为三人同时参与的沉浸式立体视频会议的场景。再有，韩 国的e t r i 研究所对于立体视频的捕获、压缩和传输等技术的研究也很深入，并成功实 现了2 0 0 2 年足球世界杯的立体视频转播【】2 1 ，图1 2 所示为该研究所拍摄的世界杯比赛的 立体视频图象对。 2 第一章绪论 图i 1 德国h h i 研究所实现的沉授式立体视频会议系统 图1 2 韩国e t r i 研究所拍摄的立体视频序列( 显示比例：3 4 5 ) 2 国内的研究进展 国内学术界对于立体视频技术的研究始于2 0 世纪9 0 年代后期，到目前为止，已在 立体视频的编码、压缩以及虚拟视点合成等方面取得了一定的研究成果。其中，上海大 学对于立体视频视差估计的研究开展得非常地深入，提出了基于立体摄像几何特性的视 差匹配快速搜索算法、基于视差场分割的立体视频编码和应用分层马尔可夫随机场 ( 加强) 模型的视差估计方法1 1 3 1 。另外，天津大学也较早地开展了对于立体视频技术的研 究，其研究成果包括：基于三维小波的立体视频编码方法、基于四叉树结构的区域视差 估计技术，立体视频虚拟视点的合成【1 4 1 。 1 3 论文的主要工作及创新之处 本论文的主要工作及创新之处主要包括以下几个方面： ( 1 ) 提出了一种基于h 2 6 4 立体视频编码方案，该方案结合了m c p ( m o t i o n 中国科学硫碗卜学位论文血向叫络的立体视频编码和传输技术研究 c o m p e n s a t e dp r e d i c a t i o n ，运动补偿预测) 和d c p ( d i s p a r i t yc o m p e n s a t e dp r e d i c a t i o n ， 视差补偿预测) ，实验结果分析证明，该方案比单独采用m c p 或者单独采用d c p 的编 码方案有效。另外，本文还将该方案和基于h 2 6 3 的立体视频编码方案相比，实验结果 证明本文提出的立体视频编码方案在编码性能上占有绝对优势。 ( 2 ) 在结合m c p 和d c p 的立体视频编码方案的基础上，提出了一种兼容h 2 6 4 标 准的编码方案，该方案利用h 2 “的s e l ( s u p p l e m e n t a le n h a n c e m e n ti n f o r m a t i o n ，补充 增强信息) 单元传输立体视频编码参数信息，在保证编码性能的同时，实现了对h 2 6 4 标准的兼容。 ( 3 ) 为了降低立体视频的编码复杂度，本文对h 2 6 4 帧内预测的模式选择进行了深入 的分析，并提出了一系列的快速选择算法，其中包括：基于参考象素的4 x 4 亮度块的 快速模式选择算法，对边缘方向直方图的快速算法的改进，帧内预测r d o 算法结构的 改进，4 4 亮度块和1 6 x1 6 亮度块之间的快速选择算法。最后，本文对以上算法进行 了结合，提出了多种方法融合快速帧内预测模式选择算法，实验结果表明，融合算法和 h 2 6 4 原帧内预测算法相比，在保证编码质量和输出码率基本不变的情况下，编码复杂 度降低了8 0 左右。 ( 4 ) 为了实现立体视频的流式传输，提出了一系列流式传输技术，并对单通道视频的 流式传输协议进行了扩展，其中包括：立体视频r t p 包的传输机制、视点可分级技术、 n a l u 的分碎机制、参数集带外传输以及立体视频描述信息的s d p 协议扩展。同时，利 用w i n s o c k 编程接口实现了立体视频流传输协议和流会话控制协议。 ( s ) 设计和实现了基于h 2 6 4 的立体视频v o d 系统，该系统包括立体视频点播服务 端、立体视频播放器、立体视频传输模块，立体视频解码模块、立体视频节目发布站点 等模块。在立体视频v o d 系统平台上，对视点可分级、影响立体感的因素、v o d 系统 服务质量和服务能力进行了系统测试。 1 4 论文的结构安排 本论文的结构安排如下： 第二章详细介绍了立体视频的理论基础，包括立体视频的成像原理、立体显示方法 哕及立体视频编码和视差估计等，本章内容是本论文后面章节的理论基础。 第三章首先回顾了数字视频的压缩技术，介绍了视频压缩的基本方法和国内国际上 的视频编码标准。然后，介绍了3 d a v 提出的基于m p e g - 4 的四种立体视频编码方案。 接着，提出了一种基于h 2 6 4 的结合m c p 和d c p 的立体视频编码方案，最后，在此基 础上，提出了兼容h 2 6 4 标准的立体视频编码方案。 第四章内容涉及的是降低立体视频编码复杂度的研究工作。论文先对h 2 6 4 帧内预 测技术进行了深入的分析，然后提出了一系列快速帧内预测模式选择算法。接着，对 h 2 6 4 的三个开源编码器( j m ，) 【2 “，t 2 6 4 ) 进行了编码性能和编码速度的实验比较， 第一章绪论 昂后选择了x 2 6 4 作为立体视频编码器程序的基础。 第五章探讨的是立体视频流式传输技术的研究。论文首先回顾了流媒体常用的网络 协议，包括r t p r t c p 、r t s p 、s d p 、r s v p 等。然后，介绍了如何用w m s o c k 编程接 口实现流媒体网络协议。最后，分析了立体视频流式传输的要求，并对传统的流媒体网 络协议进行了扩展，并提出了适合立体视频流式传输的相关技术。 第六章首先介绍了视频点播技术的发展概括及分类，然后列举了几个有特色的立体 视频相关的应用系统。接着，详细阐述了基于h 2 6 4 的立体视频v o d 系统的设计和实 现方案，给出了系统框架、硬件配置和软件模块等，并对各个软件模块的设计和实现作 了详细的介绍。最后，对立体视频v o d 系统进行了一系列的测试，包括视点可分级、 立体感影响因素、系统服务质量和服务能力等内容的测试。 2 立体视频理论基础 立体视频一般由两个或两个以上的视频通道组成，它是根据人眼的双目视差原理， 在播放时通过显示从略微不同的角度采集到的同一场景的两个视图，分别对应人的两只 眼睛，形成双目祝差，并依靠人的大脑将这些视图融合成一幅有意义的三维图象，从而 形成立体感。本章首先介绍立体视频的成像原理，然后列举了各种立体显示方法，最后 讲述了立体视频编码和视差估计。 2 1 立体视频成像原理 立体视频成像的方式就是模拟人跟视觉系统，通过两个和两个以上的摄像机在不同 位置对同场景进行拍摄，这样，各个相机所拍摄的图象间存在视差，通过视差可以恢 复景物的深度信息，从而实现了三维的成像。根据相机的数目可以将立体成像分为双目 成像和多目成像【1 5 】，本论文只研究双目成像方式。当用双目立体摄像机拍摄自然景物时， 先要把两部摄像机的光轴汇聚于感兴趣的物体上，这时称两部摄像机光轴的交点为汇聚 点，汇聚点到两部摄像机透镜连线中心的距离称为汇聚距离。在数学上汇聚距离可以是 有限值，也可以是无线值，当汇聚距离非常远时，两部摄像机的光轴近似平行，可认为 汇聚点在无穷远处，汇聚距离为无穷大。汇聚距离无穷远的双目立体摄像系统称为平行 立体摄像系统，汇聚距离为有限值的双目立体摄像系统称为汇聚立体摄像系统。 2 1 1 双目立体摄像模型及视差 在分析立体摄像机的成像原理之前，先规定三个坐标系： ( 1 ) 世界坐标系：也称为真实或现实世界坐标系统，它是客观世界的绝对坐标，三 个轴分别用柏，z 进行表示，其中z 轴表示深度轴。 ( 2 ) 摄像机坐标系：以摄像机为中心制定得坐标系，三个轴分别用x y z 表示，其中z 轴为摄像机得光轴。 ( 3 ) 成像平面坐标系：指摄像机所成像的平面坐标系，两个轴平面与摄像机坐标系 的删平面平行。 图2 1 给出了双目立体摄像系统得简单模型。图中两个镜头中线间得连线成为系统的 基线b ，镜头中心到成像平面的垂直距离称为焦距，世界坐标系中物体点与两个镜头中 心确定的平面称为外极平面( e p i p o l a rp l a n e ) ，外极平面与左右图象平面的两条交线称 为共轭外极线( c o n j u g a t ee p i p o l a rl i n e ) 。也就是说，3 d 场景中的物点在两个图象平 面中的投影处在一对共轭外极线上，这是视差匹配的一条重要依据。如果两个摄像机的 光轴平行，则共轭外极线对在一条直线上。 中国 i 学院硕士学位论文血向硝络的奇体税频编码和传输技术研究 假设世界坐标系的原点位于基线8 的中线，象乎面坐标点的原点位于图象的中心。 ( x ，y ，z ) 表示3 d 场景中一个物体点w 的世界坐标系，该点在左右图象中投影的两个象点 分别是( 氘，弘) 和( 知，弘) ，显然，这两个象点足一对同名点，它们之间的差矢量 d = ( x l - - x r ，知一弘) 就是这两个象素点之问的视差( 以左图象为参考图象) 。 多 l e f tv l e w 内g h tv i e w 图2 1 双目立体摄像系统模型 2 1 2 双目平行立体摄像系统 当两个摄像机的光轴平行，且摄像机的焦距等设置均相同时，图2 1 将简化为图2 2 所示的平行双目立体摄像系统( 膨平面) 。由图可得，两条共轭外极线在同一条直线上， 因此，垂直方向( ，轴) 不存在视差，只有水平方向( 片轴) 存在视差，即d ：( 溉一1 。 z 光轴 一l 光 铀 i 矽r z ) ： 从 l 。 q k r 办。 q b 7 由 l e l tv l e w r i g h tv 1 e w 图2 2 平行双目摄像机成像原理 z r 第二章立体视频理论基础 由透视投影及近似三角性原理，可导出如下关系式： 一nx + 8 | 2 l z 一轴x b | 2 l z 由式( 2 1 ) 可解得w 的z 与z 坐标： x ：一旦兰型：一墨垫生 2 ( 如一x t ) 2 d ( 2 1 ) 一=而bfz= 荔 ( 2 3 ) 2 i 丽2 面 1 2 j 根据透视原理，可求出的l ，坐标如下： y 一旦丝兰2 ：一生! 丝竺! ( 2 4 1 2 f 赫一x 0 2 d 、 式( 2 _ 3 ) 将物体与象平面的距离z ( 即物体的深度) 及视差d 直接联系了起来，视差直接 反映了物体的深度信息，视差与深度z 成反比，即当物体距离摄像机越近，其视差越大， 反之则越小。 本文对于立体视频编码和传输的研究都是基于双且平行立体摄像系统，实验所采用 的立体视频测试序列都是平行摄像机采集的。 2 1 3 双目立体摄像装置 目前常见的双目立体摄像机有一体机和组装机两大类。图2 3 所示为一架一体化双目 立体摄像机，一体机是专门为立体摄像设计制作的摄像机，摄像机本身就有两个镜头， 其特点是两个镜头的位置校准得比较精确，采集的立体图象对在垂直和纵向上的偏移误 差比较小。图2 4 所示为两个普通摄像头组装的双目立体摄像机，所采用的摄像机在类型 上没有限制，可以是如图2 4 所示的监控摄像头，也可以是d v ( d i g i t a l v i d e o ) 摄像机。 但是，要求摄像机的体积比较小，因为人眼双目距离为6 2 7 6 m m ，为了模拟人眼的视觉 系统，两个摄像机镜头中心的距离，即基线夙必须和人眼双目距离相近。组装机的优 点是价格便宜，但是采集的立体图象对精确度不高。另外，由式( 2 3 ) 可得，祝差除t g g 物体深度有关系外，与摄像机的焦距以及基线距离也有直接关系，为了符合人眼视觉系 统的特点，深度和视差倒数之间应保证线性对应关系，即摄像机的焦距和基线距离之间 的乘积夥应为常量。那么，双目平行立体摄像机要实现变焦功能，必须同时调节基线 距离，目前有些钵化双目立体摄像机已经实现变焦的功能，而组装的立体摄像机不容 易实现变焦功能。 中医 掌硫硕 学位沦空由向州络的立体视频编码和传输技术研究 2 2 立体显示方法 图2 3 一体化_ ：双目立体摄像机 图2 4 由两个普通摄像头组装而成的双目立体摄像机 立体显示技术的基本原理就是让人的左右眼分别观察到具有一定视差的两个视图， 从而使人脑恢复出视图中的三维信息。立体显示的方法有很多，常用的有以下几种： 分时立体显示：分时立体显示系统通常由c r t ( c a t h o d er a yt u b e ，阴极射线管) 显示设备，立体同步信号发生器和开关眼镜三部分组成。分时立体显示系统通过在c r