（信号与信息处理专业论文）多视点视频编码中颜色校正技术的研究.pdf

中文摘要 随着数字视频技术的快速发展和广泛应用，传统的二维平面视频已经不能满 足人们对情景真实和自然再现的需求，3 d 立体显示技术应运而生。多视点视频 技术作为3 d 立体显示的关键技术，已经越来越受到学术界和工业界的重视。与 传统的单通道视频不同的是多视点视频采用一组摄像机阵列对同一场景进行拍 摄，多视点视频的庞大的数据量要求必须对其进行高效的压缩。但是由于摄像机 阵列的参数设置，光照环境等一系列因素的影响，多视点图像间存在一定的颜色 差异，使得在对多视点视频进行压缩时并不能十分准确的搜索到匹配像素点，实 现视频的高效压缩。 本文在重点介绍多视点视频颜色校正的重要性之后，详细给出了多个颜色校 正算法，分别为基于匹配点的全局线性校正算法，对视频序列中存在明显的全局 颜色偏差的图像进行颜色校正；偏色校正算法，搜索图像之间的匹配点，基于 v o nk r i e s 色适应模型进行偏色检验并校正；基于r g b 颜色空间的直方图匹配算 法，将视频序列从颜色空间转化到r g b 颜色空间，然后对r ，g ，b 三个 分量分别进行直方图匹配校正；基于匹配点的l s m 算法，搜索所有图像之间的 匹配点，求出匹配点的平均值，然后利用最小二乘法对所有视点图像进行颜色校 正。在认真分析已有算法的基础上提出了两个改进的颜色校正算法：基于匹配点 的直方图匹配算法，利用两幅图像的所有匹配点进行直方图的匹配，求出匹配函 数之后再对整幅图像进行颜色校正；基于自适应视差矢量的l s m 算法，该算法 是对基于匹配点的l s m 算法的改进，对不同的视频序列进行自适应的视差搜索 范围的确定，增加了算法的自适应性，在图像的客观质量和主观质量之间达到较 好的平衡。对所有的算法本文都给出了详细的理论论证，以及图片和数据说明。 最后为了更直观的反映出图像之间的颜色差异，开发了基于v c m f c 的多 视点视频播放对比软件。它能够实现同时打开多幅图像，显示每个图像的每个像 素点的y u ，v 分量，并且能够生成两幅图像的差值图像，对比显示像素信息。 关键词：多视点；颜色校正；搜索；匹配点 a b s t r a c t a st h er a p i dd e v e l o p m e n ta n dw i d ea p p l i c a t i o no fd i g i t a lv i d e ot e c h n o l o g y , t r a d i t i o n a lt w o d i m e n s i o n a lp l a n ev i d e oc a nn o tm e e tt h eb a s e l yr e q u i r e m e n t s ，s u c h 私 t r u ea n dn a t u r a lr e p r o d u c t i o no ft h es c e n e ，s o3 ds t e r e o s c o p i cd i s p l a yt e c h n o l o g y c a m ei n t ob e i n g a st h ek e yt e c h n o l o g yo f3 ds t e r e o s c o p i cd i s p l a y , m u l t i - v i e wv i d e o h a v er e c e n t l yr e c e i v e di n c r e a s i n ga t t e n t i o nf r o mb o t l la c a d e m i ca n di n d u s t r yf i e l d i n m u l t i v i e wv i d e os y s t e m ，m u l t i p l ev i d e oc a m e r a sa r eu s e dt oc a p t u r et h es a l l l es c e n e ， d i f f e r e n tf r o mt r a d i t i o n a lo n e - v i e wv i d e o e f f i c i e n tc o m p r e s s i o nm e t h o d ss h o u l db e u s e d ，b e c a u s eo ft h eh u g ea m o u n to fd a t ac a p t u r e di nm u l t i - v i e wv i d e os y s t e m b u t t h e r em a yb es o m ec o l o rv a r i a t i o no fi m a g e sa m o n gd i f f e r e n tv i e w sa st h ei m p a c to f s o m ec o n d i t i o n s ，f o re x a m p l e ，t h ed i f f e r e n tp a r a m e t e r so fd i f f e r e n tc a m e r a s ，l i g h t e n v i r o n m e n ta n ds oo n ，s oi t sh a r dt os e a r c ht h ee x a c t l ym a t c h i n gp o i n t sb e t w e e nt h e p i c t u r e sf r o md i f f e r e n tv i e w sw h e ne n c o d i n g t h ei m p o r t a n c eo fc o l o rc o r r e c t i o ni nm u l t i - v i e wv i d e oc o d i n gi sf i r s t l y i n t r o d u c e di nt h ep a p e r , a n dt h e ns e v e r a la l g o r i t h m so nc o l o rc o r r e c t i o na r ep r o p o s e d t h ef i r s to n ei sg l o b a ll i n e a rc o r r e c t i o nb a s e do nm a t c h i n gp o i n t s ，i tc o r r e c t st h e s e q u e n c e s ，w h i c hh a v es i g n i f i c a n tg l o b a lc o l o rv a r i a t i o n sb e t w e e nv i e w s t h es e c o n d o n ei sc o l o rc a s tc o r r e c t i o n ，f i r s t l y , w es e a r c ht h em a t c h i n gp o i n t sb e t w e e nt w oi m a g e s f r o md i f f e r e n tv i e w s ，a n dt e s tt h ec o l o rc a s tp h e n o m e n ab a s e do nv o nk r i c sm o d a l ， a n dt h e nd oc o l o rc o r r e c t i o n t h et h i r do n ei sh i s t o g r a mm a t c h i n gb a s e do nr g b c o l o rs p a c e ，i nt h i sa l g o r i t h mw ef r r s tt r a n s f o r mt h es e q u e n c e sf r o my u vc o l o rs p a c e t or g bc o l o rs p a c e ，a n dt h e nd oh i s t o g r a mm a t c h i n gf o rt h et h r e ec h a n n e lr , g , b s e p a r a t e l y t h ef o r t ho n ei sd oc o l o rc o r r e c t i o nb a s e do nm a t c h i n gp o i n t sa n dl e a s t s q u a r e sm e t h o d , t h ec h i e f l ys t e pi ss e a r c ht h em a t c h i n gp o i n t sa m o n gi m a g e so fa l l v i e w s ，c a l c u l a t et h ea v e r a g eo ft h e s ep o i n t s ，a n dt h e nc o r r e c ta l lp i c t u r e su s et h e c o e f f i c i e n t sw h i c ha r ec a l c u l a t e db a s e do nt h em e t h o do fl e a s ts q u a r e s a tl a s tt w o i m p r o v e da l g o r i t h ma r ep r o p o s e db a s e do nt h ea n a l y s e so fe x i s t e dc o l o rc o r r e c t i o n a l g o r i t h m t h ef l r s t o n ei sh i s t o g r a mm a t c h i n gb a s e do nr g bc o l o rs p a c ew i t h m a t c h i n gp o i n t s ，i nt h i sa l g o r i t h mw eo n l yu s et h em a t c h i n gp o i n t s ，s e a r c h e df r o m b l o c km a t c h i n gb e t w e e nt w oi m a g e s ，t oc a l c u l a t et h eh i s t o g r a m ，i n s t e a do fa l lt h e p o i n t si nt h i si m a g e t h es e c o n do n e i sd oc o l o rc o r r e c t i o nb a s e do na d a p t i v ed i s p a r i t y v e c t o ra n dl e a s ts q u 眦m e t h o d ，w h i c hi s a l li m p r o v e m e n tf o rc o l o rc o 仃e c t l o nb a s e d o nm a t c h i n gp o 硫sa n dl e a s ts q u a r em e t h o d i n t h i sa l g o r i t h md i 鼢饥ts e a r c hr a n g e s f o rd i 依犯n ts e q u 髓c e sa n d v i e w sa r ef i r s t l yd e t e r m i n e da d a p t i v e l y s 0 舔t 0 珊l p r o v e 血ca d 印t a b i l i t ya n da t h i e v er e l a t i v eb a l a n c e b e t w e e no b j e c t i v eq u a l i t ya n d s u b j e c t i v e q u a l i 吼d e t a i lt b d rp r o o f , e x p e r i m e n ti m a g e sa n dd a m a r ep r o v i d e df o ra no f 也e a l g o r i t h m si nt h ep a p e r 鼬a l l y t 0m i t i 、，e l y0 b s e et h e d i f f e r e n c eo fc o l o rb e t w e e ni m a g e s ，as o r w 对e b 弱e do nv c ，m f ci sd e v e l o p c d w i t hi t ，w ec a no p e na n d p l a y8 e v e r a lv i d c o sa tt h e s 锄e 缸e ，s h o wt h ey u ，v v a l u e so fe a c hp i x e l ss e p a r a t e l y f u r t h e rm o r c ，d l n e 陀n c e i m a g ef o r 姗oi m a g e sc 觚b ep r o d u c e d ，a n d c o n t r a s td i s p l a yp i x c li n f i o m a 缸0 nm e 觚 w h i l e k e yw o r d s ：m u l t i v i e w ；c o l o r c o r r e c t i o n ；s e a r c h ；m a t c h i n gp o i n t s 第一章绪论 1 1 选题背景 第一章绪论 随着数字视频技术的快速发展和广泛应用，基于各种视频编码标准的产品已 经进入了人们的学习，工作，生活之中，但是人们对视频观看质量和播放形式的 要求却越来越高。网络化、真实感和交互性是新一代多媒体应用的重要特征和发 展方向l l j 。与目前的视听技术多不同的是，人们希望不再只是被动的接收和欣赏 节目，而是可以根据自己的兴趣爱好去任意的编辑、操作、多角度的欣赏。然而 传统的二维平面视频已经不能满足人们对情景真实和自然再现的需求。比如立体 电视和立体电影表征出来的3 d 显示效果；在进行可视电话或者远程可视会议时 用户的临场感；远程诊疗时医生需要病人全方位的视频信息；网上购物时人们也 希望能够看到物品在多个视点的描述等。这些都是传统二维图像视频无法提供 的视觉效果。与单通道视频相比，多视点视频由于额外增加了景物的深度信息特 征，所以可以使用户自由的选择观看的视点和方向，享受更加真实的3 d 图像， 加强视频观看时的临场体验感。基于这样的主要特征，多视点视频技术越来越受 到学术界和工业界的重视，并且成为当前视频研究领域的热点之一。 多视点视频是由位于不同位置的摄相机系统对视频场景拍摄得到的，各视点 的拍摄工作是同时并且独立进行的，对拍摄得到的图像进行预处理并且压缩编码 之后，在解码端通过视点绘制技术生成任意视点的视频，这样终端用户就能欣赏 到任意视点的视频图像，而不仅仅局限于摄像机的数目和拍摄的位置，方t 2 1 。 为了实现对多视点视频数据的高效存储和传输，必须对多视点视频的庞大的数据 量进行更高效的压缩编码。但是在多视点视频中由于摄像机的位置造成的场景光 照的不同，以及各摄像机的c c d 噪声、快门速度和曝光度等不同，导致同一时刻 的不同视点中图像之间会存在亮度和色差的差异颜色差异，而这种差异性会 影响后续各种处理的效果。因此必须对多视点图像进行颜色校正，校正同一对象 的不同颜色外表为同一颜色外表，然后再对校正后的多视点视频序列进行分析和 比较，这样才能保证压缩编码过程的的可靠性和高效性。本文深入研究了多视点 图像的颜色不一致问题，分析了现有的颜色校正技术并提出了改进之后的有效的 颜色校正算法。 第一章绪论 1 2 国内外研究现状 国内外对于多视点视频的研究开始于2 0 世纪9 0 年代。随着研究的深入，人 们对多视点视频观看的要求也越来越高，更加注重从多个方面提高多视点视频压 缩编码m v c ( m u l i t i v i e wv i d e oc o d i n g ) 的质量和效率，其中一点就是开始考虑 颜色偏差对于多视点视频编码和视频重现的影响。 为了达到更好的编码效果，j 、，t 工作组制定了多视点视频编码的解码标准， 并且于2 0 0 7 年1 月公布了一个编解码的参考软件m m ( i o i n tm u l t i v i e w v i d e om o d e l ) 。在j m v m 中l e ee ta 1 首次提到了颜色校正的重要性，并把这一环节 植入编码过程中，称之为基于块的亮度变化自适应运动估计运动补偿。随后s o h n e ta 1 提出了多视点组( g o m v ) 这一概念，用于同一时间点的视点间的预测。s u c ta 1 提出了亮度补偿( i c ) 和色度补偿( c c ) ，在补偿块的通道上分别加上 由相应的邻接块预测得到的偏差值。f e c k e re ta 1 利用由两组图像的直方图计算出 的查找表进行相邻视点间的颜色校正【3 1 。 国内学术界对于多视点视频中的颜色校正技术的研究也是在同步进行的，并 且取得了一定的研究成果。其中最显著的是，宁波大学蒋刚毅教授领导的团队对 于自由视点视频信号处理的研究，他们提出了基于区域分割与跟踪的多视点视频 矫正算法，多视点视频自动颜色校正系统，基于r e t i n e x 的多视点图像规正算法等 多种相关的颜色校正技术【删。另外清华大学，北京大学以及西安交通大学也有 对颜色校正技术进行相关研究。 1 3 论文的主要工作 1 ) 研究了多视点视频编码的相关技术，主要包括多视点视频预测编码方案， 视差估计，以及相关的视频编码基础。 2 ) 重点研究了颜色校正技术在多视点视频编码中的应用，分析比较了现有 的国内外各种算法，并分别提出了相应的改进算法。 3 ) 开发了一个可以同时播放多个y u v 视频序列并显示各图像的相应的像 素点信息的软件，使用该软件可以数字化的、直观的体现各视点间的颜色差异。 本文的主要章节安排为： 第一章绪论，简要的介绍了多视点视频编码中的颜色校正技术的研究背景， 详细分析了国内外的研究现状，同时介绍了本文的主要研究内容以及章节安排。 第二章介绍了多视点视频编码的理论基础。首先介绍了多视点视频编码的研 究历程，其次介绍了多视点视频编码中的关键技术，包括预测结构和视差估计， 第一章绪论 颜色校正技术，虚拟视点合成技术，最后举例说明了多视点视频的应用前景。另 外介绍了在图像视频处理过程中的图像质量评价方法。 第三章重点阐述了颜色校正技术在多视点视频压缩编码体系中的应用，对已 有的颜色校正技术，如局部自适应亮度补偿技术，基于v o nk r i e s 色适应模型的 偏色校正技术，基于r g b 颜色空间的直方图匹配算法，基于匹配点的l s m 算法 进行了理论论证，并对个别算法提出了相应的改进措施，最后实现了算法的验证 和比较。 第四章在分析已有的颜色校正的基础上提出了两种比较主要的颜色校正改 进算法，分别为基于匹配点的直方图匹配颜色校正算法和基于自适应视差矢量的 l s m 算法，实现了算法的验证和比较。 第五章研究开发了基于v c m f c 的y u v 播放及对比软件。利用该软件可以 实现同时播放多个视点的图像，并且对于每一幅图像可以显示出它们的每个像素 点的y u v 信息。另外使用该软件可以实现两幅图像的对比功能。 第六章为本论文工作的总结和对今后工作的展望。 3 第二章多视点视频编码理论基础 第二章多视点视频编码理论基础 多视点视频是一种新型的具有立体感和交互功能的视频。通过从不同的视点 位置来获取同一场景的不同信息，并在自由视点电视f t v ( f r e e v i e w p o i n t t e l e v i s i o n ) 等三维音视频系统上有很好的应用。用户可以选择不同的视点角度 观看视频，并且获得很好的立体视频效果。本章将首先介绍多视点视频及m v c 研究历程，然后介绍多视点视频压缩编码的关键技术，最后举例说明多视点视频 的应用前景。 2 1 多视点视频系统 近年来，各种多媒体服务开始相继出现，人们对于真实多媒体系统的需求也 在不断增加。科学家们也逐渐加强对3 d 视频技术的研究，比如全息照相技术， 借助于特殊眼镜的双视点立体系统，3 d 宽视点电影拍摄技术，多视点视频等， 以满足这一不断增长的需求。在这些技术之中，多视点视频是一个关键的技术， 它可以提供多种用途，如自由视点视频，自由视点电视，沉浸感远程会议，3 d 电视等。传统的视频是2 d 的，仅仅给观看者提供一种景象，但是多视点视频却 可以提供多角度的动态的景象，使得观看者如身临其境般更真实的享受视觉和听 觉体验。 苗苗苗昌苗昌苗苗 ( a ) 平行配置 锄尚尚 图2 1多视点视频摄像机系统 ( b ) 汇聚配置 多视点视频信号是由一组平行、会聚或任意角度的摄像机阵列拍摄得到的视 频信号，能提供拍摄场景不同角度的视频信息，利用其中的一个或多个视点信息 可以合成任意视点的信息，达到自由切换任意视点的目的。 4 第二章多视点视频编码理论基础 多视点视频系统的一般结构如图2 - 2 所示，包括视频采集、视频编码、网络 传输、解码和显示等部分【7 1 。解码的多个视频信号可以采用不同的显示方式以得 到不同的观看效果，如普通的单通道2 d t v h d t v ，具有强烈立体感和深度感 的立体视频，或者是具备高效交互能力的多视点视频。 图2 - 2 多视点视频系统 2 2 多视点视频编码的关键技术 一直以来，各视频编码标准都在从事m v c 的相关研究工作。m p e g 2 视频 编码标准的m v p ( m u l t i v i e wp r o f i l e ) 方法采用基于块的立体视频编码，分别采 用运动补偿预测m c p 和视差补偿预测d c p 消除时间冗余、视点间冗余。m p e g - 4 视频编码标准的m a c 方法也是和m v c 相关的一项技术，另外h 2 6 3 ，h 2 6 4 视频 编码标准也在致力于从事m v c 的研究。随着技术的逐渐成熟和研究的深入，移 动图像专家组m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 逐渐意识到m v c 技术的重 要性，并且于2 0 0 1 年1 2 月成立了3 d a v 特别组( a d h o eg r o u po n3 d a v ) 。在2 0 0 2 年到2 0 0 4 年之间3 d a v 特别组进行了四个主要的探索性实验，分别是：全方位 视频；自由视点视频；利用m a c 进行立体视频编码；用于3 d t v 和中间视图差值 的视差编码。从2 0 0 6 年4 月开始主要由联合视频编码组t ( j o i n tv i d e ot e a m ) 进行m v c 的研究工作，t 的组成成员主要来自i s o i e c 组织的m p e g d x 组以及 来自i t u 组织的v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 小组。在经过3 d a v a h g 的 一系列的核心实验之后，制定了m v c 标准，并且相应的制定了联合多视点视频 模型j m v m ，作为h 2 6 4 m p e g - 4a v c 的一个扩展，对m v c 参考软件予以规范【引。 2 2 1 预测结构和视差估计 作为一种新的编码方式，在m v c 的参考软件j m v m 中采用了新的编码工 具和语义，也相应的引入了新的预测结构。 1一 第二章多视点视频编码理论基础 预测结构是指视频压缩编码时各帧之间的相互预测参考关系，在压缩编码之 后传输的并不是像素本身的取样幅值，而是该取样的预测值和实际值的差值，以 达到减小空间冗余和时间冗余的目的。传统的单通道视频编码主要采用的是帧内 预测编码和帧间预测编码两种预测结构。在多视点视频中对于一个相同的场景来 说，相邻摄像机会拍摄到重叠区域，因此就会产生视点间的冗余信息。鉴于m v c 的多视点拍摄数据的特点，在j m v m 中引入了一种全新的预测参考结构等级 b 帧结构，如图2 3 所示。这种预测结构综合考虑了时间和视点间的冗余，采用 分等级多参考方式提高了编码效率，但是也增加了计算复杂度【9 】。 拍t 1t 21 r 3t 4t 5t 6t 7孺 图2 3 等级b 帧变编码结构 为了实现多视点视频的随机视点读取观看特性，对于一些特定的视频帧只允 许采用视点间预测，而不采用时域预测，我们把这种帧称作锚帧，可以类比于单 视点视频中的i 帧，如图2 3 所示。 在多视点视频信号中，除各自视频流内具有很强的时间和空间相关性外，视 频流之间也具有高度的交叉相关性。因此在多视点视频编码中使用运动估计和运 动补偿来消除视频序列时间方向的冗余，同时利用视差预测和视差补偿消除各个 6 吼 眨 驺 辨 ：； 跖 耵 第二章多视点视频编码理论基础 视点间的冗余。视差估计和运动估计类似，都需要在两幅图像之间建立对应关系。 根据这个原理，研究者提出了多种编码方法，基本可以归纳为两类：基于块的编 码方法和基于对象的编码方、法【1 0 1 。 基于块的编码方法是指将图像划分为不重叠的块，并且假设每个块内的像素 点的视差是相同的。然后在当前视点和参考视点的同一时间点中按照一定的块匹 配准则进行最优块的搜索，根据当前块和匹配块的相对位置得到该块的视差矢 量。基于对象的编码方法是指将视频图像分成包含不同物体的区域，然后对物体 的形状、运动、纹理等特征信息分别进行编码，这样就会有效的应对由于人为的 把图像分块进行视差搜索而产生的边界块预测失真的问题。 2 2 2 颜色校正技术 作为新兴的媒体数据，多视点视频图像在立体电视、医疗、远程控制、自动 导航方面具有广阔的应用前景。然而由于在多视点视频和图像中隐含了场景的深 度信息，使得多视点视频的数据量很大，对存储和传输造成困难，因此对多视点 视频数据进行高效压缩显得尤为重要。 一、颜色校正的必要性 在多视点视频中，拍摄工具参数的不一致性将会导致摄像机的焦点的不一 致，进而导致拍摄到的视频颜色的整体不一致性，比如一个视点的图像明显的比 另一个图像亮。即使各个摄像机的参数都一致，摄像机的角度和位置也导致各个 视点拍摄到的图像不是完全相同。在图2 4 所示的摄像机系统配置中，物体a 在 视点l 中的视觉深度是z 。，在视点3 中的视觉深度是z ，毛 z ，。假定所有摄像 机都设定为相同的视觉深度z 。，那么物体a 将会处于视点1 的焦点处，但却不在 视点3 的焦点处，即在视点3 中物体a 将会变得比较模糊。反之，物体b 将会处 于视点3 的焦点处，而不在视点l 的焦点处。另外物体的表面的形状和纹理的不 同使得同一物体的不同部分将具有不同反射系数和反射方向，以致同一物体在视 点l 和视点3 中具有不同的亮度【i l 】。 7 第二章多视点视频编码理论基础 b 彳 z p 皇，y ! z ， 一。 j 、 、 j 摄像机1摄像机3 图2 4 局部焦点不一致示意图 在实际的拍摄中，由于场景光照、拍摄角度及摄像机参数等因素的影响，造 成视点间的亮度和色度不一致，这种差异性的存在使得视点间的相关性减弱【1 2 1 ， 在进行视点间预测时将不能够有效的去除视点间冗余，进而影响多视点视频的压 缩编码效率。因此必须对多视点视频图像进行颜色校正，将同一对象的不同颜色 外表校正到同一颜色外表，这样才能保证分析结果的准确性和可靠性。 另外不同视点间的颜色差异将会对多视点视频中虚拟视点的生成造成严重 的影响。由于源视点颜色的不一致性的存在，使得在进行虚拟视点的合成时不能 准确的确定图像位置和颜色信息，最后的结果就是生成的虚拟视点表面颜色具有 不均匀性。当用户在不同视点间进行切换的时候会感受到明显的不流畅感，影响 j l ! l ! 看效果和视觉体验。 二、颜色校正技术的基本类别 颜色校正技术作为多视点视频编码体系中的一个重要环节，可以作用于不同 的位置【”】。如在采集过程中引入颜色校正技术，通过对摄相机参数的调整以及各 种外在的客观影响因素的调整，来减小不同视点之间的图像颜色外表的不一致 性。在预处理过程中引入颜色校正技术，对采集之后的视频序列再进行颜色的校 正，这时主要是选取一个视点的图形作为参考图像，而把其余视点的图像都校正 到与该图像具有基本一致的颜色，简单流程如图2 5 所示。 8 第二章多视点视频编码理论基础 图2 5 预处理过程中的颜色校正 同样的在编码过程中也可以引入颜色校正技术，这时的颜色校正已经成为了 编码的一部分，因此在颜色校正过程中出现的各校正参数都会相应的编入码流用 以完成解码端的图像恢复重建，简单的流程如图2 - 6 所示，这种颜色校正技术对 于那种需要在解码端恢复原视点图像的视频压缩编码体系是十分必要的。 图2 - 6 编码过程中的颜色校正 三、相关的颜色空间 使用颜色空间可以更加数字化和形象化的描述一种颜色。在不同的应用领域 存在各自最适合的颜色空间，因此同一种颜色便可以有不同的表述方法。根据颜 色的表述与显示设备的相关性与否可以分为与设备相关的颜色空间，如 r g b ，c m y k ，以及与设备无关的颜色空间，如l a b ，x y z 等 1 4 1 。在本文的颜色校 正的过程主要使用的颜色空间是r g b 颜色空间和颜色空间。 r g b 颜色空间是图像处理中最常用和最基本的颜色空间，r g b 颜色空间采 用物理三基色对颜色进行描述，意义明确。视频的采集和播放环节都是工作于 r g b 颜色空间的。 9 第二章多视点视频编码理论基础 在现代彩色电视系统中，最常使用的是y u v 颜色空间。采用y u v 颜色空间 的重要性是它的亮度信号y 和色度信号u 、v 是分离的。这样就能解决黑白电视 与彩色电视信号之间的兼容问题15 1 。对于一幅图像如果没有u 、v 分量而只有y 分量，那么这幅图像就是黑白图像。另外使用y u v 颜色空间进行数据的存储和 传输可以节省存储空间和传输带宽。y u v 颜色空间与r g b 颜色空间之间的基本 的转换公式为： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b u = b y ( 2 - 1 ) v = r - y r = y + 矿 g = y 一0 1 9 2 u 一0 5 0 9 ( 2 - 2 ) b = y + u 2 2 3 虚拟视点合成技术 多视点视频系统满足了人们可以任意角度观看视频的需要，但是由于存储和 传输条件的限制，实际拍摄中并不可能在所有角度都放置摄像机，而是只能在有 限的采样点上放置摄像机进行拍摄。因此为了给用户提供真实的浸入式体验场景 的非常规感受，需要在解码端实现高效的虚拟视点合成，即利用两个或多个实际 摄像机拍摄的视点图像构造产生一个虚拟的视点图像，增加可供观看的角度，满 足观察者任意切换观看角度的要求。目前，视图合成技术已经在虚拟现实领域中 有广泛的应用，同时它可以作为一种有效的视频压缩手段，用来实现视频帧的内 插技术。 公式( 2 - 3 卜( 2 6 ) 为基于视差的虚拟视图合成方法。其中( x ) ，f l ( x ) ，f r ( x ) 分别 为虚拟视图，左视图，右视图在x 处的像素值，w ( x ) 为加权因子，d l r ，d c l ，d c r 分 别为左视图到右视图，左视图到虚拟视图，右视图到虚拟视图的视差，d c l d c r 分别为虚拟视图到左右视图的基线距离【1 6 1 。 f ( x ) = w ( x ) ( x + a c t ( x ) ) + ( 1 一w ( x ) ) f r c x + a c r ( x ) ) ( 2 - 3 ) 删- 熹， d c l ( 班若折 加( 加姗 当x 只在左视图可见 当工只在右视图可见 ( 2 - 4 ) 当j c 在两个视图中均可见 1 0 ( 2 5 ) ( 2 6 ) 第_ 二章多视点视频编码理论基础 2 3 多视点视频的应用前景分析 2 3 1 自由视点视频f t v 在f t v 中，视点位置和视点方向可以交互式的改变。观看者可以体验到被摄 像机所覆盖的拍摄区域的任意视点的自由观看感受【1 7 1 。它的应用主要体现在： 娱乐：会议，运动会，多参与者游戏，电影，戏剧，新闻 教育：文化陈列馆，真实视频手册，运动会说明书，医学手术 观光：动物园，水族馆，植物园，博物馆 档案学：空间档案，生活环境评估，传统娱乐 图2 - 7f 1 系统的基本组成部分 图2 7 展示了f 1 v 系统的基本组成部分，m v c 解码器的输出将作为f t v 的视频发生器的输入，在视频发生器中可能会加入其他视点的图像，或者加入绘 制的虚拟视点图像。为了得到高质量的视频观看效果，在自由视点视频的采集以 及编码传输，解码的过程都会引入相应的校正过程，比如在视频采集时对摄像机 阵列的参数的调整，图像的白平衡处理等，在预处理和编码过程的颜色校正技术， 在解码端的颜色重现等。 2 3 23 d t v 3 d t v 可以看作是当前的立体电影的一个扩展，它的一个重要的用途是广 播。多视点数据是由不同类型的摄像机组拍摄得到的，比如l d 平行，2 d 平行， 1 d 弧形等等，m v c 的解码器重建这些编码的多视点数据。由于视频观看者可以 有不同类型的播放方式和观看方式，因此在3 d t v 系统中多视点显示的时候应该 支持虚拟视点的绘制技术，以应对需要显示的视点数多于编码的视点数或者想要 显示并没有实际存在的视点的情况。 2 3 3 沉浸式远程会议 在沉浸式远程会议中，参与者之间可以有一定的交互。位于不同地理位置的 参与者进行虚拟的会面，并且通过f t v 或者3 d t v 系统中看到其他人，这种沉 浸感提供了更真实的交流效果。 第二章多视点视频编码理论基础 2 4 图像质量评价方法 对图像质量进行相应的评价可以反映出图像处理方法的优劣以及图像质量 的好坏，进而对图像处理算法的改进起到指导作用。一般来说，图像质量的评价 可以分为客观评价和主观评价。客观评价是利用数学模型进行评价，根据模型给 出的量化指标或参数衡量图像质量。主观评价是指由选定的多个具有不同的知识 背景的观察者对图像进行评估打分，最后综合统计这些评估者的分值作为图像的 主观质量。 在实际的操作和实验中为了实验的简便可行，人们普遍采用客观质量评价方 法对图像质量进行评价。比较常用的客观评价方法有峰值信噪比p s n r 和均方误 差m s e ，这两种指标计算简单，物理意义明显，但是由于没有充分考虑人眼视 觉特性，造成最后的评价结果与视觉效果的不一致性。 脚= 1 0 1 9 ( 鑫) ( 2 - 7 ) 脚2 赤i - i j = l ，) 吲训2 ( 2 - 8 ) 其中a ( i ，j ) 和a ( i ，j f ) 分别表示原始图像和重建图像中对应点的像素值，m n 表 示图像的总像素点数目，口一= 2 。- 1 ，表示色彩深度，即一个像素点占有的2 进制位数，一般取z = 8 【1 8 1 。 为了更真实的反映图像质量，人们开始进行基于人类视觉系统h v s ( h u m a n v i s i o ns y s t e m ) 的评价方法的研究。基于结构相似度的图像质量评价方法的主要 科学依据是h v s 高度适合于提取视觉场景中的结构信息，因此图像结构的变化能 够更贴切的反映出视觉效果。如果两幅图像结构相似则认为图像质量损失不大， 否则反之。w a n g 等提出了一种基于结构失真的视频质量客观评价方法 s s i m ，其基本实现框图如图2 8 所示【1 9 1 。 图2 8s s i m 实现框图 量 其中信号x ，y 分别为原图像信号和失真图像信号。定义信号x ，y 对应图像块的亮 1 2 第二章多视点视频编码理论基础 度对比度，结构相似度分别为： ，、2 以y + c l “五力2 雳嚣 ；+ ；+ c l ，、 2 0 x 盯y + c 2 d 五力2 虿麓意 c ，- ：+ 仃：+ o ， ( 2 - 9 ) ( 2 一l o ) s ( x ，y ) = 型二( 2 - 1 1 ) 仃j o y + 乙3 其中t ，为信号x 图像块的均值，表示亮度信息，仃。为图像块的方差，表示对比 度信息，叽，为信号x 和信号y 图像块的相关系数，表示结构信息的相似性。 c ，c ：，c 3 为很小的正数，用来防止分母过小而接近于零时产生不合理的计算结 果，c i = ( k 。三) 2 ，c ：= ( k ：g ，2 ，c 3 = c ：2 ，其中l 为像素值的动态变化， k 1 1 , k 2 o ，y 0 ，这三个分量用于对亮度、对比度、结构信息进行权值 的调整。实际中，整幅图像的平均结构相似度定义为： + i 卫 m s s i m ( x ，y ) = 吉鼹附( ，乃) ( 2 - 1 3 ) t = l 其中x ，y 分别表示原始图像和失真图像，为图像子块的数目，墨，y ，为对应的 第f 个图像子块。 通过大量的实验证明s s i m 比m s e 等其他客观质量方法更符合人眼的主观 视觉，因此可以作为主观质量评价的一个参考指标。 第三章多视点视频的颜色校正算法及实验比较 第三章多视点视频的颜色校正算法及实验比较 在多视点视频中，各摄像机的快门速度及曝光时间有一定的不同，同时各摄 像机所处的方位以及接收到的光强也不同，这些因素都会造成拍摄到的各视点的 图像中各颜色分量整体上的偏大或偏小。另一方面，为了保证色彩的正确重现， 需要对摄像机进行白平衡调整，然而各视点之间各分量的不同增益将导致其中一 个视点相对另一个视点有明显的整体色彩偏差，这些不可避免的情况都会导致在 实际获得的多视点视频中同一时刻点的不同视点之间的图像的颜色值存在差异， 从而严重影响多视点视频的压缩性能和观看效果f 2 吣1 1 。因此为了提高多视点视频 压缩编码的压缩性能，增强在解码终端观看视频时的流畅感，需要对多视点视频 进行颜色校正。 根据颜色校正过程中参考值与当前值之间的校正关系可以将颜色校正技术 具体的分为线性校正和非线性校正。在下文的各种算法中，基于匹配点的全局线 性校正算法以及基于v o nk r i e s 色适应模型的偏色校正算法属于线性校正技术， 局部自适应亮度补偿技术，基于r g b 颜色空间的直方图匹配颜色校正算法，基 于匹配点的l s m 算法属于非线性颜色校正技术。另外，除了局部自适应亮度补 偿技术是作用于编码过程中之外，其他的颜色校正技术都是作用于预处理过程中 的。 3 1 局部自适应亮度补偿技术 对需要在解码端进行原图恢复的视频压缩编码体制而言，需要将颜色校正技 术作为编码过程的一部分来进行实现。目前比较成熟的编码过程中的颜色校正技 术就是亮度补偿技术，其中使用比较广泛的是j a e h o ，y e p i n gs u 等人提出的局部 自适应亮度补偿技术，简称亮度补偿i c 捌。主要编码框图如图3 1 所示。其中模 式选择是指对所有可能的块模式进行判断之后所确定的最优的编码块类型。 1 4 第三章多视点视频的颜色校正算法及实验比较 图3 一l局部自适应亮度补偿编码结构 一、求取自适应视差矢量 在基于h 2 6 4 a v c 的m v c 编码过程中，为了求得视差矢量，采用的匹配准 则是绝对差值和s a d ( s u mo fa b s o l u t ed i f f e r e n c e s ) 。两个对应块的s a d 可以表 示为： m + s - i 厅+ 7 一l s a o ( x , y ) = i c 0 ，j ) - r ( i + x ，_ ，+ y ) l ( 3 1 ) f i 朋 掌“ 其中c ( i ，) ，r ( i ，j ) 分别表示当前帧和参考帧中处于位置( f ，歹) 处的亮度值，s t 表示块大小，主要有1 6x 1 6 ，1 6 8 ，8 1 6 ，8 8 ，8 4 ，4 8 ，4 4 ，( 五y ) 表示视差矢量，( m ，n ) 表示块的起始像素的坐标位置。 当不同视点之间的图像的亮度变化时，同一时刻点的图像的相关性就会相对 的降低，在这种情况下利用传统的s a d 匹配准则进行匹配块的搜索时将会存在 误差。为了解决这一问题，需要对匹配准则s a d 进行一定的修改。 在基于块的局部自适应亮度补偿中，假定由亮度变化引起的不一致性主要表 现为当前块和参考块的直流分量的不一致性。为了在视差矢量的估计过程中引入 这种不一致性，需要计算当前块和参考块的均值。因此修改匹配准则s a d 为 m r s a d ( m e a n r e m o v e ds u mo fa b s o l u t ed i f f e r e n c e s ) ： 第三章多视点视频的颜色校正算法及实验比较 m r s a d ( x ，y ) = i c ( f ，) 一m c i - r ( + x ，+ j ，) 一m 月( 工，y ) 】 ，- m j 一 = i 【c ( f ，j ) - r ( i + x ，+ y ) 卜阻c m 矗( 工，y ) 1 加”7 ” (32)m+$- in + t - ! 、一， m c = 击c ( f ，) o ，、j t f f i m j - n m + x + s - i 打+ g + t - i m 詹( x ，y ) = 而i 尺( f ，) 。7 、l - m + x j f f i n