（信号与信息处理专业论文）多视点视频虚拟视点图像质量评价.pdf

上海大学硕士学位论文 摘要 自由视点视频可以使用户自由选择观看的视点和方向，从而享受更加 真实的3 d 图像。正是基于这种交互性与立体感的特点，自由视点视频在三 维立体电视、远程教育、远程监视、虚拟现实系统等各方面有良好应用前 景。随着自由视点技术的日益成熟，需要建立多视点视频系统的性能评价 体系，虚拟视点图像质量的评价就是其中的核心问题。 虚拟视点图像质量判别的特殊性在于虚拟视点图像一般都没有参考图 像，属于无参考图像质量判别范畴，至今没有有效的解决方法。本文在借 鉴一般无参考图像质量评价方法的基础上，分析了虚拟视点图像降质类型 和因素，提出了光线空间域的自由视点图像质量评价方法和基于图像功率 谱的自由视点图像质量评价方法。 基于光线空间的自由视点重现是一种重要的图像绘制技术，木文根据 无参考质量评价的特点和图像边缘梯度理论，提出一种基于光线空间的虚 拟视点图像质量评价方法，通过光线空间归一化梯度直方图和边缘方向高 频能量的统计分析，得到插值光线空间及虚拟视点的质量评价。根据高频 能量可以反映数据变化的剧烈程度和梯度直方图可以反映图像像素方向分 布的原理，提出了基于边缘能量的边缘特征表示方法和基于梯度直方图的 边缘特征表示方法。最后用边缘梯度方向的平均能量、插值所得光线空间 和理想光线空间归一化梯度直方图间的欧式距离分别评价插值所得光线空 间及其视点图像的质量，获得了与p s n r 评价相一致的结果。实验结果表 明，光线空间边缘像素的方向一致性可以作为评价该光线空间质量的参数， 本方法可以用于基于光线空间表示的自由视点视频系统中虚拟视点质量的 定性评价。 从功率谱估计的角度，提出一种根据降质图像将破坏图像功率谱不变性 理论的无参考型图像质量评价方法。根据虚拟视点绘制过程中各种降质因 素对图像影响的主要表现为模糊和褶皱的实验分析，讨论了模糊和皱褶在 其功率谱域的不同表现，用虚拟视点一维功率谱曲线与真实视点一维功率 谱曲线平均差值作为衡量虚拟视点模糊度的指标，用有褶皱现象的虚拟视 点一维功率谱曲线的峰值与该曲线经中值滤波后在原峰值点处的值之差作 为衡量虚拟视点褶皱视觉效应敏感度的指标，对虚拟视点的质量进行定量 评价，在没有原始参数的情况下，取得了与主观评价较好的一致性。 关键词：自由视点，虚拟视点，光线空间，功率谱估计，边缘 v 上海大学硕上学位论文 a b s t r a c t f r e ev i e w p o i n tv i d e oa l l o w su s e r st oc h o o s et h ed i r e c t i o na n dp e r s p e c t i v e f r e e l y , s ot h e yc o u l de n j o yam o r er e a l3 di m a g e s ，b e c a u s eo f f r e ev i e w p o i n t v i d e o sf e a t u r eo fi n t e r a c t i v ea n dr e a l i s t i c3 di m a g e 。i tw i l lh a v eg o o dp r o s p e c t s f o rt h ea p p l i c a t i o ni nr e m o t ee d u c a t i o n ，r e m o t es u r v e i l l a n c e ，v i r t u a lr e a l i t y s y s t e m sa n do t h e ra r e a s a st h ef r e ev i e w p o i n tt e c h n o l o g yb e c o m em o r e s o p h i s t i c a t e d ，t h es y s t e mu s e dt om e a s u r et h ep e r f o r m a n c eo ft h em u l t i v i e w v i d e os y s t e m sm e r i t si sn e e d e dt ob ee s t a b l i s h e d a n dv i n u a lv i e w p o i n ti m a g e q u a l i t ye v a l u a t i o ni so n eo f k e yt e c h n o l o g i e si nt h es y s t e m t h e p a r t i c u l a r i t yo fv i r t u a lv i e w p o i n ti m a g eq u a l i t ye v a l u a t i o ni st h a tm o s t o ft h ev i r t u a lv i e w p o i n ti m a g e sd i d n th a v er e f e r e n c ei m a g e s ，s oi tb e l o n g st on o r e f e r e n c ei m a g eq u a l i t ye v a l u a t i o n o nt h eb a s i so fg e n e r a ln or e f e r e n c ei m a g e q u a l i t ye v a l u a t i o nm e t h o d s ，t h i sp a p e ra n a l y s e dv i r t u a li m a g eq u a l i t yd e s c e n d i n g t y p e sa n df a c t o r sa n dp r o p o s e df r e ev i e w p o i n ti m a g eq u a l i t ye v a l u a t i o ni n r a y - s p a c ed o m a i na n df r e ev i e w p o i n ti m a g eq u a l i t ye v a l u a t i o nb a s e do ni m a g e p o w e rs p e c t r u m f r e ev i e w p o i n ti m a g er e c o n s t r u c t i o nb a s e do nr a y - s p a c ei sa ni m p o r t a n t t e c h n i q u e ，a c c o r d i n gt ot h ef e a t u r eo fn or e f e r e n c ei m a g eq u a l i t ye v a l u a t i o na n d t h e o r yo fe d g eg r a d i e n t ，t h i sp a p e rp r o p o s e d f r e ev i e w p o i n ti m a g eq u a l i t y e v a l u a t i o nb a s e do n r a y - s p a c e ，t h r o u g hs t a t i s t i c a l l ya n a l y s i n ge d g e s h i g h f r e q u e n c ye n e r g yo fi n t e r p o l a t e dr a y s p a c ea n dn o r m a l i z e de d g eg r a d i e n t h i s t o g r a mo fi n t e r p o l a t e dr a y s p a c e ，t h eq u a l i t y e v a l u a t i o nf o ri n t e r p o l a t e d r a y s p a c ea n dv i r t u a lv i e w p o i n ti m a g e c a nb eo b t a i n e d a c c o r d i n gt ot h ep r i n c i p l e t h a th i g h f r e q u e n c ye n e r g yc a nr e f l e c tt h ei n t e n s i t yo fd a t a sc h a n g e sa n dt h e g r a d i e n th i s t o g r a mc a nr e f l e c tt h ed i r e c t i o nd i s t r i b u t i o no fi m a g ep i x e l s ，t h e p a p e rp r o p o s e de d g ec h a r a c t e r i s t i cr e p r e s e n t a t i o nb a s e do ne n e r g ya n dg r a d i e n t h i t o r g r a mr e s p e c t i v e l y f i n a l l y , a v e r a g ee n e r g yo fe d g ed i r e c t i o na n de u r o p e a n d i s t a n c eb e t w e e ni d e a l r a y s p a c e s n o r m a l i z e d g r a d i e n t sh i s t o g r a m a n d i n t e r p o l a t e dr a y - s p a c e sn o r m a l i z e dg r a d i e n t sh i s t o g r a mc a nb eu s e dt oj u d g e t h e q u a l i t yo fr a ys p a c ea n dv i r t u a lv i e w p o i n ti m a g er e c o n s t r u c t e df r o mr a y s p a c e ， t h eq u a l i t ye v a l u a t i o nr e s u l ti sc o n s i s t e n tw i t hp s n rr e s u l t t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep a r a m e t e ro fe d g ed i r e c t i o nc o n s i s t e n c yc a nb eu s e dt o e v a l u a t et h eq u a l i t yo fr a ys p a c ea n dt h em e t h o dc a nq u a l i t a t i v e l ye v a l u a t et h e q u a l i t yo ff r e ev i e w p o i n ti m a g er e c o n s t r u c t e df r o mr a y - s p a c e f r o mt h ep e r s p e c t i v eo fp o w e rs p e c t r u me s t i m a t i o n ，t h ep a p e rp r o p o s e da n or e f e r e n c ei m a g eq u a l i t ye v a l u a t i o nb a s e do nt h et h e o r yt h a tq u a l i t yd e c e n d i n g w i l ld e s t r o yi m a g ep o w e rs p e c t r u mi n v a r i a n tn a t u r e a c c o r d i n gt ot h ee x p e r i m e n t a n a l y s i st h a tq u l i t yd e c e n d i n gf a c t o r si nt h ev i r t u a lv i e w p o i n ti m a g er e n d e r i n g p r o c e s sw i l lm a k ei m a g ea p p e a rf u z z ya n df o l d ，t h ep a p e rd i s c u s st h ef u z z y 上海大学硕士学位论文 i m a g ea n df o l di m a g e sd i f f e r e n c ew i t hn o r m a li m a g ei no n e d i m e n s i o n a lp o w e r s p e c t r u md o m a i n i nt h ep 印e r ，t h ea v e r a g ed e v i a t i o nb e t w e e na d ja c e n tr e a l v i e w p o i n ti m a g e so n e d i m e n s i o n a lp o w e rs p e c t r u mc u r v ea n df u z z yv i r t u a l v i e w p o i n ti m a g e so n e d i m e n s i o n a lp o w e rs p e c t r u mc u r v ei su s e dt om e a s u r et h e i m a g ea m b i g u i t yd e g r e e ，a n dt h ed e v i a t i o nv a l u eb e t w e e np e a kv a l u eo ff o l d i n g i m a g e so n e - d i m e n s i o n a lp o w e rs p e c t r u mc u r v ea n dt h ev a l h ea tt h es a m e p o s i t i o nw i mt l l a tp e a kv a l u eo ft h em e d i a nt i l t e do n e d i m e n s i o n a lp o w e r s p e c t r u mc u r v ei su s e dt om e a s u r et h ev i s u a ls e n s i t i v i t yo ft h ei m a g ef o l d t h i s m e t h o dc a nq u a n t i t a t i v e l ye v a l u a t et h ev i r t u a lv i e w p o i n ti m a g e q u a l i t y , a n dc a n a c h i e v et h ec o n s i s t e n tr e s u l tw i t hs u b j e c t i v ej u d g m e n ti nt h ea b s e n c eo ft h e o r i 百n a lp a r a m e t e r s k e y w o r d s ：f r e ev i e w p o i n t ，v i r t u a lv i e w p o i n t ，r a y s p a c e ， p o w e rs p e c t r u me s t i m a t i o n ，e d g e v i l 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：囤刻日期：塑2 1 立銎 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：压址导师签名：琴址日期：兰靼 i i 上海大学硕i ：学位论文 第一章绪论 1 1 研究的背景及意义 自由视点视频是本世纪初逐步发展起来的视觉新技术，自由视点视频是一 种能够通过处理摄像机阵列获得二维视频图像而产生极高性能的多维视频图像 ( 立体感和交互性) 的表示方法，在三维电视、自由视点电视、沉浸式3 d 视频会 议、3 d 视频监控、3 d 虚拟现实和会展技术等领域有广泛的应用前景。在自由 视点视频的各种应用中，最本质的内容是直接从显示设备中感受真实的3 d 世 界。这主要通过记录3 d 场景数据，有效地表示这些数据，并随机重现3 d 场景 而实现的，因此3 d 场景的高质量重现是自由视点视频的关键技术之一。一般 可采用各种图像绘制方法来生成虚拟的中间视点图像，但生成的图像质量如何 往往仅凭直接观察判断，至今尚缺乏有效的衡量新视点图像质量的评价体系。 发展与主观视觉相吻合的虚拟视点的客观质量评价方法对于自由视点视频应用 系统是十分重要的。 本文主要对光线空间表示的自由视点视频展开虚拟视点质量评价问题的研 究，属上海市曙光计划项目“基于光线空间的自由视点的表示与重现”( 编号 0 6 s g 4 3 ) 的研究内容。 1 2 国内外研究进展及现状 1 2 1 图像客观质量评价的三种类型 数字图像质量的客观评价已经越来越为人们所重视，现己形成了许多完整 有效的算法体系。根据对源素材信息参考程度，图像质量的客观评价可分为三 种 1 ：全参考型( f r ，f u l lr e f e r e n c e ) 、部分参考型( r r ，r e d u c e dr e f e r e n c e ) 币l 无 参考型( n r ，n or e f e r e n c e ) 。 ( 1 ) 全参考型( f r ) 所谓全参考型要求占有完整源素材信息作为评价失真图像质量的参考。目 i ：海大学硕上学位论文 前大多数图像质量评价算法都属于全参考型。 均方误差( m s e ，m e a n s q u a r e d e r r o r ) 和峰值信噪比( p s n r ，p e a k s i g n a l t o n o i s er a t i o ) 是较简单的全参考型图像质量测度，其公式分别如下所示： m s e = 万i 刀n 掣刀一p 疗) 2 ( 1 1 ) p s n r p s n r = 1 0 1 0 9 l n ( 三筻) ( 1 - 2 ) g l o 盖) ( 其中，。和p 。，分别为原始图像和失真图像中第n 个像素的灰度值，n 为图 像的像素点个数( 参考图像和失真图像尺寸相同) 。它们计算简单，因此得到了 广泛的使用。 但是，m s e 或p s n r 都是基于两幅图像的各像素差异来计算的，在实际应 用中往往它们的评价结果与人眼对图像的视觉感知相差较大。 z h o uw a n g 等从图像信息的结构入手，提出了一种基于结构相似度 2 ( s s i m ， s t r u c t u r a ls i m i l a r i t y ) 的图像质量测度( m s s i m ，m e a ns t r u c t u r a ls i m i l a r i t y ) ，实验表 明这种方法确实与主观评价有较好的相关性，但该方法只是从图像信息的一个 方面分析图像质量问题，还有许多新的图像信息表示方法值得我们去研究，将 之应用于图像质量的评估。 随着人们对人类视觉的不断认识，以及对图像理解的不断加深，全参考图 像质量评价仍值得我们去深入研究。 ( 2 ) 部分参考型 由于参考图像的数据量往往比较大，在一些情况下不便于传输和存储，特 别是在通信领域，对带宽的要求很高，因此，r r 型图像质量评价成为人们研究 的热点之一。部分参考型是介于全参考型和无参考型之间的一种图像质量评价 方法。这种方法只利用部分的原始图像的信息来估计失真图像的视觉感知质量。 目前v q e g ( v i d e oq u a l i t ye x p e r t sg r o u p ) 已经将其作为未来图像质量评价发展 的一个方向，在某些应用领域r r 型图像质量评价方法十分有用。例如，在实 时视频通讯系统中，可以通过监控图像质量来控制码流资源，从而满足不同的 需要。 图1 1 为部分参考型图像质量评价模型。在这个模型中，在发送端有一个 2 上海大学硕士学位论文 特征提取过程，所提取的特征一般数据量远远小于原始图像数据，通过辅助通 道传输到接收端。辅助通道一般认为是没有误差的，虽然实际上做不到绝对没 有误差，但相对于原始图像，特征数据量少，其误差更容易控制，而且即使在 有误差的情况下，其对图像质量评价也是非常有用的。 一个成功的r r 图像质量评价方法必须在r r 特征数据率和图像质量的预 测精度上取得很好的平衡。这是因为，如果r r 特征数据率越大，能包含参考 图像的信息就越多，得到的预测就会越精确，但这也会给传送这些参数造成很 大负担。相反，数据量越小越易于传送，但最终的预测也会越差。目前一些典 型的r r 图像质量评价算法可以划分为基于图像特征统计量的算法和基于数字 水印的算法两类。 度 图1 1 部分参考型图像质量评价模型 ( 3 ) 无参考型( n r ) f r 和r r 的共同点是，它们都全部或部分地依靠一个原始的且无失真的图 像作为参考，然而在许多情况下，这种原始的无失真的图像很难获得，但即使 没有参考图像，通过观察降质图像仍能评估图像的质量。近些年来，n r 型图 像质量评价被越来越多的学者所关注。 无参考算法可以分为两种：针对失真类型的算法和基于机器学习的算法。 这类方法的特点无需参考图像，灵活性强。 无参考算法中研究较多的失真类型是j p e g 和j p e 9 2 0 0 0 压缩失真。在对图 像进行j p e g 压缩时，首先将整幅图像分成许多统一大小的图像块，在每个图像块 上采用离散余弦变换( d c t ) ，对d c t 系数进行压缩。由于不可避免地存在量化 和截断误差，因此压缩后的图像会出现模糊和块状失真。无参考算法初期主要根 上海大学硕士学位论文 据这两种失真现象对压缩后的图像进行质量评价。z h o uw a n g 等提出一种频域 评价算法，根据失真图像在某些特征频率上的峰值和能量从高频到低频的转移 来衡量其失真程度 3 】；y u u k o uh o n 2 t a 等和r m u o s 等根据d c t 压缩后图像 块边界上梯度值变化的剧烈程度设计相应的统计量，来衡量块状失真的程 度 4 ，5 ；em a r z i l i a n o 等和e eo n g 等提出通过计算图像中边缘向其邻域内的 扩散程度来衡量模糊失真程度的算法 6 ，7 】。 n r 质量评价中还有一类机器学习的算法是基于如下假设：质量相近的图 像在底层特征上具有相同的规律，而这些规律可以通过机器学习的方法得到。与 前面提到的无参考算法不同，它并不需要分析失真的原因以及如何设计特征来 衡量失真的程度，而是将学习得到的“特征”直接作为图像质量评价的标准。这 类算法首先将图像分块，以每块区域内的像素值作为原始特征向量，然后采用不 同的机器学习策略从中提取出分类能力强的新特征向量，最后结合主观评价值 利用新特征向量进行分类或者回归。t o n gh a n g h a n g 等采用m m d ( m a x i m u m m a r g i n a ld i v e r s i t y ) 【8 】策略提取特征向量，用m d h ( m u l t i d i m e n s i o n a lh i s t o g r a m ) 方法估计类条件概率密度函数，然后设计b a y e s 分类器对不同质量的图像进行 分类、评价 9 ；g a s t a l d o 等采用循环反向传播( c b p ) 神经网络进行特征提取和 质量评估 1 0 。这类算法的优点在于能够借助机器学习领域内的研究成果，提高 算法性能，但由于目前算法直接以图像中的像素点作为原始特征而没有进行相 关处理，在性能上处于劣势。 由于n r 型图像质量评价是真正意义上模拟人来评价图像质量的方法，它 的应用范围将非常广泛，是一个是非常有意义的研究方向。 1 2 2 多视点视频系统中的虚拟视点质量评价研究现状 基于图像的绘制技术( i b r ) 将计算机图形学、计算机视觉结合在一起， 直接由参考图像生成新视点的图像，避开了复杂的建模过程，可通过一组预先 获得的图像来描述场景，并通过适当的插值来绘制位于不同视点的新视图。由 于i b r 牛成的新视点即虚拟视点图像缺少原始数据可比较，因此关于虚拟视点 视频质量评价可应用无参考或者部分参考的客观质量评价方法，但目前的无参 4 上海大学硕士学位论文 考或者部分参考的客观质量评价方法 7 1 0 都是针对编码图像的，这使得中间视 点视频质量评价准则成了3 d a v ( 三维音视频) 研究中公共难题之一。 针对三维图像的质量评价，文献 1 2 通过r a m l a ( r o wa c t i o nm a x i m u m l i k e l i h o o da l g o r i t h m ) 的参数将用2 5 dr a m l a 和3 dr a m l a 方法重建后的图 像划分成h o ts p h e r e 和c o l ds p h e r e ，比较不同区域的对比度及背景变化程度达到 评价医学上诸如人脑、四肢等特定图像质量的目的。文献 1 3 对影响几何绘制 图像质量的几何分辨率和纹理分辨率作了定量研究，在纹理分辨率( 几何分辨 率) 一定的情况下，结合图像的主观评价结果拟合了图像客观质量和几何分辨 率( 纹理分辨率) 的曲线图。以上这些图像质量评价方法都是针对3 d 模型重 建图像的评价，并不适用于3 d a v 应用中牛成的虚拟视点图像的评价。文献 1 4 认为对三维电视显示图像质量的分析应在二维图像质量评价模型的基础上加上 三维图像的深度信息的评价，但并未建立起适合三维电视机显示图像质量评价 模型。 对应用基于图像绘制技术牛成的图像的质量评价目前研究较少，没有普遍 使用的成果。 1 3 论文内容与安排 本文在分析现有的各种数字图像质量客观评价算法的基础上，重点研究属 于无参考型( n r ) 的虚拟视点图像质量评价，结合传统p s n r 评价方法，提出了 适合虚拟视点图像质量评价的无参考图像质量评价新方法，这对于自由视点视 频系统质量评价体系的建立有积极的促进作用。首先，结合图像边缘梯度理论 对无参考型评价算法进行了改进，其次研究了不同失真类型的虚拟视点图像与 其图像功率谱间的关系，提出了基于功率谱估计的虚拟视点图像质量评价方法。 本文主要的工作成果如下： ( 1 ) 结合基于图像绘制技术( i m a g e b a s e dr e n d e r i n g ，i b r ) 牛成的视点图像， 分析了虚拟视点图像失真的原因及类型。 ( 2 ) 结合图像边缘梯度理论，提出一种光线空间域的虚拟视点图像质量评 价方法，获得了与p s n r 评价相一致的结果。依据高频能量可以反映数据变化 5 j ：海大学硕十学位论文 的剧烈程度和梯度直方图可以反映图像像素方向分布的原理，提出了基于边缘 能量的边缘特征表示方法和基于梯度直方图的边缘特征表示方法，并用边缘梯 度方向的平均能量、插值所得光线空间和理想光线空间归一化梯度直方图的欧 式距离分别评价插值所得光线空间的质量。 ( 3 ) 提出一种基于功率谱估计的无参考型图像质量评价方法，分析了虚拟 视点图像中不同失真类型在其功率谱域的不同表现，并用功率谱对图像失真程 度进行量化，得出虚拟视点的质量评价。在没有原始参数的情况下，本方法与 主观评价具有较好的一致性。 本文共分为五章，各章的内容安排如下： 第一章简要介绍多视点视频系统中的中间虚拟视点质量评价的研究背景、 研究现状和本文的研究成果。 第二章从无参考图像质量评价的角度，分析了多视点视频系统中的虚拟视 点图像失真原因与失真类型，根据失真原因与失真类型提出本文的研究方法。 第三章以多视点视频系统中的中间虚拟视点图像失真原因为切入点，阐述 了所提出基于光线空间的虚拟视点图像质量评价方法。 第四章以多视点视频系统中的中间虚拟视点图像失真类型为切入点，描述 了所提出的基于功率谱估计的虚拟视点图像质量评价方法。 第五章为总结与展望。对本文的工作进行总结，并指出今后可以深入进行 研究的方向。 最后是致谢和就读硕士期间发表的论文目录。 6 l ：海大学硕十学位论文 第二章多视点视频系统中无参考型图像质量评价 在某些情况下，很难完全获得全参考型图像质量评价方法中的参考图像， 因此无参考型图像质量评估作为一种评估数字压缩图像或视频的方法被提了出 来。从无参考性图像质量评价研究现状，可以发现，针对失真型的无参考图像 质量评价，首先应将影响图像质量的因素分解，然后为某类失真或应用建立模 型，可以在特定的场合取得成功。 目前无参考型图像质量评价对象以压缩图像为主。本章根据多视点视频系 统的需要以基于图像绘制技术牛成的图像为评价对象，分析了绘制图像失真原 因及失真类型，进而提出本文对虚拟视点图像质量评价的研究方法。 2 1 图像评价指标准则 对于图像质量评价，一个实用的评价指标必须满足下列准则 1 5 ： 1 ) 预测的精确性。这是指正确评价图像质量的能力，一般可通过与对应该 指标的平均意见分( m e a no p i n i o ns c o r e ，m o s ) 进行对比确定。 2 ) 预测的单调性。也就是说，当m o s 分数不断增加或减少时，图像质量评 价分数也应该呈现相应地单增或单减。 3 ) 预测的一致性。一个好的指标应该在不考虑特定图像内容的情况下也能 表现良好。通常，开发者使用固定测试图像集开发指标，可能该指标对于特定 的测试集效果很好，但是对于一些新的、不熟悉的数据表现较差，这是应该要 避免的。 从以上讨论可以看出，一个好的评价指标应该能够准确地、正确地反映图 像质量，这将由实验结果来证实。 卜海大学硕十学位论文 2 2 影响图像质量的因素 2 2 1 一般图像的质量影响因素 一幅图像在理想情况下可以认为是无失真的，图像降质主要是因为产生了 各种失真现象。我们需要了解哪些因素导致了图像的降质。 常见的失真原因大致可分为以下几个方面： 1 ) 太阳辐射、大气湍流、云层遮挡等造成的遥感图像失真； 2 ) 携带遥感仪器的飞行器运动的扰动、姿势不正确、成像装置机械扫描不 稳定、地球自转等造成的几何失真； 。 3 ) 聚焦不良造成的散焦模糊； 4 ) 摄像装置和景物的相对运动造成的运动模糊； 5 ) 成像系统的像差、畸变、有限带宽造成的失真； 6 ) 数字化与数模转换造成的失真； 7 ) 底片感光、显示器显示图像时产生的失真； 8 ) 成像系统自始至终存在的噪声- t 扰； 9 ) 图像处理算法( 如压缩) 引入的伪影，如块效应，振铃效应； 1 0 ) 图像传输中的噪声f t 扰。 综合起来，一般常见的失真现象包括几何失真、模糊、随机噪声、结构性 噪声等。对于自然图像而言，最常见的失真现象还是模糊和随机噪声。另外， 图像的对比度太小或太大会使图像的细节不清楚，导致图像的质量下降。 2 2 2 多视点视频系统中影响绘制图像质量的因素 基于图像的绘- $ 1 j ( i m a g e b a s e dr e n d e r i n g ，i b r ) 是近年来国内外计算机图形学 界和计算机视觉界讨论、研究的焦点，它不依赖于几何模型，而是利用一组预 先获得的图像来编码场景，并通过适当的插值来合成位于不同视点的新视 图 1 7 。i b r 首先由a d e l s o n 等 1 8 提出，他们用7 d 全景函数记录空间中任意 位置、方向、时间和波长的光线，用这些捕获的光线描述场景。不考虑时间和 波长的变化，m c m i l l a n 等 1 9 提出了全景模型，通过一些离散点来产生连续的 8 上海大学硕士学位论文 5 d 全景函数。另外，l e v o y 等 2 0 提出光场、g o r t l e r 等 2 1 】提出亮度图等概念， 都是通过对物体和观察者的一些限制将全景函数有效地降低为4 d 函数。而光 线空间方法是一种新的i b r 技术，是对全景函数的另一种参数化表示 2 2 】。 人眼可以根据预先获得的图像特征信息度量虚拟视点的失真程度。以光线 空间绘制技术和基于三维变形的绘制技术为例，本节主要分析这两种方法牛成 的虚拟视点图像的失真原因与失真类型。 2 2 2 1 光线空间数据失真的产生及其对虚拟视点图像质量的影响 光线空间作为3 d 图像的一种数据表示形式，能有效地描述3 d 空间的所有 光线信息。光线空间描述的3 d 图像空间如图2 1 ( a ) 所示，以x y 平面作为参考 平面，对象上任意一点( x ，y ，z ) 穿过参考平面的光线可以用四个参数来惟一表 示：光线与平面的交点( x ，y ) 和方向( 0 ，矽) ，其中p 为光线与z 轴的夹角，矽为光 线与平面x y 的夹角。也就是说，3 d 空间的光线相当于空间( x ，y 0 ，矽) 中的一 点，可以用4 d 函数f ( x ，y ，0 ，矽) 来表示光线的密度信息。如果令 u = t a n o ，y = t a n c o s o ，4 d 函数也可以表示为f ( x ，y ，u ，v ) ，那么x , y 可以表示为 工= x z x u y = y z v ， ( 2 - 1 ) ( 2 2 ) 如果不考虑垂直方向的视差( 矽= 0 ) ，则可以进一步简化为3 d 函数f ( x ，y ，u ) 。 由图2 1 ( a ) 所示的多视点成像系统，得到的3 d 光线空间如图2 1 ( b ) 所示， 第l 5 个竖直切面对应于图2 1 ( a ) 中5 个不同视点的图像，即任意视点绘制只 需对3 d 光线空间进行简单的采样就可获取，其过程非常简单，计算量很小。由 图2 2 ( a ) 所示的多视点图像，得到一个2 d 光线空间s ( y 。) = ( z ，y ，“) ，如图2 2 ( b ) 所示，本文将此横截面称为光线空间片( 简称光片) 。 9 上海大 颐i 位电女 ( a ) 多视点成像系统 ( b 3 d 光线空间 | 璺i2 i 多视点柑机成像与3 d 光线空问 笔。n ( a ) 视点幽像( b ) 光线空间 幽2 23 d 光线空间中的横截面，( y 。，“) 由于光线空间片的相邻行由相邻视点图像的同一行转换而来，光线空间片 的相邻行间的相关性很大，当相邻视点图像距离足够小的时候，可以认为其中 一幅图是另一幅图位移所得的图像，因此，如图2 2 ( b ) 所示，光线空间片具有 很强的方向性。 进一步的由式( 2 1 ) 和式( 2 2 ) 可总结出光线空间片的两个重要特征 1 6 】： ( 1 )对于平行相机系统，穿过某一视点的光线在光线空问中的轨迹为一 条直线； ( 2 ) 从物体表面l ：一点发出来的光线在光线空间 卜的轨迹也为一条直 线。 在基于光线空间方法的自由视点视频( f w ) 实现中，光线空间插值是关 键技术之一。术文以由吲定方向插值、双线性插值、最邻近插值所得光线空间 l ：坶太学l 卞也论z 片为研究对象，发现不同插值方法所得光线室问会出现不同程度的锯齿效应 如图23 所示： ( a ) 原光线空间片 ( b ) 州定方向插值所得光线空间片 ( c ) 烈线性插值所得光线空问片 ( d ) 蛀邻近插值所得光线空间片 凹2 3 不同插值方法所得光线宅间 由图2 3 我们发现，插值所得光线空问会因h 现不同程度的边缘锯齿效应， 导致视觉质量下降。降质的光线空间所牛成的视点剖像质量必然会受到影响， 要表现为以f 几方面：1 ) 与邻近视点比较，没有产牛位移，表现为两视点图 像的位置差值为0 ，两视点差值幽像册直方图为0 如图2 4 ( b ) f 衍, f i ，图24 ( b ) 中州图像为相邻视点的差值陶像，右边为差值图像的直方图：2 ) 图像出现模糊 如罔2 4 ( a ) 所示。 f b ) 嫔匀：近插仳所褂空词乍成的祝 像，p s n r2 22 3 h2 4 插彳冗所得光线卒叫生成的州点幽像质姑 2 222 琅】维坐形的绘制技术乍成的幽像质量问题 丝于t u 见血的深度信息，视点可变的= 维变换i b r 绘制技术将参考l 剖像重 投影剑新视点罔像平向上。7 # 具何正确遮挡关系的h 枷、图像。它呲rr 用，、 更人的自巾度，使虚拟漫游型富真实感。f h h 时，视j i 移动【! 王为基j 一- r 址j 深 度信n 的投影变形带米丁o ；问题，即在所牛成的州司i m l 上町能存在窄洞 f h o l e ) , f l l 刷敏( f o l d ) 。 1 窄洞问题 枞j i 移动产牛的，卜个n 0 题是审洞问题，这也足视点移动的i b r 技术叶 的 难点，披牵涮产牛f f j 燎闻人敛可将空i 1 分为两黉：山于一u 地j j 物“屏幕上的投影 区域扩张r ( r 】引起的空洲和m 于毓物f 由川址r ：投7 r 变化帅【起的空洞。 ：海大学硕十学位论文 ( 1 ) 区域扩张而产生的空洞 n i n 2 5 所示，第一类空洞是由于可见景物在目标图像，。平面几上的投影区 域扩张而引起的。如视点前移，或物体表面法向与新视线所成的角度明显变小， 都可产生这类空洞。 图2 5 由于投影区域扩张而引起的空洞 通过插值相邻像素的色彩或插值相邻像素在源图像中的偏移向量可以填补 第一类空洞。 ( 2 ) 可见性变化而产牛的空洞 第二类空洞是由于景物的可见性发生变化而引起的。如图2 6 所示，相互遮 挡的非连续物体表面，在视点从c ，移动到c 。后，原本被遮挡的部分由不可见 变为可见( 见图2 6 中被遮挡部分) 。 被遮挡 图2 6 由于景物的变化产生的空洞 沸大学ml 论i 通常填补第二类空洞的方法是，由多幅不同视点下的参考图像来合成新视 点目标图像，但多幅参考罔像使得算法开销成倍增长，计算量大大增加。有时 在视点改变不大的情况下，也可用处理第一类空洞的方法来近似填补第二类空 洞。总之，空洞的填补是一个非常复杂、耗时的过程。 图27 ( a ) 为基于深度绘制牛成的带空洞的虚拟视点图像，图27 f o ) 为通过插 值相邻像素的色彩填补图27 ( a ) 中带空洞图像卡成的虚拟视点图像，罔27 ( c ) 是 通过图像复原填补图2 7 ( a ) 中带空洞罔像而生成的虚拟视点图像。从图27 ( b ) ，( c ) 可看出填充效率将严重影响各中间画面牛成的质量。 一 “) 基丁深度绘制生成的带空洞的虚拟视点酗像 鬻雄一 l ：海大学碰f ：学也论女 m 1 通过插值填补幽7 ( a ) q a 带空洞幽像而生成的虚拟视点h 像 ( c ) 通过幽像复原填补圈7 ( a ) 中带空涧图像哳申成的虚拟视点幽像 蚓2 7 萆丁深度绘制生成的带空洞的虚拟视点倒像及不同空洞填补算法，上成的虚拟视 点幽像 2 褙皱问胚 由于视点移动时，窄间点在图像上的投影与空间点的深度有关，不同的像 素在图像、f 而卜的位移井h i 相同，它并_ = f i = 是简单的一映射，事实r 那些参考 上海大学硕1 ：学位论文 图像中原本同时可见的物体表面在视点改变时会发生相互遮挡，因而从参考图 像( 设为，( z ，少，) ) 到所生成目标图像( 设为，。( x ，y 。) ) 的正向映射是一个多对 一的映射，这就是视点改变所引起的褶皱问题。其情形如图2 8 中所示，由于当 视点移动到c 。时，空间点q 遮挡了点p ，因此参考图像像素p ，g ，映射到目标 图像同一个点g 。，从而引起褶皱的产生。 p 图2 8 褶皱问题的产生 图2 9 ( a ) 为基于图像的快速绘制技术生成的有褶皱问题的图像，图2 9 ( b ) 为深度值修正后的绘制图像。从图2 9 ( a ) 和图2 9 ( b ) 可以看出，褶皱 问题会使得绘制生成的图像出现不同程度的中间缝隙，而导致图像有不同程度 的降质。 1 6 h2 9 ( a ) 坫r l 笨度绘制牛成的订栅铍问趔的幽像 【划2 9 ( b ) 修l l 后n l 刳像 l 纠2 9 丝r i g 像彰哺0 牛戚n 订研，破问题的l 刳像段修正后的削像 2 3 本章小结 小章t 世l t 论了无参考| 划像评价方法n 0 评价准则，抖以兀参考l 剞像质艟汁 价方法为琏础，总结r 一般| 萼| 像的失真娄弘和原，进i h j 刈多枞j 。 w 频系统一i 的绘制钭像的火真类型和膀l 川进什了分析，使社；尤参考h 像质 t 纠价方法可以 川米讦价绘= | j l _ 牛成的虚拟视j 。- 闭像。 上海大学硕士学位论文 通过以上各小结的分析，可以发现虚拟视点图像主要受以下各因素的影响： 1 ) 光线空间数据的失真造成了虚拟视点图像视觉效果的下降； 2 ) 视点移动导致基于图像绘制技术生成带空洞和褶皱的图像。 上海大学硕士学位论文 第三章基于光线空间的虚拟视点图像质量评价 在以光线空间表示的f t v 系统中，从现实的