（通信与信息系统专业论文）基于h264mvc可分级立体视频压缩编码.pdf

中文摘要 人们对视频享受的要求一直在不断提高，从黑白电视发展到彩色电视，又从 模拟电视发展到高清晰数字电视，下一次变革将从平面电视发展到立体电视。立 体视频需要存储或者传输的数据量非常庞大，必须对原始视频数据进行压缩。因 此，研究高速、高效、高质量的立体视频压缩算法具有较大的实用价值。 联合视频专家组正在积极研究开发h 2 6 4 的扩展集，其中包括多视点视频编 码m v c 。m v c 继承了h 2 6 4 优异的性能：高质量的编码效率，自由的编码结构， 以及良好的网络亲和性，同时m v c 还增加了时间的可分级性，视点的可分级性 以及光照补偿，视点间预测，分层次b 帧等编码工具。由于立体视频是一种特 殊的多视点视频，所以m v c 非常适合应用于立体视频的压缩。 本文首先概括叙述了立体视频的发展历史以及立体视频压缩编码的研究成 果，然后，从人获得立体感的原理开始剖析，并从不同的角度，建立了两个数学 模型，得到视差随着距离变化的曲线。接着，详细阐述了基于d a v i n c id m 6 4 4 6 开发平台的立体视频播放器的设计原理，由于系统资源的限制，只有经过压缩的 立体视频才能满足实时播放的要求。通过深入研究h 2 6 4 压缩编码以及m v c 压 缩编码，针对立体视频的特点，提出了三种改进的m v c 编码结构。最后，给出 了基于视差峰值信号与噪声比d p s n r 的立体感客观评价指标，来测试五个精心 设计的立体视频实验。 实验结果表明：三种改进的编码结构在可分级性能上都比原始编码结构好。 对于多视点立体视频，各种素材的率失真曲线都表明：结构3 的编码性能比原始 的m v c 编码结构好。 关键词：立体视频h 2 6 4 视差峰值信号与噪声比多视点视频编码可分级 a b s t r a c t v i d e oq u a l i t yh a sb e e nd e v e l o p e df r o mb l a c k - a n d - w h i t et vt oc o l o rt v , f r o m a n a l o gt vt oh d t v t h en e x tg e n e r a t i o no fv i d e om i l e s t o n ew i l lb em u l t i v i e w t h r e e d i m e n s i o n a lt v w h e ni tc o m e st ot a l ka b o u ts t e r e ov i d e ot r a n s m i s s i o no r s t o r a g e ，l a r g ev o l u m eo ft h eo r i g i n a lv i d e od a t an e e d st ob ec o m p r e s s e dt os a v eb i t s t h e r e f o r e ，i t so fg r e a tv a l u et os t u d yh i g h - s p e e d ，h i g h - e f f i c i e n c ya n dh i g h - q u a l i t y s t e r e ov i d e oc o m p r e s s i o na l g o r i t h m j o i n tv i d e ot e a mi sr e s e a r c h i n go nt h ed e v e l o p m e n to ft h eh 2 6 4e x t e n s i o n i n c l u d i n gm u l t i v i e wv i d e oc o d i n g ( m v c ) m v ci n h e r i t sh 2 6 4 se x c e l l e n tf e a t u r e s w h i c ha r eh i 曲一q u a l i t yc o d i n ge f f i c i e n c y , f r e ec o d i n gs t r u c t u r ea n d9 0 0 dn e t w o r k c o m p a t i b i l i t y b e s i d e s ，s e v e r a ln e wc o d i n gt o o l ss u c ha st e m p o r a ls c a l a b l es t r u c t u r e ， v i e w p o i n ts c a l a b i l i t y , i l l u m i n a t i o nc o m p e n s a t i o na n dh i e r a r c h i c a lbp i c t u r e sa r e i n t r o d u c e di nt h em v cs t r u c t u r e i nf a c t ，t h es t e r e ov i d e oi sas p e c i a lt y p eo f m u l t i v i e wv i d e o o b v i o u s l y , m v ci sp e r f e c t l ys u i t a b l ef o rs t e r e ov i d e oc o m p r e s s i o n f i r s t l y , t h ed e v e l o p m e n th i s t o r yo fs t e r e ov i d e oi ss u m m a r i z e di nt h ef i r s tc h a p t e r s e c o n d l y , p r i n c i p l e so fs t e r e o s c o p i ep e r c e p t i o na r ee x p o u n d e d , a n dt w om a t h e m a t i c a l m o d e l sa r ee s t a b l i s h e di no r d e rt oi l l u s t r a t et h er e l a t i o n s h i pb e t w e e n3 ds e n s ea n d d i s t a n c e t h i r d l y , e v e r yd e t a i li se x p l a i n e da b o u tt h ed e s i g no fs t e r e ov i d e op l a y e r b a s e do nd a v i n c i t md m 6 4 4 6 b e c a u s eo ft h es y s t e ml i m i t a t i o n s ，i t si m p o s s i b l et o b r o a d c a s ts t e r e ov i d e oi nr e a l - t i m ew i t h o u tc o m p r e s s i o n t h u s ，t h r e en e wm v c c o d i n gs t r u c t u r e sa r ep r o p o s e da f t e rt h es t u d yo fh 2 6 4 ，m v ca n dt h ec h a r a c t e r i s t i c s o fs t e r e ov i d e o f i n a l l y , an e wo b j e c t i v ee v a l u a t i o no f3 ds e n s eb a s e do nd p s n r ( d i s p a r i t yp e a ks i g n a l - t o - n o i s er a t i o ) i sr a i s e dt oe v a l u a t et h ec o d i n gp e r f o r m a n c eo f t h ef o u rs t r u c t u r e sb ym e a n so ff i v ew e l l d e s i g n e ds t e r e ov i d e oe x p e r i m e n t s t h ee x p e r i m e n t s r e s u l t si n d i c a t e 也她c o m p a r e dw i t ht h eo r i g i n a ls t r u c m r e ，t h e c l a s s i f i c a t i o np e r f o r m a n c ei si m p r o v e di nt h et h r e en e w d e s i g n e dc o d i n gs t r u c t u r e s i t sa l s op r o v e db yt h er a t e - d i s t o r t i o nc l f v e st h a tt h ec o d i n gp e r f o r m a n c eo ft h et h i r d c o d i n gs t r u c t u r ei sb e t t e rt h a nt h eo r i g i n a lc o d i n gs t r u c t u r e k e yw o r d s ：s t e r e ov i d e o ，h 2 6 4 ，d p s n i lm v c ，s c a l a b l ev i d e oc o d i n g 缩略语 3 da v 3 dt v a l u a p i a s p a v c a c a b a c c a v l c c c d c c d c d c t d m s e d p s n r d v e v m d d c e m i f a f g s f v t g m c g o g o p g o p h d t v h m d h v s 1 2 c i c i c a m c n 小仆僵 肌 缩略语 3 da u d i o - v i d c o t h r e e d i m e n s i o n a lt e l e v i s i o n a r i t h m e t i cl o g i cu n i t s a p p l i c a t i o np r o g r a m i n t e r f a c e a u d i os e r i a lp o r t a d v a n c e dv i d e oc o d i n g a u d i o n i d e oi n t e r l e a v e d c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g c o n t e x ta d a p t i v ev a r i a b l el e n g t hc o d i n g c h a r g ec o u p l e d d e v i c e s c c dc o n t r o l l e r d i s c r e t ec o s i n et r a n s f o r m d i s p a r i t ym e a ns q u a r e de r r o r d i s p a r i t yp e a ks i g n a l - t o - n o i s er a t i o d i g i t a lv i d e oe v a l u a t i o nm o d u l e d i g i t a lv i s u a li n t e r f a c e d i f f e r e n c ev a l u eo fi l l u m i n a t i o nc h a n g e a s y n c h r o n o u se x t e m a lm e m o r yi n t e r f a c e f i n eg r a i ns c a l a b i l i t y f r e ev i e w p o i n tt e l e v i s i o n g l o b a lm o t i o nc o m p e n s a t i o n g r o u po fg r o u po fp i c t u r e g r o u po f p i c t u r e s h i 曲d e f i n i t i o nt e l e v i s i o n h e a dm o u n t e dd i s p l a y h u m a nv i s i o ns y s t e m i n t e ri n t e g r a t e dc i r c u i t i l l u m i n a t i o nc o m p e n s a t i o n i l l u m i n a t i o nc h a n g e a d a p t i v em o t i o nc o m p e n s a t i o n j o i n tm u l f i v i e wv i d e om o d e l j o i n tv i d e ot e a m 1 1 5 缩略语 l c d l g n m c m d i o n 匝 m e r l m i p s m m u s m p e g m rs a d m s e m v c m v p n a l o p e n d m l o s d p d m p 弧 p w m q p q p s k r i f f i u s c r m s a d s s e t s v c e g v c l n c v i c p v l c v p b e v p f e l i q u i dc r y s t a ld i s p l a y l a t e r a lg e n i c u l a t en u c l e u s m o t i o nc o m p e n s a t i o n m a n a g e m e n td a t ai n p u t o u t p u t m o t i o ne s t i m a t i o n m i t s u b i s h ie l e c t r i cr e s e a r c hl a b o r a t o r i e s v e r yl o n gi n s t r u c t i o nw o r d m e m o r ym a n a g e m e n tu n i t s m o v i n gp i c t u r ee x p e r t sg r o u p m e a n r e m o v e ds a d m e a ns q u a r e de r r o r m u l t i v i e wv i d e oc o d i n g m u l t i - v i e wp r o f i l e n e t w o r ka b s t r a c t i o nl a y e r o p e nd i g i t a lm e d i a o n - s c r e e nd i s p l a ye n g i n e p e r c e p t u a ld i s t o r t i o nm e t r i c p e a ks i g n a l - t o - n o i s er a t i o p u l s ew i d t hm o d u l a t o r q u a n t i z a t i o np a r a m e t e r q u a d r i p h a s es h i f tk e y i n g r e s o u r c ei n t e r c h a n g ef i l ef o r m a t r e d u c e di n s t r u c t i o ns e tc o m p u t e r r e a lm e d i a s u mo f a b s o l u t ed i f f e r e n c e s s u mo fs q u a r e dd i f f e r e n c e s t e m p o r a ls c a l a b i l i t y v i d e oc o d i n ge x p e r t sg r o u p v i d e oc o d i n gl a y e r v i d e oe n c o d e r v i d e o i m a g i n gc o - p r o c e s s o r v a r i a b l el e n g t hc o d e ， v i d e o p r o c e s s i n gb a c k e n d v i d e op r o c e s s i n gf r o n t - e n d 1 1 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位做储躲走足叼签字眺渺7 年石月7 日 学位论文版权使用授权书 本学位论文作者完全了解丞鲞盘堂有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 意删 、j 签字日期：加p 7 年占月7 日 导师签名： 滚窬声 签锢期：唧年月f 日 第一章绪论 第一章绪论 电视被世人公认为二十世纪最伟大的发明之一，已经有一百多年的历史了。 它的发明实现了人类近距离实时欣赏世界的梦想。虽然它再现了大部分重要的视 觉信息，但是，即使在显示屏前面改变观看电视的角度，人们看到的仍然只是同 一幅图像，这与人在真实世界的视觉体验完全不同。首先，在平面电视里，用户 只能获得三维世界的一个视点，这个视点的选择不取决于用户，而是取决于摄像 机所拍摄的角度；其次，目前的电视只能提供“用一只眼睛看世界”的感觉，即 电视显示的内容是二维平面视频。虽然技术日新月异，但是电视单视点、二维图 像的局限性一直没有得到根本性的改变【l 】。 1 1 立体视频的研究背景 人们获取信息最高效的途径就是依赖平行地长在前额下方的那双眼睛，由于 眼睛看到的是自然界中真实的三维景物，因此，能够再现这种三维景物的立体感 一直是人们梦寐以求的理想。有一种新型的电视正在诞生，立体电视( 3 dt v ) ， 它与现在主流的平面电视最主要的区别就是：立体电视能够显示场景中的深度信 息，只要有一对具有视差的图像分别进入人的左右眼，人们就能感受到场景中真 实的立体感。 人们在观看真实的三维世界时，不仅能看到物体的宽度和高度，而且能感知 它的深度，能判断出物体之间或观看者与物体之间的距离。产生这种三维视觉特 性的主要原因之一是：人们通常总是用双眼同时观看物体，由于两只眼睛视轴间 距约为6 5 毫米【2 1 ，左、右眼在观察物体时，所看到的视觉图像是有差异的，因 而大脑综合了这两幅图像的差异，从而产生立体感。 立体电视能使人获得十分诱人的视觉享受。然而，要让千家万户都享受到立 体感带来的美妙体验，迫切需要一条崭新的立体视频产业链【3 】( 图1 1 ) ，其中包 括立体视频的采集制作、存储、编码、解码、传输控制、立体显示等等【4 】。并且， 这条新兴的产业链最后能够兼容原有的平面视频产业链，以满足过渡时期不同用 户的需求。立体电视的产业化还有很多工作要研究，例如，二维视频源到立体视 频的转换，立体视频制作方法的研究，人眼视线跟踪算法，立体视频的合成算法 5 1 ，立体视频的编码解码等等。 第一章绪论 3 d 视频 一i 解2 码器l7li 2 。t v 采集制作 数字视频 广播网络 3 d t v 解码器 3 d t v 计算机制作 立体 视频 3 d 视频 编码 一绋显示i n t e r n e t 电脑 州 2 d 到3 d 视频l 一 6 0 0 - 2 0 ll + y = - 1 0 1 9 ( l ) 一 ii ： l t 1 、 、 i i i 1 02 0 04 0 06 0 08 0 0 1 0 1 2 0 01 4 0 01 6 0 0 l 单位；m 图2 8 基于双眼视差的立体感随距离变化曲线 0 o 0 0 0 o 0 0 0 砷 柏 劬 鲫 砌 砌 第二章人眼的结构和特性 图中缸的绝对值随着l 的增大，迅速增大，这就说明：离眼睛越远的物体， 所需要的立体视觉阀值越大。而y 可以用来代表基于双眼视差立体感的分贝值。 图2 8 表明：物体越近，由双眼视差而产生的立体感也就越强烈。 为了从另一个角度研究立体感随着距离变化的关系，首先要模拟出人们用双 眼观看物体时，物体与参考平面到观看者双眼之间的距离关系，利用这种关系推 导出，在什么距离的限制之内可以判断两个点或影像的深度差异，也就是说，在 不同距离情况下，双眼观看视差立体感的能力有多大t 4 3 1 。 a la r p p 7 令x y ji a jl c c l d r 1r 1r 图2 - 9 人眼与显示屏幕的距离为x 图2 - 9 中，a 代表位于参考平面p p 前方的物体，l 与r 为观看者的左、右 眼。当左眼紧闭时，右眼会看到物体a 投影到p p 平面的像a r 同样道理，左 眼l 会看到投影至p p 平面的像a l ，当双眼分别看到p p 平面上的像素a l 与a r 时，双眼会感受到立体影像a 显示在p p 平面之前。 而当观看者的距离不同时，使得a l 与a r 两点的距离发生变化。当观看近处 的物体时，a l 与a r 两点距离较大，而使得物体有较大的深度感；而当距离较远 时，a l 与a r 两影像几乎落在同一点上，则物体a 只呈现平面的影像，立体感也 会消失。因此，投影至参考平面的双眼影像a l 与a a 之间的距离关系是产生立 体影像的重要指标之一。 假设e 为投影a l 与a r 之间的距离，d 为双眼的距离，x 为双眼到参考平面 p p 的距离，y 为双眼到物体a 的距离。根据相似三角形理论，有： ed - - - - - - - - - 一= ：一 x yy ( 2 8 ) 第二章人眼的结构和特性 ex y x ， 一= 一= 一一l dyy ( 2 9 ) 对于正常的眼睛，当两个点的间距与观看者距离所夹的角度曰小于1 0 ”时， 人眼无法区分它们位置， e ：彳p ：承旦秒 3 6 0 把等式( 2 1 0 ) 代入等式( 2 9 ) ，得到： 卜研x 把p = 1 0 。，d - - 6 5 毫米代入等式( 2 1 1 ) ，则关系式可以写成： 整理等式( 2 1 2 ) ，得到： ( 2 1 0 ) ( 2 1 1 ) 三：x f 望卫1 ：墨一1 ( 2 1 2 ) d l3 6 0dj y 】，： 垄 1 + 0 0 0 0 7 4 6 x ( 2 1 3 ) 等式( 2 1 3 ) 表示：当观察者离参考平面x ，离物体的距离为y 时，则双眼 所能产生的立体感开始消失，虽然物体a 位于参考平面p p 前方( x y ) 的位 置，但是，眼睛所能感到的物体a 只是一个平面影像而已。 从这个等式中也可以推算出眼睛所能感受到立体感的最远距离，当直线l a l 与直线r a r 没有交点时，眼睛便不能对物体a 产生立体感。此时x = 0 0 ，代入 等式，可以求得y = 1 3 4 0 4 8 米，只要双眼与物体距离超过1 3 4 0 4 8 米，人眼就 不能感觉物体的立体感，而影像会仿佛显现在x y 区间上的任何一个平面。把 x y 这段距离称为无立体感区域，在这段距离中，所呈现的影像是平面的，没 有立体感的，因此，x y 的距离越大，能感受到立体感的有效距离越小。表2 1 为等式( 2 。1 3 ) 的计算结果。对于某一个物体，眼睛能看清影像的最近距离为l 米，从表2 - 1 中可以看出，能够有效产生双眼视差的范围是0 9 9 9 2 5 5 米之内的距 第二章人眼的结构和特性 离，而在1 米的距离处，是可以感受到0 5 毫米的深度，这大约是印币表面立体 花纹的厚度。当眼睛离物体越近，立体感也越强。当然，这个数学模型的结果还 有不合理的地方，主要是体视锐度为1 0 ”，这个极限可能随着距离也发生变化。 表2 1 立体感与距离的关系 观看者与产生双眼视差参考平面上两投不能产生双眼有效立体感 参考平面立体感的有效影像a l 与a r 的视差的区域与距离的比 的距离x ，距离y ，距离e ， x y ， 率y x ， 单位：米单位：米单位：米单位：米单位： 0 10 0 9 9 9 9 30 0 0 0 0 0 4 8 4 97 4 5 9 4 4 e 0 69 9 9 9 2 5 4 1 0 9 9 9 2 5 5 0 0 0 0 0 4 8 4 90 0 0 0 7 4 5 4 4 49 9 9 2 5 4 6 1 09 9 2 5 9 5 20 0 0 0 4 8 4 90 0 7 4 0 4 7 6 0 59 9 2 5 9 5 2 2 019 7 0 5 9 90 0 0 0 9 6 9 80 2 9 4 0 1 3 3 2 19 8 5 2 9 9 3 3 02 9 3 4 3 3o 0 0 1 4 5 4 70 6 5 6 7 0 2 9 8 79 7 8 1 0 9 9 5 04 8 2 0 2 0 60 0 0 2 4 2 4 51 7 9 7 9 3 6 9 5 29 6 4 0 4 1 3 1 0 09 3 0 5 7 8 80 0 0 4 8 4 96 9 4 2 1 1 7 9 9 79 3 0 5 7 8 8 5 0 03 6 4 1 6 6 l0 0 2 4 2 4 51 3 5 8 3 3 9 4 0 37 2 8 3 3 2l 1 0 0 05 7 2 7 3 7 70 0 4 8 4 94 2 7 2 6 2 3l3 95 7 2 7 3 7 7 1 3 4 0 4 8 。0 0 * “ 魍 ：番 - x单位：米 图2 1 0 立体感随着距离变化的曲线 第二章人眼的结构和特性 图2 1 0 中，横坐标是观察者与物体的距离，左边的纵坐标是产生双眼视差立 体感的有效距离y ，右边的纵坐标是有效立体感距离y 与眼睛和物体距离x 的 比率，蓝色虚线是y 随着x 变化的曲线，红色实线是y x 随着x 变化的曲线。 从图中可以看出，立体感随着人与物体的距离的增大而快速下降，这个数学模型 的结论与根据物理光学的衍射定律建立的视差模型所得到的结论完全一致。 2 5 小结 本章从眼睛的生理解剖学结构开始分析，接着又从神经学、物理光学和心理 学角度阐述了人眼产生立体感的各种原因，最后建立了两个数学模型，用不同的 方法从不同的角度，证明了同一个结论：距离越远，视差立体感越小。这也就是 为什么许多优秀的立体视频压缩算法都是先提取视频中景物深度信息的原因。对 不同深度的景物，采用不同编码质量的来表达。显然，近处的景物立体感很强， 应当使它的编码质量最好，而远处的立体感较差，可以适当降低图片质量，甚至 用相邻视点的景物平移后替代之削。 第三章基十d a v i n c id m 6 4 4 6 的立体视频址示系统 第三章基于d a v i n c id m 6 4 4 6 的立体视频显示系统 d m 6 4 4 6 芯片是第一代d a v i n c i 数字视频处理器本章将详细介绍基于t i 逃 芬奇技术的立体视频播放器的设计原理。 3 i 立体视频的系统构成 整个立体视频系统由立体视频的采集、合成和显示三个部分组成。 多视点立体视频是利用九台摄像机采用会聚摄像法拍摄某一场景。同时采 集九个不同视点的图像( 图3 1 ) 。这九台摄像机的参数都是精确配置的，各摄像 机参数之问的差异达到可以忽略不计的程度：它们对准场景的同一个关注点：九 台摄像机处于同一水平面上每两部摄像机镜头光心之问的距离相当于人眼注视 该关注点时，两颗眼珠中心之问的距离。这样拍摄的结果是每两部相邻的摄像 机之间的视频流共同组成一对具有人艰标准视差的立体视频流，利用特殊的方 法把左摄像机的= ! l l 频显示给左眼，右摄像机的视频显示给右限，观看者就能从 这对立体视频流中获得景物的立体感。 图3 1 立体视频的采集 第三章基于d a v l n c id m 6 4 4 6 的立体视频显示系统 立体视频的显示设各是在高分辨率l c d 显示屏幕的外表面，安装倾斜的平 行细棱镜柱面( 液晶屏幕右下角放大图像见图3 - 2 ) 利用棱镜柱对像黍r g b 光 线的折射作用把各个视点的光线分别折射到对戊的区域( 图3 - 3 ) 。 口 罔3 - 2l c d 显带屏幕前表面倾斜的平行细棱镜柱面 图3 - 3 棱镜柱面的横截面和各个视点r g b 像素的排列方式 把九个视点的视频流按照一定的算法合成为一个立体视频流，即把同一时刻 九幅图像的r g b 像素，根据倾斜棱镜柱面的规律排列，以圈3 - 3 为例，这一行 显示的像素从左到右依次为：视点l 的r 像素，视点3 的g 像素，视点5 的b 像素，视点7 的r 像素视点9 的g 像素因为倾斜棱镜与l c d 显示屏幕的 垂直边缘的夹角为2 l5 。所以下一行显示各视点的像素肯定是另一种排列规律。 文献 4 s e “j 4 h 详细阐述了这种规律文献【8 】阳悭出了一种抗锯齿的立体视频显示 的优化方案。 在显示屏幕前面恰当距离的地方，当且仅当左摄像机的视频映入左眼，右摄 像机的视频映入右眼，观看者才能获得立体感( 图3 _ 4 ) ，这个区域就是立体视频 观看区域。当左、右眼同时处于同一视频区域，或者当左视频映入右眼，右视频 第三章革j 1d a v i n e id m 6 4 4 6 的立体视频显示系统 映入走眼( 如人体倒立着观看视频，或者因为立体视频源在制作过程中把桃点的 排列顺序颠倒) 的情况下，观看者不能获得视频的立体感。因此这种立体视频 显示器对观看者的观看位置有比较严格的要求。 圈3 - 4 棱镜柱l a 】对各个视点视频光线折射形成的立体视频观看区域 立体视频的处理器是采用t i 公司的d a v i n c id m 6 4 4 6 多媒体数字信号处理芯 片来完成的。系统按照以下的流程运行：在m o n t a v i s t a l i n u x 环境下执行的视频 播放i 懂用程序从硬盘中读取已经制作好的立体视频数据，提取其a v i 头文件信 息，获得每一帧视频数据的地址然后依次读取视频序列判内存的帧缓冲 ( f m m e b u f f e r ) 单元最后通过d v i ( d i g i t a lv i s u a li n t e r f a c e ) 接1 ：3 把视频数掘 传送给l c d 显示器，系统就完成了立体视频显示的功能。 3 2d a v i n c id m 6 4 4 6 的结构特点 t i 公司的d a v i n e i r m 技术是数字视频处珥| 领域的领头羊。d a v i n c i 技术的先进 性不仅仅在于它强大的功能和可靠的性能，更因为它集成了包括硬件、软件、开 发工具在内的一套完整的解趺方案。d a v i n c i 技术是基于一种双梭处理器的架构， 每块芯片都含有一个a r m 核心和一个业界最高性能的d s p ( d i g i t a ls i g n a l p r o c e s s i n g ) 1 m s 3 2 0 c 6 0 0 0 系列的d s p 。d a v i n c i 技术大大加速了数字视频 应用的创新它被广泛应用于可视电话、工p 机顶盒、移动多媒体播放器、数字 照相机、视频监控、医疗成像、网络视频等领域。 d m 6 4 4 6 芯片是第一代d a v i n e i 趾理器【州，它的双核结构包括：t l 高性能的 t m s 3 2 0 6 4 x + 1 m 系列d s p 和a r m 9 2 6 e j s 处理器，同时它还集成了视频加述器， 网络外围设备手外围存储设备接口等模块。a r m 9 2 6 e j s 是一个3 2 位精简指令 集( r i s c ：r e d u c e d i n s t r u c t i o ns e t c o m p u t e r ) 的处理器，它能够执行3 2 位或1 6 第三章基于d a v i n c id m 6 4 4 6 的立体视频显示系统 位的指令，处理3 2 位、1 6 位或8 位的数据。处理器采用流水线结构，因此处理 器和存储系统能够连续工作。同时a r m 核心还集成了协处理器，保护模块，数 据和程序存储器管理单元( m m u s ：m e m o wm a n a g e m e mu n i t s ) ，1 6 k b 指令高 速缓冲存储器和8 k b 数据高速缓冲存储器。 1 m s 3 2 0 c 6 4 x + 删d s p 是1 m s 3 2 0 c 6 0 0 0 俐系列d s p 中性能最好的定点d s p 。 它采用第二代高性能的超长指令( v l i w ：v e r yl o n gi n s t r u c t i o nw o r d ) 体系结构， 因此这种处理器非常适合数字多媒体应用。当时钟速率为5 9 4 m h z 时，它每秒能 处理高达4 7 5 2 百万个指令( m i p s ：m i l l i o ni n s t r u c t i o n sp e rs e c o n d ) 。c 6 4 x + d s p 处理器有6 4 个3 2 比特长的通用寄存器和8 个独立功能单元两个3 2 位结果 的乘法器，六个算术逻辑单元( 6 u l u ：a r i t h m e t i cl o g i cu n i t s ) 。8 个功能单元包 含提高视频和图像应用程序性能的指令。d m 6 4 4 6 采用双层高速缓冲单元的结 构。第一层程序缓冲单元( l i p ) 是一个2 5 6 k 比特直接映射高速缓冲存储器， 第一层数据缓冲单元( l 1 d ) 是一个6 4 0 k 比特双向联合设置的高速缓冲存储器。 第二层缓冲单元( l 2 ) 包含一个程序和数据共享的5 1 2 k 比特存储空间。l 2 缓 冲单元可以被配置为映射的存储器，高速缓冲存储器或两者兼有。 视频图像 枧频处理子系统j t a g 接口 协处理器( v i c p ) ( v i d e op r o c e s s i n gs u b s y s t e m v p s s ) 系统控制a r n 子系统d s p 子系统 视频前端( v p f e )视频后端( v p b e ) h l ，c l o c k a r l 9 2 6 e j sc 6 4 x + t md s p 3 0 0 m h zc p u8 0 0 - n h zo o r e v i d e op r o c e s s i 他 b a c k e n d k - e o i e n s d smf 产生嚣 f r o n t - e n d 工作状态 1 6 船l8i 毋 6 4k b1 2r a n l1 甫形-i 控制器 i - c a c h e t s - c a c h e c 控制薯“”o r p s c r e e n视频端1 1 1 1 u 0 b 。”0 a ”甜, - ，p 1 6k br a n 3 2i m i8 0 k b 视频接口柱状圉3 d i s p i a y ( v e n c ) 【1 0 bd a q - 謇 ( o s d ) 引脚复用 1 6k br 0 1 1 l 1p b l l id i r t a l 预览 1 1 0 bd “- 零零零参 s w i t c h e dc t r i ir e s o u r c e ( s c r ) 令 外部设鲁 连通性系统 u s b h e c 全局l 看门狗 葡 e 嘣 w i t h 时钟i 2 0 d 1 0 围圈串宙匾圈西钿f l a 图3 5d m 6 4 4 6 芯片的体系结构 d m 6 4 4 6 具备特殊的硬件逻辑，片上存储单元和其它附加的片上外围设备接 口。外围设备包括：2 个可编程的视频口，一个带有数据输入输出管理( m d i o ： m a n a g e m e n td a t ai n p u t o u t p u t ) 功能的10 10 0 v l b s 以太网( e m a c ) ，集成1 2 c ( i n t e ri n t e g r a t e dc i r c u i t ) 总线接1 2 1 ，一个音频串行端1 2 1 ( a s p ：a u d i os e r i a lp o n ) ， 8 嬲巩 岫 黑黟掣岍旷c盯叫卜州 “铀w ， 第三章基于d a v i n c id m 6 4 4 6 的立体视频显示系统 两个“比特通用定时器，三个u a r t 接口，三个脉宽调制器( p w m ：p u l s ew i d t h m o d u l a t o r ) ，一个异步外部存储器接口( e m i f a - a s y n c h r o n o u se x t e r n a lm e m o r y i n t e r f a c e ) ，和一个高速同步d d r 2 存储器接口。d a v i n c i 丰富而完善的外围设备 接口使它能够十分方便地控制外围设备，以及和外部处理器通信 视频处理前端( v p f e ：v i d e op r o c e s s i n gf r o n t - e n d ) 包括( c c d ：c h a r g e c o u p l e dd e v i c e s ) 控制器( c c d c ：c c dc o n t r o l l e r ) ，预览器( p r e v i e w e r ) ，柱 状图模块，自动曝光、白平衡、聚焦模块( h 3 a ) 和成形模( r e s i z e r ) 。c c d c 能够与普通的视频解码器，c m o s 传感器和电荷耦合器件相连。预览器实时地从 c m o s 传感器上获取原始图像数据，把它们从r g b 格式转换成为y u v 4 2 2 格式。 柱状图和h 3 a 模块提供了关于原始色彩数据的统计信息。成形模能够在一定限 度内放大或缩小图像的尺寸。 视频处理后端( v p b e ：v i d e op r o c e s s i n gb a c k e n d ) 由屏幕显示驱动( o s d ： o n s c r e e nd i s p l a ye n g i n e ) 和一个视频编码器( v e n c ：v i d e oe n c o d e r ) 组成。 o s d 驱动能同时处理两个视频窗口和两个o s d 窗口。v e n c 提供四个采样速率 可达5 4 m h z 的d a c 模块，能够输出n t s c 、p a l 视频，s 一视频和其它格式的 视频输出。同时v e n c 也能够支持2 4 比特数字输出接口到r g b 8 8 8 格式的设备 上。 为了适应编码过程中巨大的运算负荷，视频处理前端能够捕获各种数字视频 格式，这样就大大避免了因格式转换而消耗的系统资源；而视频图像协处理器 ( v i c p ：v i d e o i m a g i n gc o - p r o c e s s o r ) 也能够为d s p 分担许多视频和图像处理 的任务。 综上所述，作为下一代嵌入式多媒体处理芯片，d m 6 4 4 6 满足了网络多媒体 编解码应用程序对处理器各方面的要求。 3 3m o n t a v i s t al i n u x 操作系统 数字视频评估板( d v e v m ：d i g i t a lv i d e oe v a l u a t i o nm o d u l e ) 是d a v i n c i 集 成开发工具中最有价值的一部分。开发过程中利用d v e v m 就能为n t s c 、p a l 视频摄像头，l c d 显示屏，扬声器，麦克风，硬盘等模块接口的开发提供了便 利。而d v e v m 的软件开发环境包含了m o n t a v i s t a2 6 1 0l i n u x 专业版。 m o n t a v i s t al i n u x 是m o n t a v i s t as o f t w a r e 于19 9 9 年7 月推出的。m o n t a v i s t a s o f t w a r e 公司是全球三大嵌入式l i n u x 操作系统及解决方案供应商之一。该公司 重点考虑的是小内存、确保响应、高可用性等问题，所以