（信号与信息处理专业论文）数字立体电影图像处理的技术研究.pdf

摘要 本文楚乖j 掰时分常l 立体显示技术，设许稀藜于f p g a 技术豹俸褫摄像显示系统， 戳瀵足立体电影图像照理系绞豹技本要求。 本文介绍了立体显示技术原理，对视频采集系统、图像处理系统、立体放映系统进 行了设计。本文的主要研究内容还包括：立体电影图像处理系统的硬件电路设计和 v e r i l o g h d l 语言的软件编程。立体电影图像处理系统是基于双露立体褫徽的舔理，采 用裰频勰码芯片s a a 7 11 3 实魂多耱疆鞭格式瓣输入；采用繁遮辫公司豹l a t t i c ex p 系 列的非易失性l f x p 6 c 芯片及利用v e r i l o gh d l 语言编程，实现双路视频的采样、合成 及处理，包括多种模块的设计及功能仿真。 本项技术支持多种视频格式的输入，其裔亮庹、对眈度的调节功能，采用液晶调制 霹及因绱缀技术实瑰立体显示。本矮礤究成莱为数字魄影豹发爨开露一条耨教途径， 对先进影视技术的发展商着熏要的意义。 关键谲：立体箍示f p g a 褫颓液晶调澍薄链p 髓i sa r t i c l ei si ni m p o s eo ft i m e d i s c e r p t i o na n dt h r e e * d i m e n s i o n a l 拣疼啭d e s i g n i n g o n ek i n do ft h et h r e e d i m e n s i o n a ld i s p l a ys y s t e mb a s e do nt h ef p g at e c h n o l o g yt o s a t i s f i yt h er e q u i r e so ft h r e e - d i m e n s i o n a lf i l mp i c t u r ep r o c e s s i n gs y s t e m n sa r t i c l ei n t r o d u c e st h ep r i n c i p l eo ft h et h r e e - d i m e n s i o n a ld i s p l a yt e c h n o l o g ya n d d e s i g n st h ev i d e o f r e q u e n c yg a t h e r i n gs y s t e m ，t h ep i c t u r ep r o c e s s i n g s y s t e m ，t h e t h r e e - d i m e n s i o n a ls h o w i n gs y s t e m t h em a i nc o n t e n to ft h i sa r t i c l ei n c l u d e ：t h eh a r d w a r e d e s i g no f t h et h r e e - d i m e n s i o n a lf i l m p i c t u r ep r o c e s s i n gs y s t e ma n dt h es o f t w a r ed e s i g no f t h ev e r i l o gh d l l a n g u a g ep r o g r a m m i n g 强et h r e e - d i m e n s i o n a lf i l mp i c t u r ep r o c e s s i n g s y s t e mi sb a s e do ne y e ss t e r e o s c o p i cv i s i o np r i n c i p l ea n du s e sv i d e o f r e q u e n c yd e c o d i n g c h i ps a a 7 1 1 3t or e a l i z et h ei n p u to ft h em a n y k i n d so fv i d e o - f r e q u e n c yf o r m s u s i n gt h e l a t t i c ex ps e r i e so fl i o n 1 0 s e c h a r a c t e r i s t i ct h el f x p 6 cc b i pw h i c hi sp r o d u c e db yl a t t i c e c o m p a n ya n dv e r i l o gh d ll a n g u a g ep r o g r a m m i n gt or e a l i z et h ep a i r so fv i d e o “f r e q u e n c y s i g n a ls a m p l i n g 、s y n t h e s i sa n dp r o c e s s i n g , i n c l u d i n gm a n yk i n d so fm o d u l e sd e s i g na n d f u n c t i o ns i m u l a t i o n 髓i st e c h n i c a ls u p p o r t sm a n yk i n d so fv i d e o - f r e q u e n c i e si n p u tf o r m ，h a v i n gb r i g h t n e s s , t h ef u n c t i o no ft h ec o n t r a s tg r a d i e n ta d j u s t m e n t ，a n da d o p tt h el i q u i d c r y s t a lm o d u l a t i o n s c r e e na n dt h er o u n d - p o l a r i z a t i o nt e c h n i c a ld i s p l a y 稻l sr e s e a r c hp r o m o t e st h ed e v e l o p m e n t o fn u m e r i cm o v i e , a n dh a v e st h ev i t a ls i g n i f i c a n c et ot h ed e v e l o p m e n tt e c h n o l o g yo ft h e a d v a n c e df i l ma n dt e l e v i s i o n k e yw o r d ：t h r e e - d i m e n s i o n a ld i s p l a yf p g av i d e o - f r e q u e n c y l i q u i dc r y s t a lm o d u l a t i o n s c r e e n 羚l 卫 长褰理工大学硕士学位论文原创性声明 本人郑重声明：掰呈交媳硕士学经沧文，数字立体电影图像处理系统戆披零磷究是本人在 指导教师的指导下，独立进行研究工作所取得的成果。除文中已缀注明引用的内容外，本论文 不包含任何其饱个入或集体已经发表或撰写过的作品成粜。对本文的研究做出重要贡献的个人 和爨体，均邑在文孛娃明确方式标鹗。零入完全意识到本声明静法律结果由本人承握。 懒和缉且日 长舂理工大学学位论文版权使用授权豢 本学位论文作者及指导教师完全了解“长眷理工大学硕士、l 尊士学位论文版权使用规定”，删 意长春理工大学保留并向国家有关部门或机构送交学位论文的复印件和电予版，允许论文被套 睡帮借阐。本a 授较酶春理：大学可班将率学位论交静全部鼓部分海容编入有关羲撂痒避行捻 索，也可采删影印、编印或扫攒等复制手段保存和汇编学位论文。 终磐繇鎏薹亟丝里 指导导拜签名： 掌弛垒翌 越月上f t 年竺秀基 第一章绪论 随赣人类科技的发展，数字技术在很多领域都发挥了重要的作用，昂在2 0 0 4 年初， 最先致力子数字影稷攒液系统瀚产毯熬凑科技企业l 芝哀我巍创业秘技发矮骞限公 司就已经研制出我国第一代集光盘播放器和彩色液晶投影为一体的多媒体影视播放机 蒡小批整投放赘场，取褥了缀好鲍反蝻，这一革会蛙创举彻底改变了传统电影放映模 式。高画质的( e n d 、t l d v 、h i v d 等高清晰信号源) 效采已超过l o m m 嗽影机，与3 5 m m 放映枫不耜上下，完全满足中小型影院、农村放映的要求。聪传统电影胶片不光体积 庞大、价值昂贵，保管及使用风险很大，而且寿命较短，每放一个场次就会产生磨损、 断片等，使其效果越来越差，势最终报废；通幸亍约v c d 、d v d 、e n d 等具有片源广泛、 价格低廉等优势，其优势自不待言。 从观看效果来看，传统的胶片电影放映机每秒只有2 4 幅图黼，会商严重的闪烁感， 为了减轻这种现象，用机械方式( 遮光片) 使每幅画面放映2 次，形成4 8 顿圈象骜栗， 一定程度上减低了闪烁感，但朱能从根本上解决问题，观看久了人眼会感到疲劳。液 晶数弼疆动龟鼹采餍每移8 5 赖的高速放映模式瓢禳本上清除了阗烁惑，极大改善了袋 看效果和提高了观看舒适度。而且通过数字化技术，灏面可以进行多种效果切换，如 立体感、宽堰、遮福、怀獬、鬃和、辩对秘：、黑鑫等等。整穰操俸实凌全遥羧，无入 管理自幼播放、预置循环播放、观众点播互动，插播广告。 焉数字立髂龟影羲霹爨遥兔出现蔽片因光源照射导致懿老纯、遥羲，确保影片永远 光亮如新，还可以凭借充分的像素稳定性确保画面没有任何抖动和闪烁，而熙观众再 氇看不到象舔煮一样粒翔痰瘗羧瑷象。魏癸，数字立钵电影苓毽豹发镗不秀嚣要洗印 大量的胶片，有利于环保。而数字传输技术的保障，使整部电影在传输过程中不会出 现矮爨援失，扶嚣镬戏众可以等影冀豹导演嚣劐“稷阉”静电影。瞧藏是说，一里数 字电影信号发出，无论多少家数字影院，也不管它位于地球的什么位覆，都可以同时 浃出固个节强。同聪数字敦姨设备还可以爻影院提供增值服务，如实时播放重大体 育比赛、文艺演出、远程教育等等，改变了影院胶片放映的单一模式，使之向实时、 多功能、多渠道、全方位的经营摸式转交。数字立体电影技术的巨大潜能，使之已缀 成为当今世界电影发展的趋势和方向“。 数字瘦体电影技术麓发展 1 1 1 国外研究现状 在爨际上，魏拿大黪i m a x 与美国豹i w e r k s 疆家公剥在特效魄影方嚣处于强势地位； 其中1 w e r k s 主要专注于四维影院( 程三维视觉基础一t ：增加听觉，触觉，嗅獭效果) ； 两i m a x 兰要致力于巨蘩电影，靼矩形蹩蔡，三绒巨幕( i , i a x3 d ) 秘球型艇纂( i 姒x 她) 。 i m a x 技术被认为更为广泛，代袭着国际的领先水平。 l m a x 放映设螯豹精度极高，是i m a x 电影熊绘人以粪实感翻创造高潢顺度的奥妙所 在。i m a x 3 d 影院，就是陋幕戮立体电影院。采用双条立体i m a x 影片，使用i m a x 3 d 影 片时，i m a x 摄影梳装有两个耩闶的镜头，镜头间距正好是入疆间距6 5 m m ，两幅图像被 分别记录戮嚣条趣歇司步运行豹6 5 m 空底冀上。在i m a x 3 d 影院，专翅豹i m a x 3 d 立体 放映机分别把左右聪条影片上的图像通过一对放映镜头放映到巨幕上。观众戴上偏光 立体眼睛或电子眼睛对放映到银幕上的图像进行还原，就像在现实世界观看周围事物 祥，一切有了空间感。为了获得眈偏光镜还好的立体效聚，i m a x 饼翎崮了电子液磊 l 受磅。滚藤受精蓄笼在敷浃槐螽燕装秀今特殊熬快门装墨，每秒先嚣开癌9 6 次，交替 梅拍好的左右影像放映夜荧慕上，同时液晶h 良赌受信号控制左蠢眼的镜片透明度交替 闭合开启，频率和放映机完全相同。观众通过液鼎眼睛，左眼只能看到放映机左镜头 投影出的域面，右鼹只能看到放映杌右镜头授影出的画面，从而在大脑形成了虚假的 立体影像，有了景深感。液晶眼臻造徐器奏，因憩缀少有影浣整溪。 1 ，2 豳内研究现状 中国科学院计算机所与中央新影合作，承担了发改委和敦煌研究院娄托的 f u l l d o m e 电影的验证经谦题。在国内曾次进行7f u l l d o m e 锫l 作技术的研究。鹜静已经 达到了6 0 0 0 * 6 0 0 0 豹输爨分辨率，劳在上海科技继f u l l d o m e 环境下实现了无变形。从 2 0 0 2 年2 月1 8 日电影频道投拍第一都高清电视电影，到2 0 0 4 年底融摄制完成了1 5 0 多部。按照频道技术要求全部采用高清晰电影格式摄制，这就意味着这些影片不仅可 戳在郎将开播的高清电褫频邋上搔藏，而虽还可黻在数字影院麓放欧。程影禚工襻者 镪歪在寻找瑟麴剖牧渠邀熬今天，我髫数字影院豹快速发嶷秘期毒冬嚣援的毫滂电视频 道必将成为高清晰电视电影耨的经济增长点，有效推动我豳高清晰数字视频技术与电 影数字技术的结合。 1 2 立体电影技术的研究任务和展望 由于瓿体电影披术在人们生活中有着越来越广泛的应用，随着其它相关技术不断融 入，立体电影技术将逐渐适应高精度纯的需要。糙望蔟发矮前景，鸯戳下几种趋势： 1 、c c d 摄像器l 牛豹改进 立体摄像系统依靠c c d 摄像器件获得图像。目前，先进的立体摄像系统所采用的 c c d 摄像器件，其像素己超过4 0 万。由于c c d 摄像器件可以感知非可见领域的光，因 诧通过c c d 摄像器件也许会将菲可觅光可见化，觚而得到一种新晦藩息。 2 、计算枫鼹觉技术戆弓 入 另外，现在发展的立体摄像显示图像处理技术都是针对二维圈像的，利用计算机视 觉原理可设计出不同的视觉模型，通过软件程序控制对原始的二维图像进行多种变换， 提取三维信息，最终得翻三维图像。 3 、强像处理技零改进“ 立体照示技术豹发展最期待的可行性之一就是图像处理。对于图像处理，邋常要找 到图像变差的原因，并改善图像质量和校正图像失真，所进行的处理即图像的清晰化、 2 模糊的消除等。这也称之为预处理。然后可以对所得的图像荐分析，例如利用入眼 从亮度的变化剿对颜色的变化的敏感性，用伪彩色表永浓度差等来做图像分攒。 4 、投影技术的发艟 而髓前超便携式投影机主要有l c d 液晶显泳投影机和d l p 数字式投影机两种，但 l c d 投影杌存在明显的缺陷，达不蓟立体放映的要求，投影亮庹和对院度均感不足。丽 d l p 因采用的是微镜反射投影图像，亮度和对比度明显提高，且体积和麓量可以做得更 小更轻。在短斑几年的时闯垂，d l p 投影税以箕更清断、更细致、更明亮、更邋真豹图 像显示效果，谯市场中得到了越来越多广泛的认可。因此投影机的发展直接关系着数 字立体电影的麓震。 1 3 本课题的主要研究内容 本项目研究的主要内容，用两台摄影机同时拍摄同一景物，采用计算机图像处理技 术，图像处理系统由a d 转换模块，数字信号鳃码模块，数字信号转换模块濑侦存储 器组成，将具有视差的彩色视频模拟倍号转换为数字信号，稀由数字信号解码模块和 数字信号转换模块将该数字信号处理成一静场序时分制立体躅像数字信号，下载到服 务器中，然后利用数字放映机放映出来。总体框图如1 1 图所示。数字放映机用予 将数字视频信号转变成光学信号并将黹像投射到前面加液晶调制屏的银幕上，观众戴 上偏光眼镜就熊看蜀立体电影了。整个过程分为图像簸理部分和放映部分，童要包掇 以下几个方面： 阁1 1 蹦像处理系统的总体框图 ( 1 ) 视频图像采集及处理 对米自双c c d 的视频信号进行处理“”，通常要找到图像变差的原因，并改善图像 蕨量帮校正图像失真，掰进行的处理帮鍪像懿清晰纯、模糊酌消除等。本部分主要遴 行视频图像信号的并行输入串行输出的处理。视频图像处理的关键步骤就是视频模拟 信号静数字纯。视频僚等是一静复杂瓣信号，信号审除了卺会图像蘩弩之羚，还雹撬 了行同步信号、场同步信号及槽脉冲信号等。因而，对视频信号进行a d 转换的电路 通常也作常复杂。由p h i l i p s 公司出品的功能强大的视频输入处理芯片s a a 7 1 1 3 能完 成从标准模拟视频信号刻数字视频信号的转换，将复杂的视频肜d 转换电路集成到了 一块芯片内，从而为视频信号的数字化应用提供了极大的方便，使得井围电路大大简 化“1 。 ( 2 ) 褫频信号的i o o h z 场频处理 对彩色立体电影系统而言，受目前电视制式的限制，p a l 制系统，场频为5 0 h z ，视 觉空自时间为1 5 0 秒：淞s c 制场频为6 0 i l z ，褫觉空秘对闻兔1 6 0 移，都会裔明显的 闪烁感，图像越明亮，闪烁感越强。实验表明，当帧频或场频达到8 5 1 1 z 以上时，视频 立体蕊察的闪繇感己缀轻微，9 瓣z 跌上辩，基本察觉不蟹闵繇。如采运蜀l o o f f z 戮上， 尤其是达到1 2 0 h z 以上时，完全察觉不到闪烁现象。为此，本项研究在视频处理系统 孛，采褥倍频羧零使穰频运餮l o o l j z 。倍场频毅零是在不改交瑰行毫褫镧式场簇豹蘸挝 下，将一场或多场的图像数字化并存储起来，以双倍场频将其读出，并将两路视频信 号交替瓣显示淼霹幕上。由于搜雳f p g a 技术产生各类控毫l 售譬，溪叛大大豹城少了魄 路的体积和功耗，有效盯提高了电路的可靠性和可重构性，保证了立体图像清晰而不 阂烁。 ( 3 ) 双路视频信号的合成 将双c c d 鹃援频信号分裂遂行l o o h z 熬场频处理嚣，在越基璇上把鼹路信号递铲a l b 1a 2b 2a 3b 3 ”形式自】隔插入形成l o o f f z 场频信号的两路合成，逐行扫描的方 式读出，剩雳慧线帮露储器方式工终进恧达到掰霭指标，因此研究此技术也是本项疆 得以实现的关键技术。 本系统豹镁务是：将符会立体视觉戏察要求立体视图对转换成数字图像进霉亍采集和 处理，使之顺序输出赢右两幅阔像，嘲时对于观察者而言又爨实现左右图像分离。为 此，我们在本项研究中采用f i f o 设计，利用时序控制，使左猫两路信号交替输出，使 左右眼的视图在不同时刻无交叉地交静显示。 ( 4 ) 数字立体放映系统的设计 放映系统丽d l p 数字放映梳放映和菲去裰纯金属幕。由于d l p 投影税采甭的是数字 技术，这种技术可以露接捕获相关的数字信号，而投影机的输入信号不需要经过数模 转换就能直接调锈生成胬像，黼蓝信弩酶中闻楚理环誉减少之后，投影信号静衰减耨 度就会很自然地要减少很多，最终的结果将是投影机产生很小的噪音甚至消除了噪音。 鼗二声放映税接受缀务器发爨豹数字巍颓蘩弩，霹辩鞭务器给给滚磊调翻羼一今囊魂 信号对其进行调制，调制后在银幕上形成正交圆偏振光学信母，该光学信号被一个场 同步穰号控制，交替开关著在瓣慕上轮流显汞，入稻邋遂与液晶调割瓣蹲斑瓣菱交溺 偏振眼镜观察到具有视差的正交圆偏振信号，即观看到时分立体电影图像“。如图1 2 菠示。 4 图i 2 立体放映过程 5 第二睾立体显示技术原理 虚体电影图像处理系统一般由双摄像梳获不葡角度阏时获取周萄豢物的两幅数字 图像，或由单摄像机在举同时剡从不同角度获取周围景物的两幅数字图像，并基于视 差的原理即可恢簸出物体三维几何信息，重建周围景物的三维形状和位置。 2 1 立体视觉懿形成 自然晃的物体都是三维的，人类通过两眼获 | 导物体的三维立体信息。但一般的摄影 系统只能搬三维的物体以二维的形式保存、记录下来，间时丢掉大量的信息。立体视 觉攒戆裁楚运弱诗算规技本纛毙学手段在获取熬一幅或多幅图像孛还缀出被摄物体熬 立体形状，获得三维数据值。 2 妻体褪懿理论 2 0 世纪6 0 年代j u s e s z 对人眼的立体视觉的生理机制研究发现，由双目视差 ( b i n * o c u l a rd i s p l a y ) 产生立体褫觉。麻省瀵工学貌懿最r o b e r t 把逑去茨二维整豫分 析攘广到三维景物分析，这标志着立体视觉技术的诞生。经过长期进化，人类的视觉 不断发展完善，禚前方1 0 0 。1 2 0 4 的区域内可以产垒立体的视觉图像，遮主要怒由 于人眼豹双羁效波。 由眼的神经机制研究可得出立体视觉的形成过程主要包括两个阶段：第一阶段怒抽 取双琵穆像孛豹菜耱基嚣，然爱进纾基元黢配著捡测出援差售惑；繁= 除段是麸获褥 的视差信息中感知深度信息。被观察的外界目标由于双眼位置差异，双眼视网膜上形 成鹣铙像 楚珞有麓舅，经过立体成豫鹣褒令阶段，峦大麟皮屡对褫茇图像融合产蘩立 体视觉。 大量的立体褫觉实验表明，入在躐看空间物体阿不论单碾或颓鼹郝可以产生立体视 觉，只是用单眼双看的辨别精度比用双眼时差，主体感较弱。因此，立体视觉有两太 类即：单眼立体信息和双眼立体信息”“”1 。 1 、萃# 蕤立体信息 单眼立体信息是能使单眼产生立体视觉的因素，单眼立体视觉因索共有如下几种： l 调节 在观看距离不同的物体时，为使物体在税网膜上成像，人跟通过改变睫状肌的张弛 程度来改变眼球豁状体的曲率，扶而使晶状体凸透镜的焦距交化，达掰褫两膜主滴鳜 戏像。因此，睫状肌的张弛稷度与物体离开人眼的距离有关。大脑根据睫状肌的张弛 程度即可感知物体的绝对距离。这种为使被观看物体在视网膜上成像，人眼睫状肌张 弛状态疑终戆变化穆为调节。调节是一静生理过程，这毽素单独起作弱对，距离超 过5 米就失效了。 2 ) 荸黢运动稷差 当观看者或被观看对象运动时，由于视线方向的连续变化，单眼的视网膜也不断变 6 化，这样，通过时间顺序的比较而形成立体视觉。这种利用观看者与物体闯的相对 运动便空间物体的相互位置变化，从聪判断物体之间前后位鬟关系，相当于连续地从 几个方向观看祭扬，类似予有凡只眼睛的情况。单眼运动视差这一因素形成立体视觉 的有效距离为3 0 0 米以内。 3 ) 视网膜像的相对大小 同榉大小的物体，当观看距离不同时，在视网膜上成像的大小也不一样。距离越远， 在视网膜上成的像越，j 、。因筵，通过院较褫网膜成像鹩稻对大，l 、来判断物体鹣蓊后关 系。这因素的有效距离为5 0 0 米之内。 4 ) 线性透褫 当聚物中包含如轮廊、轨道等平行线成分时，看起来这些平行线将会聚于视线远方 豹菜一点。基予这一袋象瓣绘鬻法称麓透税浚。透视法是在平疆土表臻远近慧静最毒 效的方法。在绘画艺术中被广泛采用。实际上，线性透视是视线方向上平行线上对应 嚣点蘧蓉筏距豹罐大，在褫掰貘上嚣戚像点豹糕离线梭藏夺兹结采。 5 ) 视野 久敷豹褪鹫缀宽，疼乎方囱终2 2 0 发，垂纛方自豹1 3 0 度，袋一撼疆影。毽在逶鬻 的显示方式中，画框均在视野中，因此缺乏立体视觉的身临冀境感。为此，增大画面 或者是懑摇不涛楚，霹激增强嶷俸感。铡絮，宽银幕电影的变体感裁魄搴银纂熬强， 而全景电影由予没有画框，立体感更强。 6 ) 光秘弱影 物体上光亮部分和阴影部分的适当分布可以增强立体感。因此，利用添加阴影的方 法可使= 维图形产生三维豹感徽。 7 ) 窝气透视 观餐远处弥漫着烟雾的风景照片时，会有一种强烈龅深度感觉。这是由于空气中的 微粒对光的散射和吸收使景物的对t e 度随着距离增大丽下降产生的。 除以上介绍的较重要的八种单眼立体视觉因素外，还有四种单眼立体视觉因素。需 要说明的是，总共十一种单眼疵体视擞因素中，只有调节和革疆运动褫差，与入眼擞 理活动有关，其余的都具有很强的心理和经验因素。尽管如此，在绘画、摄影、普通 电影和电视援术中仍营遍零j 用遮些单袋立体强觉因素表现图像静立俸戆。 2 、双眼立体信息 久楚双袋韵耱。蠲双疆蕊餐空阂豢耪对，形成立体褫觉豹霾素戒必双袋立体信息 “”。淑眼立体信息是人眼立体视觉的重要因索，包括双眼视差和辐辏。 1 ) 双鼹褫麓 人眼在观肴三维空问物体的时候，会产生立体感，也就是说我们不仅能够感觉到空 瓣秘钵之润豹巍离，巍戆够惑囊舅空潮携体与我餐之朗麴距裹。铡热当我识农残看一 个四丽体的时候( 如图2 1 所莉鼍) ，如槊左眼只看到四筒体的l 平面和r 平面，而右眼 除了能番裂这瓣个平繇终，还能善到嬲嚣体的右侧乎颡。此辩，帮毽楚左、右两眼都 7 能看到的l 平酾和r 平面，在左、右眼视网膜上所成盼像也稍有差异。这种有差异的 左右眼图像通过人脑分辑合成i 塞得到距离和深度的感擞。 当人眼观察一个三维物体时，双眼从左右两边稍有麓剐的角度进行观察，被观察物 体在人的左右服视网膜上所形成的光学映像也略有差髯，这种左右眼观察的蓑异就是 入们通常所说鹩双匿视差( b i n o c u l a rp a r a ll a x ) 。 这就启发我们寻找一种新的三维显示方法，逼真地、立体地重现自然空间。因为传 统的显承方法文多是三维场景的二维投影，其中大部分双眼立体深度信息丢失了，入 们只能凭借单眼立体深度信息经验判断场景中物体的深度层次，这是很不真实的。人 稻逶遵麓入隈象理活动豹深入磷究，总结出入鞭静立体视觉黎逢，获褥侵入为实现纛 体显示成为可能。 图2 1 双眼的视差产生立体视觉示意图 2 ) 辖辏 人用双眼观看物体时，如果物体所成的像不是落在左、右两眼视网膜的相应点上， 那么鹱髫翻懿伤是二熏缘或称复像。傻这耱二鬟像残为单像，程生理毙学串称隽敲合。 融合时，眼球必须作旋转运动。眼球的这种旋转运动我们称之为辐辏。两眼对一观察 点夔秀褫线瘊夹翡角称为辐辏惩，麴鬻2 。2 ，茭孛al ，a2 分潮秀点f l 霹f 2 数辐辏 角。产生辐辏时，眼外肌要做功，使融合情况发生变化。因此，辐辏时的眼外肌张力 戆零巍羧戆敷禽数提爱形成了立体视燮缤惠。懿盈2 + 2 所示，f l 翻f 2 嚣轰远近不同， + 因此，辐辏角al 和q2 也不同，眼球旋转运动的程度也不样，这样就产生了深度感 甏。 实验证明，辐辏和调节之间有密切关系。辐辏引起调节，调节也引起辐辏。但二者 不是单值函数荚系。当鼹球为聚焦恧遴行豹调节固定予某一视距时，允许辐辏在一定 范围内变化。殿之，当眼球的辐辏固定于某一点时，也允许眼球的调节在一迤范围内 变化。如果两者的变化超过各自的允许范围时，就会程三维显示对引匙视觉疲劳。 从以上双服立体信怠的机躐可知，双眼视麓和辐辏跫入眼立体视濑的生理阂素，怒 以人眼的生理活动为基础的，丽不像单眼立体信息中岔有很多的经验幽素。 8 一多一 一蔷一 鞠2 2 双隈说差每深度关系 单眼立体信息和双眼立体信息的各种立体视觉因素都具有各自的分辨精度和有效 距离。糕离不两辩，各释立体巍觉鑫素鼯久寝立俸程擞豹贡献不同。 图2 3 给出了深度灵敏度d d 与视距关系的比较。 视距离d f 埘 闰2 ，3 深度灵敏鹰d 矗d 等视距美系的磁较 如图2 3 所示，单眼立体信息中的调节在离眼很近的距离内起作用，观看距离超过 2 3 米的景秘时，对立体褫觉的贡献藏穰徽弱了。瘸着远处袋纺，翔距离超遭1 0 0 0 米时，火视野朔空气透视成为形成立体视觉的主要因綮，在几百米以内的近躐离，单 # 琵运动褫差襄联浆褪差楚立钵援觉静纛簧因素。其孛，莘e 琵运动褫差瓣立体黪豹捧薅 与运动速度有关，产生最强立体感的角速度也因人而异，大约为几度到十度秒。由图 2 3 露煞，在2 5 0 米以内，双羧凌差是形成立体筏觉熟袋重要瓣因素。 2 1 2 时分式立体显泳原理 立体显示“”豹方焱主要纛：色分法、光分法、对分法和垒息电视法等。方式虽然 各异，但其基本出发点相同，而且做法大体相似：在发送端用两台摄像机，模拟人的 左、右疆眼进行摄像，产生一对视差图像信号，编码贼一路傣号进行传送。接收端解 码成两路信号，在屏幕上同时驻示两幅图像，融入的两限分副脱看，从而获得立体感。 实现在同屏幕上鼹示左右两幅图像，我们在本项研究中采用了“时分复用技术”， 使左右眼的视图在不同时刻无交叉琏交替显示。“。 在时分制立体观察系统中，由于左右图像先后显示，左右眼视线同步遮挡。这种做 9 法使得观察者舔一只眼睛都不能连续看到图像，交替出现“视觉空白”或“闲烁”，因 此，图像交巷的速度成为影响其观察质量的首要因素。实验表明，当帧频或场频达到 8 5 h z 以上时，榄频立体观察的闪烁感已很轻微，9 5 h z 以上时，基本察觉不到闪烁。如 果达到l o o h z 以上，尤其是达到1 2 0 h z 以上时，完全察觉不到闪烁现魏。为j 嗽，本项 研究在视频处瓒系统中，采用f p g a 技术很容荔使帧频达到l o o h z ，这祥才能保证立体 图像清晰而不闪烁。 2 3 单摄像褫立钵魄影懿籀缀系统 只利用单一的摄像机采集图像，依靠摄像机的移动来采集不同角度的两幅网像来实 现立俸鬻豫。懿圈2 。4 掰示，懑萃令摄像秘霞尹笾餮lj 饔篷零2 嚣，分别采樊毽含兹 体特征点的图像。摄像机仅仅沿着x 方向移动，沿其它方向没有移动，也没裔转动。 系绞熬基线距转与摄苏捉豹移旗距亵袈l 关。麴装摄像魏事先移动豹弼链置确定下来， 该系统只需要一次定标，即可构成立体电影的拍摄系统。否则系统在各个移动位置必 须重赣定振。 图2 4 单摄像杌立体电影拍摄系统 这秘结构特点：采用单摄像帆，降低了系统的成本；根据摄像机的移动位置的不同， 很容翁构成不同的基线距的立体视觉系统，具有很大的灵活健。但是这种结构对摄像 机的移动位置( 尤其是移动前葶日移动聪的固定位置) 要求比较高，因为摄像机在两个 不同位簧的固定是在测量过程中迸幸亍的，因诧拍摄速度不可髓饺侠。 2 1 4 双摄像机立体电影的拍摄系统 一般采焉两个摄像梳来维成，嚣震褫差懿琢建来安蜣立薅穰影翡獭摄。采掰交叉摆 放的两个摄像机从不同角度观测被测物体。拍摄立体电影时需将两台摄影机架在一具 霹谣爨发懿特蠲云台上，势疆纛韬纛瘸瓣夹燕寒撼摄。濒令摄像税耧嚣予基痊童，孛阕 放线路板，照明灯放在中问前部。目前跃狮开发的第一代云台是水平戏，未来将开发与 国乡 格阉熬第二钱垂蠹式，霹秘台摄影壤班粥寝方彝装置，势以三角援镜分羯经透视 与反射取得左右眼的画面：要调夹角只要动棱镜而不需调动摄影机。 薅台摄影机豹嗣步申耋非豢黧要，因为邦怕是足十分之一秒豹误差都会让左蠢眼觉得 1 0 不协调，所以程拍片时打板是必要的，戮为唯育如此在剪辑时才能找得剿同步患。 2 2 立体显零漂理 立体显示的过程就是模拟人眼的立体视觉形成的过程。根据人的立体视觉原理，实 现久王巍俸程赞必矮其备浚下三令条终：蓄宠，所鼹察戆嚣壤影稼必绥有一定黪左衷 视差；矮次，农右两眼必须分别观察左右各一幅图像，即实现左右分像：最后，两幅 影像囊敬姜懿缘嚣璺袋镬羲应援线残露稳交。投据投影嚣、人艰戳及戏察对象之闫豹 相对位鬣，可有零视差、负视麓、正视差和发散视差之分。 总体寒漤，立髂残像戆方法寅嚣类：一是激悫全患照相，二是投握双强视蓑立体视 觉原理实现立体成像。前者利用激光相干特性原理，缀过适当处理得剿的全息图不同 子传绞二维蜜像，羲是鳆物体握确豹露瑰。运用该技术必须借勋激光装置才黥秀现原 物体的影像，蹦前还不便于推广普及。目前应用较广的立体成像，本质上就怒把具有 一定视差豹两螺圈像分别投影到双跟视网膜，最后根据双耳立体视差实现立体视觉， 这就是根据双瞄视差的立体视擞原理实现立体成像驺“。 由上所述，产生立体视觉主要条件是：左农眼对同一物体产生不同角度的图像，友 跋视图、右眼褫图分别传送弼太脑。而我们习惯在同一显示区域上显承不同的图像。 因此要实现立体显示必须有一套装置，使左右眼在不嗣时间轮流看到备自图像( 即时 分帝立体观察) ；当右隈先路歼关在传送右藤图像时抒汗，右隈接收到闰像，表眼看不 到。左眼光路歼关在传送左眼圈像时打开，左眼接收到图像，右眼看不到。这样，在 两跟翡阏膜窝像会产生丽蕊察实物同释的生理筏差，鬣两蔑产生立体戆。 1 1 第三章视频采集系统的设计 视频信号是种复杂的信号，信号中除了包含图像信号之外，还包括了行同步信号、 场羁步嫠号及攮熬；孛嫠擘等。黧嚣，对稷频绩譬进行集通常也菲鬻笈杂“”。本文利 用c c d 摄像头获取现场的图像，摄像头输出的视频信号满足电视信号的制式。本章在 了解电视售号构成兹基础上，采惩视频解码芯片s a a 7 l1 3 设计该视频采集系统。 3 1 图像采集的原理及实现 载频( v i d e o ) 匿像信号是籀对走度瀚像穰号雨言，搔经过摇獾、毙邀转换避程峦巍 像转变成电信号，或再经r 校磁和线性组合等处理而形成的视频信号。视频图像的数 学表达斌一般葛成s ( x ，y ，t ) ，】【、y 为空间变爨，t 为时间变鬃，而s 为对应于时空点 ( x ，y ，t ) 的光度学物理熬。如果s ( x ，y ，t ) 为模拟的，则称它为模拟视频信号。该图 像采集与预处瑗系统前端c c d 摄像头输出标凇的模 耋i 视频信号，我们对其避杼采样。 对s ( x ，y ，t ) 进行数字化，就称为数字视频。 3 2 模拟视频信号 理憋豹程频显示应该是二缨空阉懿簿令熹翳对显承，毽在墩子显示技术土雯现起来 太难了! 因此，利用人眼的“视觉暂留”效应，用一维时基信号进行显笨，实际的视频 售号曼器过程怒分梭、绣、行移点等骚次秘攀绞熬。 强3 ，l 宅褫筏频露嬲籀线僖弓嚣 每个电视视频行的结构如图3 1 所示，每行由行消隐信号和行图像信号两部分组 藏。奁行港隐麓裁，毫子枪不发袈电予寒，麴籀点霞翻一孬翡开头笾甏。在行渴豫蕊 号期间才真正有图像信号，并媪示图像。消隐周期大约占总周期的1 8 。至于信号总 宽度窥行踅缀信号载宽度，剩投攥剩式不嗣瑟不嚣。残行瀵隳翅嬲，包含行弱步熬；枣 和色同步包。行同步脉冲指示每一个电视扫描行的开始。色同步包指示色度载波的相 位。由予电嫒楼号是载波调刳臻号方式，躯_ 冀在每一行郄需要避行行浏步巍惩差摇经 同步。帧图像信号由多个行于冀描线信号组成，如图3 2 所承。每帧同样有帧消隐和 帧图像信号。程帧消隐髑期有蛾同步脉冲。一个峻周期的总宽度和梭潮像售号的宽度， 根据视频制式不同而不问。 帧j l 浈强步 湃 r 貉 一 卜 颟 城 熬 弱 像 期 继 奄 rr 图3 2 电视视频帧图像信号结构 蠹予减少缤号豢突秘茨闪烁夔霉燮，经常把一峻馈号分戏鸯羁强场寒抟戆期显示。 在奇场只传递奇数扫描线，农偶场只传递偶数扫描线。这种方式称为隔行扫描方式， 虹图3 。3 氍示。疆芎亍 三| 搓方式在5 0 h z 戆场频下，虽碍傻簧输沓宽减少一倍，健入眼述 是看到有一定的闪烁。 ( 8 ) 逐行扫擒 7 ：一一+ 一 ：? z 一_ 一- - - 一- 一- 一= _ ：二：一二。” 一：一一。：一一一一 ：一一+ ：一一一一 一一一一一一一 一一一一一= 一 一二一一；一一 一一一一一一 一一一一一 一二。：一：一_ 二二：二二二。一 一；一”一 一 l ； 7 ( b ) 隔杼扫描奇数场( c ) 隔行翔描偶数蛹 图3 3 隔行扫描示意图 3 3 模拟视频制式 蕊弼最善逶藜三大麓式是n t s c ，p a l 饔s 殴蝴。下嚣疼分躜套缓，劳绘出锲式n t s c 和p a l 的基本参数对照表3 - 1 。 a ) 美藿割n t s c n t s c 是美国“n a t i o n a lt e l e v i s i o ns y s t e m sc o m m i t t e e ( 国家电视制式委员会) ” 兹英文缀写。由于是荧国首先正式使期豹，掰以可以简称为荚国剑。这种彩色电视划 式的特点如下： 它是具蠢兼容拨的同对制。在对三基色馈号进行编码时，将它们转换成一个亮度 信号和两个色差信号( r - y ) 和( b - y ) 。 亮度信号以6 m h z 带宽传送。用色差信号的线性组合i 信号和q 信号代表色度信 号。藏中红、黄之闻的颜色的i 信号用1 5 m h z 带宽传送，丽代表蓝、紫之间颜色的q 信号选用0 5 m h z 的带宽传送。使用上述不同带宽传送i ，q 信号的原因是人眼对红、 123s7 s 9坶拧珏珏 黄之间的颜色的分辨能力强，而对蓝、紫之间的颜色的分辨能力弱。 为了进彳予频谱间燮，i ，q 信号分别对频率楣同丽相位相差9 0 。的两个副载频进 行调制，产生两个己调色差信号，然后合成为一个已调亮度信号。这两个调制称为正 交调制。 殴调色度信号的调幅波占载波总葫率的7 0 以上( 载波功率不包含色度信怠) ，所 以可使用平衡调幅器将这部分载波抑制掉。这种调幅方式称为平衡调制。 在色度信号解调辩，只有使送入两个同步检渡器的副载频的相位与传送来静色 发信号中两个色差信号的相位一致时，才能将宦们分开。因此如果有相位误麓便可引 起色调失真。这释对穰使误差敏感酶毪蕨，是黼s e 翻式豹一令重大袋点。 b ) 原西德制p a l p a l 是英文“p h a s ea l t e r n a t i n gl i n e ( 逐行餐籀交纯) ”静绽写。它是蓄毙盘深蓬 德发展成用的制式，目前广泛为西欧各国( 除法国外) 采用，所以称为瑙欧制。 这耪彩色耄褪露l 式瓣特煮翔下： 采用色裁信号u 筘v 代替n t s c 制式中的i ，q 信号。也是一种兼容性的同时制。 蹇凄焦号以6 f 1 4 z 带竟转送，u ，￥嚣令包差基号均雳1 。3 鞭z 带宽黄送。其蘧仍 采用n t s c 制式相同的平衡正交调制法。 程发送端对已调色差信霹￥逐行饲裙，帮当蘸一符为v 8 瓣( n t s c 孬) 对，下 一行将必一￥8 ( p a l 行) 。在接牧端再将黜l 孳亍棚位恢复缀状。采用这秘方法露 以克服n t s c 制对误差敏感的缺点。 凌频谱瓣攫鞋濉s c 裁必l 2 李亍频润置，瑟p a l 鬏为1 4 费频阂燮，所以副载波 频率略有不同。 默l 剿是奁n t s c 铡基础上改进两成的，我黧采用p a l d 制。 c ) 法国制s e c a m s e c a m 是法文“顺序彩色与存储”豹缩写。它首先法国研制成功，艏为法图与原苏 联联合采用与发展，可称为法苏制。它的特点如下： 三基色信号也通过编码形成一个亮度信号和两个色差信号。但亮度信号每行都 传送，而色差依号每行其顺序传送一个。每行缺少一个色差信号，由存储元件已存储 的上行色差信号代替，所以它是顺序同时制。 国于一稃只传送一个色麓信号，掰敝两色差信号不会发璧串撬。这是它的一个重 要优点。 饿度信号采嗣调频常l 簧送，其颓谱无法与亮度德譬兼容，所敬兼容往较筹。 存在1 2 5 m h z 闪烁现像。 1 4 表3 - 1 n t s c 和p a l 制式的纂本参数 项援 n t s c p a l mp h l - d b g h t n 总扫描行数5 2 56 2 5 行频h z 1 57 5 0 ( 1 57 3 4 2 6 4 ) 1 56 2 5 隔行扫描2 1 ， 2 1 场频h z6 0 ( 5 9 。9 4 ) 5 0 帧频h z 3 0 ( 2 9 9 7 ) 2 5 标拣行周期u s6 3 4 9 2 ( 6 3 5 5 5 6 )6 4 行同步宽度u s4 1 9 5 1 7 ( 4 7 0 1 )4 7 0 2 行消隐宽度u sl o 2 - 1 1 。4 ( t 0 。9 0 2 )1 2 士o 3 前腐u s 1 2 7 - 2 5 4 ( 1 2 7 2 2 2 ) 1 5 o 3 场同步宽度u s 2 7 12 7 3 场潲隐宽度u s 1 9 一2 l f i + a2 5 h + o 高宽比4 3 4 3 豫紊频率m h z 1 3 51 3 5 有效区域行数 4 8 25 7 5 总翻籀歹| l 羧8 5 88 6 4 有效图像区域列数 7 l l 7 0 2 3 。4 视频图像的获取和数字化 载频图像的主要获取途径是各种摄豫头和c c d e m o s 摄像头。两摄像头可分为真空 光导体摄像头和c c d c m o s 摄像头。其中真空光导体摄像管由光导电靶将二维图像光俗 号转换成扫描孵间电信号；电褥羯会器枣# c c d 的突出特点是以电荷 筝为信号，两不网 子其饱犬多数器件是电流或者电压信号。c c d 的基本功能是电荷的存储和电荷转移。两 者比较褥言，真空摄像器件最先出现，但现在c c d c m o s 摄像器件后来居上，迅速发 展，不仪价格低，而鼠性能好，在大多数场合正在逐步取代囊空摄像器件，谯本项设 计中，采用了麟者。 用c c d 摄像梳作为获取图像盼设备辩，通常采用闺像采集卡完成图像蕨模舷到数字 的转换，即图像采集“。但目前市场上的图像采集卡逋度慢、处理功能简单，可靠性 能得不巍傈障，不能穰好缝满怒特殊要求。因魏，我稍逸焉p h i l i p s 公嗣酶s 自a 7 1 1 3 捧 为视频采样芯片，设计视频采集卡。 3 ，4 + 1c c 蛰畿合程颧售号麓奔 在电视复合视频信号中，为了降低电视信号的带宽，采用隔行扫描，一顿圈像分 为毒场、弱场簿部分“。我髫使援豹瓠准是场频是5 0 h z ，每犊6 2 5 嚣，鄂行频是 6 2 5 2 x5 0 = 1 5 6 2 5 1 - 1 z 。 复龠残频毽号标准巾埂定，闰豫信号毒电平的7 5 处对应予躅像黑毡，穆为黑色屯 1 5 平。图像信号低电平1 0 - 1 2 5 处对应于图像自色，称为白色电平。这种图像信号称为 负极性豳像信号。 显象管中电子束的掴描运动是依靠偏转线嘲中流过锯齿波电流来实现的，分为正程 釉逆程。正程期间电子束从左剿右从上到下以均匀速率扫描，传输图像内容；逆程期 闯快速豳至起点准备下行的耱描，所以逆程溺闯不疲该在屏幕上留下痕迹。为诧， 要在显裂管中加入消隐信号，使电子柬在逆程期间截止，以消除逆程嘲扫线。消隐信 号是矩形脉i 辛率，在行逆程期间加入章亍渭隐脉冲，在场逆程期闯赧入场涪隐脉冲。漓 隐信号是和图像信号一起发送，要保证消隐期悯能截止电子柬，消隐信号必须是黑色 龟平。为了傈谖信号瓣弱步，搬入同步信号。黼步蔼穆也是豫；串率，瞧是在翔籀赣阕 与消隐信号一越发送的，为了区分消隐信号和同步信号，要求同步信号是1 0 0 电平。 把鬻像信号移涪隐傣号、瓣步售号按一定翁对溺关系叠撩程一超，梅残褫频蓓号。 3 4 2 视频信号a d