（计算机应用技术专业论文）基于fpga的3dtv若干关键技术的研究与实现.pdf

d i s s e r t a t i o ns u b m i t t e dt oh a n g z h o ud i a n z iu n i v e r s i t y f o rt h ed e g r e eo fm a s t e r | | i i i rl lr lli iii i i ii iii ii 19 0 912 3 t h e s t u d y a n d i m p l e m e n t o fse v e r a lk e y t e c h n i q u e s o f3d t vb a s e do nf p g a c a n d i d a t e ：l i ug u a n g f e i s u p e r v i s o r ：p r o f w a n gx i a o h u a p r o f id a ig u o j u n d e c e m b e r ，2 0 1 0 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人 或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论 究 毕 学 的 论 论 指 杭州电子科技大学硕士学位论文 摘要 3 d t v 作为下一代视频技术的研究热点，其关键技术包括三维图像的获取、 编码、传输、解码合成和显示五个方面。本论文旨在以f p g a 作为平台，对三 维立体电视中所要使用到的若干关键技术进行研究实现。 视频的同步采集是3 d t v 系统的关键和前提，它直接影响到系统后续模块的 处理，本文第二章首先对此问题展开研究。在此基础上，论文第三章就3 d t v 后 端显示技术中被广泛应用的分时和分色显示技术提出了基于f p g a 的实现方案。 图像的处理是3 d t v 系统中不可或缺的环节，对于虚拟多视点立体显示中获得视 差信息的立体匹配技术，论文第四章提出了一种非参数化匹配算法的f p g a 实现 流程及模块的详细设计。 论文第二章就3 d t v 系统前端采集的同步技术展开研究，在已设计完成的基 于f p g a 的双目视频采集卡的基础上，提出了一种从粗略到精确的二级同步技 术：硬件电路级的粗略同步以及基于硬件描述语言级的精确同步。在硬件描述语 言级同步设计中，又提出了从场级同步到像素级同步的分级同步控制策略。通过 实验证明，系统达到了3 d t v 系统前端采集严格同步的要求。 需佩戴专用眼镜的分时、分色技术一直是立体显示中广泛使用的技术。论文 第三章设计了基于f p g a 的分时、分色两种立体显示方案。在分时显示方案中， 提出了一种双路视频的实时切换技术，结合专用的开关眼镜，使人观看到实时的 立体视频；分色实现方案中，完成左右路图像的红蓝分量提取和拼接，结合红蓝 眼镜观看实时立体视频。系统立体效果明显，可作为立体显示的原型机。 立体匹配技术是虚拟多视点立体显示中获得视差信息的关键技术，其实时性 和匹配精度直接影响到立体显示的效果。非参数化区域变换算法相似性度量使用 像素在邻域中的灰度相对值排序代替原始灰度值，对立体图像对亮度偏差的情况 有很好的鲁棒性。而且，非参数的匹配算法运算简单，适合使用硬件逻辑电路实 现。论文第四章提出了一种非参数化匹配算法c e n s u s 算法的f p g a 实现方案，详 细介绍了方案的实现流程和模块设计，并进行f p g a 的硬件编程，通过仿真验证 方案的实时性以及匹配结果的准确度。 关键字：立体显示，同步采集，分时，分色，可编程逻辑门阵列，立体匹配 杭州电子科技大学硕士学位论文 a b s t r a c t a sar e s e a r c hf o c u so ft h en e x tg e n e r a t i o no fv i d e et e c h n o l o g y , 3 d t vo w n sf i v e k e yt e c h n o l o g i e si n c l u d i n g t h r e e d i m e n s i o n a lc o n t e n t a c q u i s i t i o n , e n c o d i n g , t r a n s m i s s i o n , d e c o d i n ga n dd i s p l a y t h i ss t u d ya i m st od i s c u s sa n da c h i e v et h ek e y t e c h n o l o g i e so f3 d t v o nt h eb a s i so ff p g a t h es y n ca c q u i s i t i o no fb i n o c u l a rs t e r e oi st h ek e ya n dp r e r e q u i s i t eo f3 d t v s y s t e m ，w h i c hd i r e c t l ya f f e c t st h ep r o c e s s i n gm o d u l et ot h es y s t e mf o l l o w - u p ，t h i s p a p e r s t u d y o nt h i si s s u ef i r s t o nt h i sb a s i s ，t h et h i r d c h a p t e rp r o p o s e st h e i m p l e m e n t a t i o no f t h et i m e - s h a r i n ga n dc o l o r - s e p a r a t i o nd i s p l a yt e c h n o l o g yo f3 d t v b a s e do nf p g a v i d e op r o c e s s i n gi sa ni n t e g r a lp a r to f3 d t vs y s t e m s t e r e o m a t c h i n gi su s e dt oo b t a i np a r a l l a xi n f o r m a t i o ni nv i r t u a lm u l t i - v i e ws t e r e od i s p l a y , f o u r t h c h a p t e rp r e s e n t san o n - p a r a m e t r i cm a t c h i n ga l g o r i t h m si m p l e m e n t a t i o n p r o c e s sb a s e do nf p g a a n dt h em o d u l ed e s i g ni nd e t a i l t h es e c o n dc h a p t e ro ft h i sp a p e rp r o p o s e sap i x e l - s y n c h r o n o u sd a t aa c q u i s i t i o n a n dt r a n s m i s s i o ns y s t e mf o rb i n o c u l a rs t e r e ov i s i o no nt h eb a s i so ft h ev i d e oc a p t u r e c a r d , w h i c h s a t i s f i e ss t r i e t s y n c h r o n o u sr e q u i r e m e n tf o r s t e r e ov i s i o n t h i s s y n c h r o n i z a t i o ns y s t e mu s e sac o a r s e - t o - f i n et w o - l e v e ls y n c h r o n o u sd e s i g n ：t h e h a r d w a r ec i r c u i td e s i g no fc o a r s el e v e la n dt h eh a r d w a r ed e s c r i p t i o nl a n g u a g ed e s i g n o fe l a b o r a t el e v e l t h el a t t e ru t i l i z e sam u l t i l e v e ls y n c h r o n i z a t i o nc o n t r o ls t r a t e g y f r o mf i e l d l e v e lt op i x e l - l e v e l s y n c h r o n i z a t i o n t h ee x p e r i m e n t so fs y n c h r o n o u s a c q u i s i t i o na n dd i s p l a yd e m o n s t r a t et h a tt h es y s t e ms a t i s f i e s s t r i c ts y n c h r o n o u s r e q u i r e m e n tf o rs t e r e ov i s i o n t i m e - s h a r i n ga n dc o l o r - s e p a r a t i o nt e c h n o l o g yw h i c hn e e dt ow e , a ts p e c i a l g l a s s e sh a v eb e e nw i d e l yu s e di n3 dd i s p l a y i nt h et i m e - s h a r i n gd i s p l a yd e s i g n ，t h i s p a p e rp r o p o s e sar e a l - t i m ev i d e os w i t c h i n gt e c h n o l o g y , c o m b i n e sw i t l lad e d i c a t e d s w i t c ht og l a s s e sa n de n a b l e sp e o p l ew a t c ht h er e a l - t i m e3 dv i d e o ；i nt h e c o l o r - s e p a r a t i o ni m p l e m e n t a t i o n ，i tc o m p l e t e sv i d e os t i t c h i n go ft h er e da n db l u ea n d m a k ep e o p l ew a t c ht h ev i d e ow i t ht h eh e l po fr e da n db l u ev i d e og l a s s e s n es y s t e m h a sae f f e c t i v e3 dd i s p l a ya n dc a nb eu s e da sas t e r e od i s p l a yp r o t o t y p e s t e r e om a t c h i n gt e c h n i q u ei sak e yt e c h n o l o g yo fv i r t u a lm u l t i v i e ws t e r e o d i s p l a yt oo b t a i np a r a l l a xi n f o r m a t i o n ，a n di t sa c c u r a c ya n dr e a l - t i m eq u a l i t yh a v ea d i r e c ti m p a c to nt h ee f f e c to fs t e r e od i s p l a y n o n p a r a m e t r i cm e t h o dh a sa d v a n t a g ei n u n b a l a n c e di l l u m i n a t i o nc o n d i t i o n s i n c e n o n - p a r a m e t r i c s t e r e o m a t c h i n gu s i n g i i 杭州电子科技大学硕士学位论文 r e l a t i v ei n t e n s i t yv a l u ei n s t e a do f o r i g i n a lo n e ，i ti sm o r er o b u s tt oi l l u m i n a t i o nc h a n g e n o n - p a r a m e t r i cm a t c h i n go n l yc o n t a i n ss i m p l eo p e r a t i o n s ，s oh a r d w a r el o g i cc i r c u i t i m p l e m e n t a t i o ni sp o s s i b l e t h i sp a p e rp r o p o s e da s c h e m eo ff p g ai m p l e m e n t a t i o n o fc e n s u ss t e r e om a t c h i n g d e s i g no fd a t af l o wa n dp r o c e s s i n gm o d u l e si sd e s c r i b e d i nd e t a i l s i m u l a t i o ni sm a d et ov a l i d a t et h ep e r f o r m a n c eo ft h i ss c h e m ea n dt h e a c c u r a c yo f m a t c h i n gr e s u l t s k e y w o r d s ：s t e r e od i s p l a y , s y n c h r o n o u sa c q u i s i t i o n ，t i m e - s h a d n g 功c o l o r - s e p a r a t i o n ， f p g a ，s t e r e om a t c h i n g i i i 杭州电子科技大学硕士学位论文 目录 摘要。i a b s t r a c t 第一章绪论1 1 1 研究背景1 1 2 立体电视的发展1 1 3 立体电视的基本原理及分类。2 1 3 1 佩戴立体眼镜的显示方式。2 1 3 2 自由立体显示方式3 1 3 3 立体显示器类型3 1 43 d 电视研究现状4 1 53 d t v 技术f p g a 实现的优势4 1 5 1f p g a 的基本结构5 1 5 2f p g a 开发流程7 1 6 本文主要研究内容。9 第二章3 d t v 同步采集技术l l 2 1 系统硬件平台1 l 2 1 1 视频解码芯片。1 2 2 1 2p c i 总线控制器。1 2 2 1 3f p g a 芯片及乒乓缓存。1 5 2 2 系统设计框图1 5 2 2 1 硬件电路级同步设计1 6 2 2 2 硬件描述语言级同步设计1 6 2 3 实验结果及分析1 9 2 4 本章小结2 0 第三章基于分时和分色技术的立体显示2 l 3 1 分时和分色技术概述2 l 3 2 系统设计框图2 2 3 3 基于v e r i l o gh d l 语言的功能模块设计2 4 3 3 11 2 c 配置模块2 4 3 3 2 采集模块2 6 3 3 34 。p o r ts d r a m 控制器2 7 3 3 4v g a 控制模块2 8 3 3 5 双路切换控制模块3 0 i v 杭州电子科技大学硕士学位论文 3 3 6 红蓝拼接模块3l 3 3 7 其他功能模块3 l 3 4 实验结果和分析3 2 3 5 本章小结3 2 第四章立体匹配3 4 4 1 引言3 4 4 2 匹配算法概述3 4 4 2 1 视差理论3 5 4 2 2 约束条件3 6 4 2 3 区域匹配算法3 7 4 3 校正4 0 4 4 匹配算法的f p g a 实现4 l 4 4 1c e n s u s 变换模块4 l 4 4 2h a m m i n g 距离计算模块4 3 4 4 3c e n s u s 相关求和模块4 4 4 4 4 比较输出模块4 5 4 5 实验结果与性能分析4 6 4 6 本章小结4 7 第五章总结和展望一4 8 致谢4 9 参考文献5 0 附录5 3 v 杭州电子科技大学硕士学位论文 1 1 研究背景 第一章绪论 3 d t v 也就是立体电视、三维电视，和传统的二维电视相比，三维电视增加 了第三维的“深度，从平面图像的显示发展到了立体图像的显示，立体显示技 术具有传统显示技术所不能比拟的高度临场感，能给观众带来身临其境的逼真感 觉和无与伦比的立体视觉享受。目前，视频技术正在完成从模拟视频到数字视频 的过渡，高清电视逐渐成为主流，三维视频技术势必成为未来电视技术发展的重 点。自2 0 1 0 年初上映的美国立体电影阿凡达以来立体电影的火爆程度以及 当前市场上层出不穷的三维立体电视类的产品，均表明人们对三维影像的热切期 盼【1 - 3 。 在一个世纪以前，人们就开始了对三维立体显示技术的研究，但由于技术的 限制，一直到上世纪末三维技术才逐渐成为国际上研究的热点。自活动图像专家 组( m p e g ) 成立3 d a v a dh o ei 作组以来，发布了“3 d a v 的应用和要求 和 “3 d a v 探索报告两个文州4 】，掀起了三维视频技术研究的热潮，欧美、日韩 还有我国的一些高校、企业都投身其中，相关产品也逐渐进入各个应用领域。可 以说，三维视频正方兴未艾，正处于向产品化、市场化转变的关键时期。 1 2 立体电视的发展 在欧洲的文艺复兴时期，绘画透视和雕塑艺术的研究和实践就已经表明了只 有给两只眼睛分别提供相对独立的图像，在恢复了双眼视差的情况下，才可能获 得真实的立体视觉。 1 6 世纪，人们开始使用不同的颜色为左右眼分别绘制有一定差异的图像， 然后通过滤光镜来观察，产生立体视觉的效果。 1 7 世纪末1 8 世纪初研制了“立体镜 ，它为每只眼睛提供独立的视觉通道， 立体感非常强烈，这种“立体镜 至今仍然是观察立体图像的一种有效手段。 1 9 世纪末电影发明后，科学家尝试用电影来表现运动的立体视觉图像，观 众通过配戴偏振光眼镜观察运动的立体图像。 2 0 世纪初黑白电视机发明，立体电视研究开始进行。 1 9 4 2 年，电视机发明人j o l h lb f i r d 将立体相片搬上了他的早期电视屏幕。 杭州电子科技大学硕士学位论文 2 0 世纪5 0 年代，彩色电视技术发展到接近实用阶段，“互补色立体分像电 视技术 被应用于立体电视。 2 0 世纪7 0 年代末，由于光开关新材料的应用，时分式立体电视技术出现。 2 0 世纪9 0 年代以来，随着液晶显示技术的成熟，以液晶、等离子为代表的 新一代显示设备以其全彩色精致影像画质、节省能源、无辐射、无闪烁等优点获 得了快速发展，目前已占据了平面显示市场的绝大部分份额。立体显示技术的研 究方向也已经集中于基于液晶平板显示器的裸眼立体显示技术p j 。 杭州电子科技大学硕士学位论文 右视图，从而使人产生立体感。缺点为当显示器的刷新频率不够时，会产生明显 的闪烁。 分色式是指左、右眼戴的镜片分别为红光或蓝光滤色片( 也有使用其他颜色 的) ，通过对视频进行处理，提取一路的红分量及另一路的蓝分量，然后叠加为 一路来显示，使得戴红光滤色片的眼镜只能看到红色的一路，戴蓝色滤色片的眼 镜只能看到蓝色的一路，由此来保证双眼分别看到左右场景图像，使观者产生立 体感。此种方式的缺点是色调单一，彩色信息损失大。 1 3 2 自由立体显示方式 所谓的自由立体显示方式是指不需要任何辅助设备，观者即可从显示器各个 角度观看立体场景，又被称为裸眼立体显示方式。常用的有视差栅栏式、柱透镜 光栅式、体三维技术和全息技术【w j ： 典型的基于视差光栅的自由立体液晶显示器结构是在液晶屏的前方或者后 方放置一块栅栏式的挡板，这样由于挡板的遮挡，观察者的单眼通过挡板上的一 条狭缝只能看到显示屏上的- - n 像素，如左眼只能看到奇像素列，而看不到偶像 素列；同样，右眼只能看到偶像素列，而看不到奇像素列。再对要显示的视频进 行处理，保证了分别由奇偶像素列组成的两路图像分别进入人的左右眼，最终形 成一幅具有深度感的立体图像。由于存在遮挡，图像的亮度降低了一半。 柱透镜光栅原理与基于视差光栅的自由立体显示技术类似，其利用柱透镜单 元的折射作用，把左右图像分别投射到对应于左右眼的视域，使左图像聚焦于观 看者左眼，右图像聚焦于观看者右眼，从而产生立体视觉。由于柱镜光栅是透射 式的，因此利用这种技术的优点是不遮挡显示画面，不影响显示亮度，立体显示 效果比较好。但其工艺要求高，每个透镜的截面需达到微米级。 体三维显示技术是利用旋转屏幕以及层叠液晶屏幕等技术，将原先的一幅幅 二维图像合成为具有真实立体感的三维图像，使之看起来如同真实的物体一样。 体三维显示技术能够给观众带来3 6 0 度全方位的立体视觉享受，真正实现动态立 体显示。 全息技术是利用连续的激光束干涉方式将3 d 图像记录在z d 媒体上，并利用 衍射现象重建3 d 图像。全息技术的特点是不受传统记录媒介与二维屏幕显示的约 束，可以在空间呈现出三维立体影像。 1 3 3 立体显示器类型 立体图像显示器有单用户立体显示器和多用户立体显示器之分【9 】。 单用户立体显示器能显示的立体范围较小，用户者能从特定的角度观看才能 3 杭州电子科技大学硕士学位论文 获得立体感，不同的角度会由于双眼无法接受到立体图像源而无法形成立体感。 单用户立体显示器多用在双目立体视频系统中，只能显示一个视点的三维场景。 多用户立体显示器的视频源有多个摄像机从不同角度拍摄相同场景而得到， 观者可从不同角度观看立体场景，而且不同角度立体场景也不相同。因此适合多 用户同时观看，但由于要容纳多对的视差图像，立体显示分辨率也就相应降低。 1 43 d 电视研究现状 2 0 0 8 年1 2 月1 8 日，华数联合英特尔、数源科技、茁壮网络和渡维电子联 合发布全球首款动感娱乐3 d 高清机顶盒。这款3 d 高清机顶盒内置英特尔新一 代芯c e 2 11 0 ，支持高清、标清直播、视频点播、3 d 动感游戏、j a v a 游戏等。 3 d 高清机顶盒提供7 2 0 p 、1 0 8 0 i 的标准高清输出。 n v i d i a 在c e s 2 0 0 9 上宣布推出业界第一套高清3 d 立体视觉方案，专为 g e f o r e e 显卡打造的“3 dv i s i o nf o rg e f o r c c 。该系统由高科技无线眼镜、高功 率红外发射器和配套驱动、软件组成，搭配g e f o r c e 8 9 2 0 0 系列显卡和g e f o r c e 1 8 0 8 1 等立体驱动程序，可以自动给3 5 0 多款p c 游戏带来立体效果。 2 0 0 9 年1 月1 6 日，t c l 集团率先在全球推出的首款商用3 d 立体液晶电视， 其立体显示效果是通过在液晶面板上加上特殊的精密柱面透镜屏，将经过编码处 理的3 d 视频影像独立送入人的左右眼，从而令用户无需借助立体眼镜即可裸眼 体验立体感觉。这款3 d 立体液晶电视具有很高的商业应用价值，可广泛运用于 地铁、机场、商场等公共场所作为新型信息载体使用。 2 0 0 9 年，经过多年研发，s a n g y a n g 自由立体显示器正式问世，实现商用。 它成功的实现了液晶显示器和裸眼立体显示技术的巧妙结合，具有近乎完美的自 由立体图像显示功能，给人们带来一场全新的视觉盛宴。 2 0 0 9 年3 月日本东京大学和日立公司联合宣布，他们在三维电视技术领域 已取得突破性的进展，将正式生产并向市场投放被命名为“t r a n s c a i p 的三维 电视。这套三维电视系统利用一个由不同角度的6 4 个摄像机所组成的阵列来捕 捉场景画面，所有摄像机和一台计算机上通过网线相连，计算机将摄像机所捕获 的场景图像通过编码转换成可显示的图像。“t r a n s c a i p 三维电视系统是真正的 裸眼显示系统，不需要观者戴上特别的眼镜，电视观众不仅可以获得与直播现场 几乎完全一样的逼真视觉感受，还可以通过互动对电视节目进行直接的控制。 1 53 d t v 技术f p g a 实现的优势 f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 作为目前功能最为强大的可编程逻 4 杭州电子科技大学硕士学位论文 辑器件，其内部的逻辑单元阵列结构使其拥有强大的并行处理能力，同时其内部 大量存储单元使其可以实现数据的多级流水线处理，而3 d t v 立体视觉系统作为 要求实时的系统，其实现恰需进行大量的图像数据的处理。因此，使用f p g a 做 为3 d t v 立体视觉系统的主处理芯片可以获得其他通用芯片无法比拟的系统性 能。 1 5 1f p g a 的基本结构 ! 技术的限制，其内部整合了常用功能的硬核模块如块r a m 、时钟管理和d s p 从图1 1 中可以看出，f p g a 芯片主要由6 个部分组成，即可编程输出输入单 i i o b ) 、可编程逻辑单元( c l b ) 、可编程连线单元、时钟管理( d c m ) 、 。式块r a m 、底层嵌入功能单元和内嵌专用硬件模块【1 0 1 。 举肇， 添缀 j 一l - ：_ ：ll 眵 锄醪锄 ； ，。l ，i 。 。r 4”螽 ：”一 圈 錾；藿 羔 i 一董：l “弧l l ! - l mll 髓i蒸嚣 ；fr 一 ”r 一r lf l 、 一、雾： “5 聋一 i f 岛l ：j ：rj 秀黟l 锵l 渊 l 雠l l 譬妻 争耋 ， l 。： j l _ r ”r 1 ；锚茎 r t 一 ，邋懑，懋鎏tt 懋懑1 图1 1f p g a 结构示意图 1 、可编程输入输出单元( i o b ) 可编程输入输出单元是f p g a 芯片与外部电路的接口部分，在不同电气特性 ；成对输入输出信号的匹配和驱动的要求。f p g a 内的f o 按组分类，分为不同 a n k ，每个b a n k 只能支持一种电压标准，只有相同的电压标准的接口才能连 ：一起。 2 、可编程逻辑单元( c l b ) c l b 是f p g a 内的基本逻辑单元，也是f p g a 芯片中所占比重最大的单元， f 量f p g a f - 数的重要依据。c l b 的实际数量和特性会依器件的不同而不同， ! 每个c l b 都包含一个可配置开关矩阵，此矩阵由4 或6 个输入、一些选型电路 ：路复用器等) 和触发器组成。通过对开关矩阵的配置来处理组合逻辑、移位 杭州电子科技大学硕士学位论文 寄存器和r a m 。由于c l b 模块查找表的结构，c l b 模块不仅可以用于实现组合 逻辑电路、时序逻辑电路，还可以配置为分布式r a m 和分布式r o m 。其查找表 一般为4 输入，目前有点芯片为6 输入，查找表可以完成纯组合逻辑功能；寄存器 可以配置为触发器( f l i p - f l o p ) ，并带有同步异步复位或置位的功能，同样也可配 置为锁存器( l a t c h ) 。一个查找表和一个寄存器的组合是比较经典的可编程逻辑单 元的配置。 3 、可编程连线单元 布线单元作为f p g a 内部通路，连通f p g a 内部所有单元，f p g a 芯片内部有 着丰富的布线资源，根据长度、宽度、工艺和分布位置的不同划分成4 个不同类 别。用于芯片内部全局时钟和全局复位置位的布线的全局布线资源，用于完成芯 片b a n k 间的高速信号和第二全局时钟信号的布线的长线资源，用于完成基本逻 辑单元之间的逻辑互连和布线的短线资源和用于专用时钟、复位等控制信号线分 布式的布线资源。 4 、嵌入式块r a m f p g a 内部嵌入的可编程r a m 模块使f p g a 的应用范围和使用另活性得到很 大的拓展，相对于片外黜w ，内嵌可编程r a m 具有控制简单、速度快的特点， 适用在少数据量处理的模块内使用。f p g a 内嵌的r a m 可以配置为多种存储结 构，如内容地址存储器( c o n t e n ta d d r e s s a b l em a n o r y ，c a m ) 、移位寄存器、单端 d r a m ( s i n g l e p o r tr a m ，s p r a m ) ，双端n r a m ( d o u b l e p o r t sr a m ，d p r ) ，以 及f i f o ( f i r s ti nf i r s to u t ) 等常用存储结构。通过对r a m 初始化赋初值，还可以实 现r o m 的功能，这解决了f p g a 没有r o m 的问题。 5 、底层嵌入功能单元 随着f p g a 的发展，为满足不同场合的需求，越来越多的通用程度较高功 能模块被嵌入到f p g a 芯片中，如d s p 、c p u 硬核、p l l ( p h a s el 0 c k e dl o o p ) 、 d l l ( d e l a yl o c k ml o o p ) 等。其中的c p u 或d s p 作为运算单元主要由加法器、 乘法器、快速进位链、数据选择器等结构组成，结合存储r a m 和逻辑单元可以 实现强大软运算功能，使f p g a 芯片具备了软硬联合系统的能力，达到了s o c 设计级别。 6 、时钟管理模块 大多数的f p g a 芯片都提供了数字时钟管理模块，时钟管理模块能够提供 精确的时钟综合，降低时钟抖动，并实现过滤功能。如x i l i n x 公司的时钟管理模 块d c m ，相比于传统的d l l ，功能更强大，使用更加灵活。d c m 的功能包括 消除时钟的延时、频率的合成、时钟相位的调整等系统方面的要求。 6 杭州电子科技大学硕士学位论文 1 5 2f p g a 开发流程 f p g a 的开发流程就是利用e d a 开发软件和编程工具对f p g a 进行开发的 过程。f p g a 的开发流程一般如图1 2 所示，包括设计定义、设计输入、功能仿 真、综合优化、前仿真、实现与布线后仿真、板级仿真以及芯片编程与调试等主 要步骤【1 1 1 。 1 、设计定义 在进行系统设计之前，系统工程师首要工作是根据系统设计要求进行的 f p g a 芯片的选型和方案的设计论证。系统方案的设计一般采用从上层到底层的 设计方法，首先将系统按功能分割为若干要实现的模块，然后对各个模块进行详 细设计，在模块中再划分为下层的功能模块，依次往下，直到可以使用基本的电 路元件。 2 、 设 入到开 输入法 杭州电子科技大学硕士学位论文 易于进行仿真，但效率低，不宜维护，移植性差，只适于进行简单电路设计时或 作为复杂设计的辅助时使用。硬件描述语言方法是目前常用的方法，其语言主要 为v h d l 和v e r i l o gh d l 两种。使用描述语言进行设计不必关心不同芯片的工艺， 方便进行模块的移植和维护，具有较强的逻辑描述和仿真功能，设计时输入效率 较高。 3 、功能仿真 功能仿真是在编译之前对用户所设计的电路进行逻辑功能验证，此时的仿真 并没有加入延迟信息，仅仅是对功能进行的初步检测。常用的工具有s y s n o p s y s 公司的v c s 、m o d e lt e c h 公司的m o d e l s i m 和c a d e n c e 公司的n c - v e r i l o g 以及 n c v h d l 等软件。 4 、综合优化 综合是使用开发工具将较高级层次的设计描述如硬件描述语言设计转化为 较低层次的描述。优化是根据目标和要求对逻辑连接进行优化，消除不必要的连 接，使分层次的设计平面化，易于开发软件进行下一步的布局布线。就目前的层 次来看，综合优化( s y n t h e s i s ) 将设计输入编译而成的并非为真实的门级电路，而 是由逻辑门、r a m 、触发器等基本逻辑单元组成的逻辑网表文件。由于各个厂 家综合工具的差异，h d l 语言的描述要符合特定综合器所要求的风格，才能转 换成所使用厂家标准的门级结构网表文件。常用的综合工具有s y n p l i c i t y 公司的 s y n p l i f y 软件以及各个f p g a 厂家自己推出的综合开发工具。 5 、前仿真 前仿真将综合生成的标准延时文件反标注到仿真模型中区，来估计门延时带 来的影响，检测综合结果是否和原设计一样。目前的综合工具较为成熟，对于一 般的设计可以省略这一步。常用的仿真工具有s y s n o p s y s 公司的v c s 、m o d e l t e c h 公司的m o d e l s i m 和c a d e n c e 公司的n c v e r i l o g 以及n c - v h d l 等软件。 6 、实现与布局布线 设计实现是将上面综合步骤所生成的逻辑网表映射到具体的f p g a 芯片上 去，其中最重要的过程就是布局布线。布局的过程是将逻辑网表中的硬件原语和 底层单元合理地映射到f p g a 芯片内部的固有的硬件结构上，如f p g a 芯片的 查找表结构，而且往往需要在速度最优和面积最优之间作出选择。布线过程是根 据布局完成后电路的拓扑结构，利用芯片内部的各种连线资源，连接各个元件模 块。目前，由于f p g a 的结构非常复杂，特别是在有时序约束条件时，需要利 用时序驱动的引擎进行布局布线。布线结束后，软件工具会自动生成有关设计中 各部分资源的使用情况的报告。布局布线必须选择芯片开发商所提供的工具，这 是由于只有f p g a 芯片生产商对自己的芯片结构最为了解。 8 杭州电子科技大学硕士学位论文 7 、后仿真 后仿真，是指将布局布线的延时信息反标注到设计网表中来检测有无时序违 规即不满足时序约束条件或器件固有的时序规则，如建立时间、保持时间等现象。 时序仿真包含的延迟信息最全、最精确，能较好地反映芯片的实际工作情况。由 于不同芯片的内部延时不一样，不同的布局布线方案也给延时带来不同的影响。 因此在布局布线后，通过对系统和各个模块进行时序仿真，分析其时序关系，估 计系统性能，以及检查和消除竞争冒险是非常有必要的。在前仿真中介绍的软件 工具一般都支持综合后仿真。 8 、板级仿真与验证 板级仿真验证主要应用在高速电路的设计中，分析高速系统的信号完整性、 电磁干扰等特征，一般使用第三方工具。 9 、芯片编程与调试 设计的最后一步就是芯片编程与调试。芯片编程是指将产生的数据文件( 位 数据流文件，b i t s t r e a mg e n e r a t i o n ) 下载到f p g a 芯片中。其中，芯片编程需要 满足一定的条件，如编程电压、编程算法和编程时序等方面。逻辑分析仪是f p g a 设计的主要调试工具，但需要引出大量的测试管脚，且其价格昂贵。目前，主流 的f p g a 芯片生产商都提供了内嵌的在线逻辑分析仪( 如x i l i n xi s e 中的 c h i p s c o p e 、a l t e r aq u a r t u s i i 中的s i g n a l t a p i i 以及s i g n a i p r o b ) 来解决上述矛盾， 它们只需要占用芯片少量的逻辑资源，具有很高的实用价值。 1 6 本文主要研究内容 本文以f p g a 作为硬件平台，对当前3 d t v 显示的相关技术展开研究，重点 探讨了立体显示技术中作为前提的同步采集技术，需佩戴专业眼镜的分时、分色 显示技术及多视点立体显示所需立体匹配技术，并提出了一种非参数化的立体匹 配算法的f p g a 实现。各章的具体内容安排如下： 第一章概述当前立体显示技术的相关原理及分类，简单介绍了当前市场上有 关3 d t v 所取得的一些研究成果；说明了3 d t v 技术使用f p g a 实现的优势，并简 单介绍了f p g a 的基本结构以及f p g a 的典型的开发流程。 第二章就3 d t v 系统的前端采集技术展开讨论。在己设计完成的基于f p g a 的双目立体视觉采集系统的基础上，提出了一种从粗略到精确的二级同步技术： 硬件电路级的粗略同步以及基于v e r i l o gh d l 的硬件描述语言级的精确同步。在 硬件描述语言级同步设计中，又提出了从场级同步到像素级同步的分级同步控制 策略。最终实现双目图像的像素级同步采集，为后续立体显示相关的校正、匹配 处理提供同步的左右场景图像。 9 杭州电子科技大学硕士学位论文 第三章就当前主流的立体显示技术需专业眼镜的分时、分色技术展开详 细的论述。分别提出了基于f p g a 的分时和分色技术的两套显示方案。在分时显 示方案中，提出了一种实时的切换技术，配合液晶开关眼镜，可观看到实时的立 体视频；在分色方案中，分别完成两路视频r 、g 、b 分量的提取及视图叠加，配 合红蓝眼镜观看实时立体视频。 第四章就在虚拟多视点立体显示系统中关键技术立体匹配算法展开讨 论，介绍了立体匹配算法的分类，以及匹配前校正过程的实现，提出了一种非参 数化匹配算法c o n s u 8 算法的数据流程和基于f p g a 的硬件实现方案。 杭州电子科技大学硕士学位论文 第二章3 d t v 同步采集技术 采集是3 d t v 系统的前提和关键，它直接影响到系统的后续处理包括将 在后面章节介绍的图像的校正、匹配等，其中双目采集为3 d t v 系统中最基本以 及最易于实现的采集方式，双目采集的难点在于两路视频信号采集的实时同步性 【1 2 】。目前市场上消费类或工业级多路图像采集卡都是基于分时操作和多路切换 的工作模式，无法真正实现两路或多路视频的实时同步采集。 本章在已设计完成的基于f p g a 的双目立