（计算机应用技术专业论文）基于fpga的键控系统的研究与实现.pdf

摘要 摘要 随着广播电视制作技术的不断发展，观众对节目质量的要求也越来越 高，传统的搭建实景进行拍摄的方式不但耗费大量的时间和人力物力，而 且在很多情况下不能满足摄制要求，因此虚拟演播室技术便应运而生，近 年来的应用要求也越来越迫切。键控技术作为虚拟演播室中的核心技术成 为研发的热点。 本文深入探讨了由作者负责研究设计并且实现的基于f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 技术的数字键控系统，建立了一个能够有效抠像和 合成的稳定软硬件环境，并在实际项目中得到了应用，课题具有理论和实 际意义。 首先，在分析了传统的抠像技术的基础上提出了一种双前景抠像技术， 实现了将前景从任意颜色背景中抠出，并很好的解决了透明物体的抠像。 其次，在分析了数字电视信号量化标准之后，指出了传统键控存在的 问题，对运算公式进行了改进，并提出两级映射的方式以提高处理的速度 和精度。 再次，详细讨论了在图像叠加过程中应解决的问题，在分析了数字电 视信号数据结构的基础上，提出了对各路信号进行t b c ( t i m eb a s ec o r r e c t ) 处理的方法，同时解决了对键信号进行有效数据提取的问题，并通过选择 插入的方式对辅助数据进行了保护。 最后，介绍了数字键控系统的体系结构和键控系统的工作模式，设计 并实现了该数字键控系统。经实验测试与分析证明了该系统完全符合数字 电视的播出标准。 关键词键控；虚拟演播室；数字视频；f p g a 技术；抠像 燕山大学工学硕士学位论文 a b s t r a c t w i t ht h e d e v e l o p m e n t s o fb r o a d c a s ta n dt e l e v i s i o nm a n u f a c t u r e t e c h n o l o g y , t h ep r o g r a mq u a l i t yt h a ta u d i e n c er e q u e s tb e c o m em o r ea n dm o r e h i g h , t h et r a d i t i o n a lm o d et h a tb m l d st h er e a l l i f es c e n e r yt oc a r r yo nt h e p h o t o g r a p h yn o to n l yt oc o s tt h em a s s i v et i m ea n dt h ee n e r g y , b u ta l s oc a n 。t s a t i s f y t h ep r o d u c t i o nr e q u e s tm u c ho ft i m e ，t h e r e f o r et h ev i r t u a ls t u d i o t e c h n o l o g ya p p e a ra n di sa p p l i e dm o r ea n d m o r ew i d e l yi nt h er e c e my e a r s a s t h ec o r eo f v i r t u a ls t u d i o ，k e yt e c h n o l o g yi sh o tp o to f t h er e s e a r c h i nt h i sa r t i c l et h ed i g i t a lk e ys y s t e mb a s e do nf p g a 饵i e l dp r o g r a m m a b l e g a t ea r r a y ) i sd i s c u s s e dw h i c hw a ss t u d i e da n di m p l e m e n t e db yt h ea u t h o r t h i se s t a b l i s h e dt ob ea b l ee f f e c t i v e l yt od i go u ta n ds y n t h e s i ss t a b l es o f t w a r e a n dh a r d w a r ee n v i r o n m e n t ，a n dh a sa p p l i e di nt h ea c t u a lp r o j e c t t h i sr e s e a r c h b o t l lh a v et h r o ea n dr e a l i t ym e a n s f i r s t ，o n ek i n do f d o u b l ef o r e g r o u n dm a r i n gt e c h n o l o g yi sp r o p o s e db a s e d o na n a l y s e so f t r a d i t i o nm a r i n gt e c h n o l o g y t h i st e c h n o l o g yc a nb eu s e dt od u g o u tt h ef o r e g r o u n df r o mt h ef r e ec o l o rb a c k g r o u n d ，w h i c ht r a n s p a r e n c yo b j e c t s d u go u t t h ep i c t u r ec a nb es o l v e dp e r f e c t l y t h e n , t h ed i g i t a lt e l e v i s i o ns i g n a lq u a n t i f i c a t i o ns t a n d a r di sa n a l y z e d , b a s e o nt r a d i t i o n a lk e ym o d u l a t i o ne x i s t e n c ep r o b l e mi sp o i n t e do u t t h em e t h o dt o i m p r o v et h eo p e r a t i o n a lf o r m u l ah a sm a d e t w ol e v e l so fm a p p i n gw a ya r e p r o p o s e dt oe n h a n c e t h ep r o c e s s i n gs p e e da n dt h ep r e c i s i o n a f t e rt h a t , t h ei s s u e ，w h i c hs h o u l db e s o l v e di nt h ep i c t u r ea d d i t i v e p r o c e s s ，i sd i s c u s s e di nd e t a i l o nt h eb a s eo f a n a l y z i n gd i g i t a lt e l e v i s i o ns i g n a l d a t ac o n s t r u c t i o n , t b c ( t i m eb a s ec o r r e c t ) p r o c e s s e si sp u tf o r w a r dt oa p p l y i ne a c hg r o u ps i g n a l e f f e c t i v ed a t at a k e no f ff r o mt h ek e ys i g n a li sa l s os o l v e d a n dt h ec h o i c ea n di n s e r t i o ni su s e dt op r o t e c ta s s i s t a n td a t a a b s t r a c t f i n a l l y , t h ed i g i t a lk e y e ds y s t e ms t r u c t u r ei si n t r o d u c e d , a sw e l la st h ek e y c o n t r o ls y s t e mw o r k i n gm o d e t h i ss y s t e mi sd e s i g n e da n dp u ti n t oe f f e c t t h e s y s t e mi sp r o v e dt ob es t a n d a r df o rd i g i t a lt e l e v i s i o nb ye x p e r i m e n tt e s ta n d a n a l y s i s k e y w o r d sk e y ；v i r t u a ls t u d i o ；d i g i t a lv i d e o ；f p g at e c h n o l o g y ；m a t t i n g t e c h n o l o g y i l l 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于f p g a 的键控系统 的研究与实现，是本人在导师指导下，在燕山大学攻读硕士学位期间独立 进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含 他人己发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人 和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承 担。 作者签字季童 醐。叫年q - 月君日 燕山大学硕士学位论文使用授权书 基于f p g a 的键控系统的研究与实现系本人在燕山大学攻读硕士 学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大 学所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人 完全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有 关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权 燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文 的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密囱。 ( 请在以上相应方框内打。”) 日期：砷年哪日 a 搬铀7 年倒班 蔓易李献太矿 名 名 签 签 者 师 作 导 第1 章绪论 1 1 研究背景 第1 章绪论 在当前社会中，随着电视成为最广泛的大众传播媒介和娱乐工具，电 视观众对于电视的欣赏水平正在不断提高，对于电视制作及电视技术也提 出了更高的要求。为满足这种电视制作的要求，电视技术在向数字化、信 息化、网络化、个性化、互动化发展。虚拟演播室技术成为了2 1 世纪的新 热点。在其后期制作中，将实拍的人物与电脑绘制的虚拟景物有机地结合 起来，给观众以全新的视觉享受。但这种需要大量时间进行后期合成的方 式无法满足现代电视生产周期短、时效性强的需求。因此虚拟演播室技术 应运而生。虚拟演播室技术一经问世，便在电视制作领域得到了认可和接 受。这一技术使电视导演可以摆脱时间、空间及道具制作方面的限制，在 广泛的想象空间中进行自由创作【l 】。 虚拟演播室是建立在高速图形计算机和视频色键基础上发展起来的演 播室技术。在虚拟演播室系统中，现场视频可以实时地与计算机产生的三 维图形完美无缺地集成在一起，构成一个现实中不存在的，但是在电视画 面里却又起到演播室作用的那种假想的新的环境和气氛，并且极为灵活地 根据用户需求进行定$ i j t 2 j 。一台工作站可与多台摄像机连接，摄像机可在 虚拟演播室中随意移动，它突破了传统布景、道具、灯光、场地等演播室 制作工艺的限制，虚拟模型可使用户在布景、拆景及贮存道具方面节省大 量开支。同时，用户还可以通过建立三维模型得到真实道具所不能达到的 特殊效果。无疑虚拟演播室可以极大地提高电视台对节日的创作和制作能 力，具有灵活、可重用、操作性强等特点，同时避免了人力、物力的浪费， 节省了电视台的节目制作时间和数据存储空间。对开拓电视节目空间，降 低节目制作费用有着十分重要的意义【3 1 。 与此同时，广播电视作为重要的宣传媒体，是关系到国计民生的重要 燕山大学工学硕士学位论文 部门。它不但承担着提高人民文化生活质量的责任，同时也是党和国家的 喉舌，承担着引导，教育人民的责任，对文化、思想、宗教、政治都有重 大的影响。目前大量的日本及欧美广播电视产品充斥我国市场，势必对国 家安全构成潜在的威胁，所以开发具有自主知识产权的产品成为我国发展 广播电视行业的重中之重，具有重要的政治意义。 虚拟演播室是在色键系统的基础上发展起来的。传统色键( c h r o m a - k e y ) 合成系统是电视节目制作中常用的合成手段，通常用于将前台人物表 演加在不同的背景图像上【4 】。色键系统的原理就是将主持人或演员置身于 蓝色或绿色背景幕布前表演，然后利用切换台上的色键功能将前景图像中 的色度与其作背景的彩色幕布的色调差别作为形成键控电压的依据，并利 用此电压去“抠”要插入的画面，然后再将前景图像填入画面。这样就将 主持人从蓝色背景中分离出来，再用其他图像作为背景填充蓝色部分，形 成一幅天衣无缝的合成画面。抠像技术的关键是使用与前景人物区别极大 的高饱和度的色彩作为背景色，在作色键抠像时，这部分的颜色就会被背 景图像的相应部分所代替，这种系统现在电视制作中应用得非常普遍。 本研究课题是北京碧玺广播电视技术有限责任公司所承接的北京电视 台虚拟演播室改造项目的一部分。课题主要是利用r p g a ( r i e l dp r o g r a - m m a b l eg a t e a r r a y ) 技术和视频专用处理芯片，实现了一个多功能、高稳定、 无画面扭曲抖动的数字键控系统。利用该系统对现有的数字键控系统进行 了改进。为数字电视画面制作和编辑提供了一个良好条件。 1 2 虚拟演播室技术简介 在传统的电视节目制作过程中，为有一个美观，多彩靓丽的演播室布 景，制作人员必须精心设计和搭建表演区和场景，这需要耗费大量的人力、 财力用在道具的购买，场景的布置和维护上，如价格昂贵又难以维护的大 屏幕电视墙等，而且制成的场景无法即时更新和变换，如要改换只能重建， 资源利用率低且工作周期长，即使如此，许多场景、舞台效果仍无法实现。 虚拟演播室采用了传统的色键合成系统，并且突破了传统色键系统的 第1 章绪论 限制，消除了摄像机不能与背景同步运动的致命弱点，做到真实的演员能 深入到虚拟的三维场景中，并能与其中的虚拟对象实时交互【5 】。一般来说， 一套典型的虚拟演播室系统由三个子系统组成：摄像机参数跟踪，计算机 图形绘制和视频抠像合成。 摄像机参数跟踪，即在虚拟演播室中人物在一间蓝室里进行现场表演， 摄像机采集前景视频信号，同时摄像机上的跟踪系统实时提供摄像机移动 的信息，一般需要至少两台摄像机来进行跟踪。通常三维场景的虚拟演播 室还需要通过一台处于演播室顶部的摄像机来跟踪景深或者在人物活动的 地面上设置虚拟网格来对人物进行定位 6 1 。 通过摄像机跟踪得到的这些数据被送至一个三维图形计算机，三维图 形计算机实时产生一个逼真的虚拟环境，该操作需要采用专用的高性能图 形计算机实现，以保证数据的实时性和稳定性。 接下来的操作即视频抠像合成。以蓝色屏幕为背景拍摄的摄像机图像， 经时序调节后，与选自计算机的虚拟背景以同步时序进行工作，并通过色 度键控器“联合”在一起，实时产生一个组合的图像。也就是说把摄像机 的工作情况实时传给图形绘制系统，图形绘制系统根据当前摄像机的位置 实时地绘制出相应的背景信号和遮挡信号，然后再由合成系统根据遮挡信 号来合成前景视频信号与背景信号，形成一个为我所用的视频信号。 由于计算机图形技术的迅速发展，计算机实时绘制各种复杂逼真的三 维场景已成为可能。这些场景可以与摄像机摄制的视频信号完美地合成在 一起，使演员表演的空间得到扩展。同时“虚拟摄像机”可合成进系统中， 它可实现的功能如在演播室范围外游移，以完全不同的场景出现或飞出演 播室之外到达遥远的地方，并可在运动中安全、平滑地返回虚拟演播室场 景，过渡到真实的摄像机【7 】。另外使用“虚拟蓝背景”技术可允许摄像机 拍摄蓝背景以外的事物，不受现场演播室的局限。现场的演员可以在虚拟 演播室中与三维背景呈现真实的透视关系，同时允许插入视频片断、互相 作用的三维特技效果、图形、音频及其它更多的东西。所有三维场景可根 据摄像机的运动进行实时更新。在感觉上，现场视频及三维场景是由同一 台摄像机拍摄的。虚拟演播室强调实时性，演员的现场动作与计算机场景 燕山大学工学硕士学位论文 能实时地合成，合成后的场景能及时地反馈给摄影师和演员，以便帮助摄 影师调整拍摄动作，帮助演员调整表演动作。 虚拟演播室系统的组成框图如图1 1 所裂8 】。摄像机拍摄的人物在带 识别标志的蓝屏前表演的视频图像第一路送数字图像处理部分，实时获取 运动摄像机的内外参数。另一路送视频延时器，以保证前景与虚拟背景在 合成时严格同步；其输出送数字色键器，从带识别标志的主持人图像中去 掉识别标志和蓝背景部分，并给出描述前景与虚拟背景融合比例的键信号。 三维虚拟场景制作工作站既能根据节目需要制作虚拟场景，又能借助三维 加速卡在摄像机运动参数控制下实现变换场景。 虚拟演播室以其自身的特点还能制作很多特殊的视觉效果，例如，如 图1 1 中所示，有两路外来视频i ，i i ，用户可以选择将外来视频源i 送入 虚拟场景发生器，显示在虚拟场景中的虚拟大屏幕电视墙上，如我们在观 看体育新闻时主持人左上角的小屏幕即是采用这种方式。外来视频源i i 送 入图像合成器，可以制作出众多的特殊效果，如可以叠加的台标，字幕等， 还可以添加更多的外来视频源以制作更复杂的视觉效果。这些都是传统的 演播室所无法做到的。 从虚拟演播室系统结构图中可以看出，虚拟演播室主要包括三个部分： 摄像机运动参数的获取和实时计算、实时色键计算、三维虚拟场景实时生 成和输出。 图1 1 虚拟演播室系统结构框图 f i g u r e1 - lc o n s t r u c t i o no f v i r t u a ls t u d i os y s t e m 4 第1 章绪论 1 3 国内外研究现状 实际上，早在1 9 9 3 年，位于美国西海岸的u l t i m a t t e 公司就开始展示 了由s m i t h l 主持设计的虚拟演播室系统。在之后1 9 9 5 年的荷兰i b c 国际 广播展览会上，g m d 、o r a d 、a c c o m 等许多公司也都展示了他们的虚 拟演播室系统。虽然当时展出的虚拟机演示千篇一律，但这并没有减少业 内人士对虚拟演播室系统的极大关注。在以后的几年中，新的虚拟机不断 克服早期虚拟产品的某些技术难题，使虚拟演播室技术逐渐走向成熟，并 得到逐步推广和使用【9 】。 虚拟演播室的研究主要集中在企业，如上面提到的u l t i m a t t e ，g m d 等公司，同时很多学者的研究也对虚拟演播室的发展起到了很大的推动作 用，如日本教授m i s h i m a 在1 9 9 9 年提出的基于典型背景采样的m i s h i m a 算法，美国学者r u z o n m a 和c a r l ot o m a s i 在2 0 0 2 年提出的r u z o n - t o m a s i 算法都极大的提高了虚拟演播室的抠像性能。 到目前为止，在全世界已经有1 0 多个虚拟演播室品牌推向市场，按照 摄像机的跟踪方式的不同，可将这1 0 多个品牌划分为传感器和图形识别两 种方式，其中机械传感方式占7 3 ，图形识别方式占2 7 。而且三维虚拟 场景占7 7 ，二维虚拟场景占2 3 。世界各国各大电视台及节目制作单位 已经采用1 0 0 多套虚拟演播室系统。其中以美国、欧洲、日本为主1 1 0 】。 中国中央电视台继日本、新加坡、中国台湾( 地区) 之后购买了第一台 m i n d s e t 虚拟演播室系统。并且在1 9 9 8 年法国世界杯足球赛期间第一次采 用虚拟演播室技术进行大型体育赛事的电视转播。目前中央电视台己用虚 拟演播室系统制作出许多优秀的电视节目，我们每天关注的天气预报是其 中的一个典型应用。 目前，国外主要的代表产品有：g m d 公司的3 d k 系统，以色列o r a d 公司的c y b e rs e t 系统，美国a c c o m 公司的e l s e t 系统，以色列r t - s e t 公司的l a r e s 系统，美国e v a n s a n ds u t h e r l a n d 公司的m i n d s e t 系统，以及 n i i k 公司的s y n t h e r s i o n 系统等等。 国内的多媒体虚拟演播室系统的发展也非常迅速，主要的代表产品有： 燕山大学工学硕士学位论文 奥维迅的“新闻虚拟演播室系统”，北大方正的“方正虚拟布景系统”，大 洋的“大洋虚拟演播室系统”，新奥特的“n a s e t - 1 0 0 虚拟演播室系统”， 深圳华强的“华强虚拟演播室系统h i s e t ”，索贝的“新视野虚拟场景合 成系统”等等。这些厂商在b i r t v2 0 0 6 国际展览会上都推出了自己最新 的虚拟演播室系统。 目前，国内产品与国外产品相比较，仍然存在不少的差距，主要表现 在：国外的虚拟演播室产品一般基于工作站平台开发，成本较高；生成的 三维图形图像的质量高、速度快；摄像机参数的获取多采用机电跟踪和光 电跟踪相结合的方法；可以在场景及前景的任意位上插入活动视频；虚拟 摄像机可以在实际演播室边界以外的地方漫游摄像；三维音响效果可以被 激活并与其他动画或特技联系起来；完备的提示系统；在制作过程中没有 现场视频和音频的延迟等等。国内其他同类虚拟演播室系统基于服务器； 主要用二维图像作为虚拟背景，通过视角变化产生三维的视觉效果；摄像 机参数的获取采用机电跟踪的方法】。 1 4 本文的主要研究工作 课题的主要研究内容是结合电视台虚拟演播室系统，分析研究如何建 立一个基于f p g a 技术及专用视频芯片的数字键控系统。着重研究如何提 高视频抠像质量，消除扭曲和抖动，对错误帧进行修整。探讨数字键控系 统对视频信号进行抠像的方法，同时保证处理结果的准确度，并通过软件 和硬件结合的方法使系统具有输出高稳定和高性能视频信号的能力。 课题主要从以下几个方面来进行研究，详细讨论数字键控系统结构中 的几个关键问题。 ( 1 1 数字抠像技术的分析与研究准确无误地抠像是进行键混合的必 要条件。通过对色键抠像算法深入研究及数学建模，得到求解前景中视频 图像的蒙片方程和通式，提出一种双前景抠像技术。 ( 2 ) 对传统的基于模拟键控的公式进行改进分析传统的模拟键控存 在的问题，并对公式进行改进，给出通过两级查找表实现两级映射的方法， 6 第1 章绪论 以提高处理速度和精度。 ( 3 ) t b c ( t i m eb a s ec o r r e c t ) 处理研究对视频信号进行t b c 处理的实 现方法，同时在实现同步的基础上加入微调的功能，加入缓冲区，以使用 户可以调节各路视频信号。同时实现每行校正，确保视频象素的完全吻合。 ( 4 ) 有效数据和辅助数据处理分析键信号的结构，研究如何提取有效 数据的方法。分析辅助数据，研究在键混合操作完成之后在重新插入到相 应位置的方法。 ( 5 ) 软硬件实现从实践的角度出发，研究数字键控系统软、硬件实现 方法，并对图像质量和信号技术指标进行分析评估。 1 5 论文结构 本论文共分6 章，各章内容如下。 第l 章为绪论。本章简要介绍了数字键控系统的研究背景以及虚拟演 播室系统的构成和技术特点，介绍了课题的国内外研究现状及研究意义。 第2 章为数字键控系统结构分析与研究。根据虚拟演播室的工作原理 及特征，以及视频信号结构给出了系统的需求分析。通过研究键控器结构 和技术要点，指出键控系统设计的关键，提出了数字键控系统所要解决的 各种问题。 第3 章为色键抠像技术的分析与研究。通过对各种传统抠像算法的分 析，提出了一种双前景抠像算法，并通过相应的实例，证明它可将视频对 象从任意颜色的底色中抠出。 第4 章为信号处理机制的改进。首先通过分析数字电视信号的量化方 式，找出在键控实现过程中会出现的问题，进而提出对线性键公式改进的 方法，并最终通过两级映射的方式来提高处理速度和精度。 第5 章为图像叠加操作的实现。分析数字电视信号的数据结构，提出 了图像叠加中信号t b c ，键信号有效数据提取，以及辅助数据处理的实现 方法。 第6 章为键控系统的实现与实验分析。介绍数字键控系统的硬件体系 7 燕山大学工学硕士学位论文 结构，以及键控系统的工作模式，进行试验及试运行，反复调试修改后给 出了实验测试结果与分析结论。 第2 章键控系统的分析 第2 章键控系统的分析 “键”( k e y ) 就是通常所说的抠像，在传统电视节目制作过程中使用很 普遍。它的本质就是“抠”和“填”，“抠”就是由控制电平将画面沿一定 的轮廓线抠掉( 变为黑色) ，“填”就是将所要叠加的视频信号填到被抠掉的 区域，键控特技的原理与分画面特技相似，键控特技的效果也是参与切换 的两路视频信号的图像在屏幕上分割画面，两者的区别在于，键控特技的 分割形式可以是任意形式，可产生比分画面特技复杂的多的画面分割，创 作出丰富多彩的艺术效果，而不像分画面那样，仅仅为规则的几何形状【1 2 】。 键控特技所需的门控信号称为键控信号或键信号，键信号由作为键源的视 频信号通过键处理器产生。键控特技具有视频切换开关的性质，在有键信 号的时候背景图像通不过，让前景图像通过，没有键信号的时候让背景通 过，而前景图像通不过，视频切换开关输出合成图像的背景和前景即是被 抠图像和填充图像。 2 1数字键控系统结构 键控处理的对象是三路数字电视信号，分别是前景信号( 也称填充信 号) ，背景信号，键源信号。数字键控系统结构如图2 - 1 所示，下面介绍一 下各部分的功能。 ( 1 ) 抠像处理该处理是整个系统的核心部分，是“抠”与“填”的关 键。处理主要是通过计算将前景图像中的人物或者物体的色度与其作背景 的彩色幕布的色调差别作为形成键控电压的依据，产生一个能够用于键控 合成的键信号。 ( 2 ) t b c 即时间基准校正。三路信号在进行键混之前首先要进行t b c 处理，因为三路信号的来源可能各不相同，包括由演播室信号，转播车的 转播信号，由卫星信号源端的卫星信号，切换台输出信号，演播室制作的 9 燕山大学工学硕士学位论文 视频信号等【b 以5 1 。t b c 需要解决的问题可以概括为两个：第一，对每一个 “长短不一”的错误视频帧进行修整，达到与参考信号相同的标准。第二， 对各路视频信号进行同步处理以达到在时间和相位上的严格统一。 前景信号 图2 1数字键控系统结构 f i g u r e2 - 1c o n s t r u c t i o no f d i g i t a lk e ys y s t e m ( 3 ) 有效数据提取键信号是一个标准格式的数字电视信号，与其它视 频信号的区别是它并不包含正常的数字电视视频信号，而是只包含键控信 息，并且键控信息只是包含在其信号的亮度信息中，其中的色度信息并不 是有效的键控信息。在进行键混合之前，需要提取出其中的亮度信息。 ( 4 ) 图像叠加操作在具体的图像叠加操作中，因为数字电视信号自身 的数据结构和量化范围的影响，在进行键混合时以前应用于模拟键控的方 法已经不能适应目前数字计算的需要。所以在进行操作之前对数字电视信 号进行线性映射，改变原先电视信号的值域范围。在操作完成之后，反映 射回电视信号的值域范围。然后通过乘法和加法操作实现混合。 ( 5 ) 选择器在数字电视信号的行消隐和场消隐中包含有各种辅助数 捌1 6 1 。经过键混合之后的电视信号，虽然两幅图像进行了混合，但同时也 破坏了原视频数据的辅助数据，而在正常的视频数据中这些信号是必不可 少的，所以要在行、场消隐期选择输出背景信号的数据，从而达到保护辅 助数据的目的。同时可以让用户选择预监各路信号。 ( 6 ) e d h ( e r r o rd e t e c t i o na n dh a n d l i n 9 1 错误检测处理。e d h 处理模块 从待输出的视频信号流中计算出动态场的检查和，清除数据流中的错误标 1 0 第2 章键控系统的分析 志，并将e d h 包插入到输出数据流中【1 7 】。 2 2 数字键控技术的分类 键控作为电视节日制作过程中的重要技术，随着科技的发展制作方式 也日益丰富，下面我们就来讨论一下键控技术的分类 1 8 , 1 9 l 。 2 2 1 按键源的性质分类 ( 1 ) 内键键源与填充信号源于同二- 个图像信号，该信号分成两路，其 中一路经过键控信号处理器产生抠像电视信号，另一路作为“填充信号” 填入被抠掉的部分。内键也称自键。内键特技以前常用于黑白字幕的插入， 键源信号通常是在黑底上的白色字符或图形，它的电平只有高低两种，且 对应白色部分的电平高，如果填充信号记作a ，背景信号记作b ，则内键 可简述为a 抠b 填a 。这种技术现广泛地应用于色键特技。将叠加的全电 视信号经消色电路和放大整形处理后，形成抠像键控信号，从而进行混合 叠加。 ( 2 ) 外键相对于内键特技而言，外键特技的键信号不是由前景( 填充) 信号或背景信号形成的，而是由第三路视频信号作为键源所形成的，外键 的键源信号也是由黑底的白色字符或图形形成。填充信号通常为单一色调 的彩色信号，因此外键特技通常用于彩色字幕的插入。如果填充信号记作 a ，背景信号记作b ，键源信号记作c ，则外键可简述为c 抠b 填a 。 2 2 2 按键源图像成分分类 ( 1 ) 亮度键它是利用键源图像中亮度成分来形成键信号，亮度键要求 键源图像要有较高的亮度反差，即要求键源中作前景的图像部分要亮，其 余部分要暗，要形成明显的黑白反差，亮度键又称黑白键。图2 - 2 为亮度 键原理示意图。显然从图中可以看出，亮度键可以是内键也可以是外键。 ( 2 ) 色度键又称色键，它是利用彩色幕布的前景图像( 填充信号) 的色 度成分与其后的彩色幕布的色调差别来形成键信号，用键信号去抠背景图 燕山大学工学硕士学位论文 像，再填入彩色幕布的前景图像。色键也是内键的一种形式，所不同的是 键信号的形成方式，内键是利用键源图像信号的黑底和白字符之间的亮度 差别来形成键信号，而色键是利用键源信号的彩底和前景图像之间的色调 差别来形成键信号，同时键源信号又作为填充信号。图2 3 为色键原理示 意图。 图2 - 2 亮度键原理示意图 f i g u r e2 - 2s k e t c hm a p o f l u m i n a n c ek e y 图2 3 色度键原理示意图 f i g u r e2 - 3s k e t c hm a po f c h r o m ak e y 色键要求键源图像信号有较高的色度反差，即要求键源信号中作前景 的图像不能含有其后的幕布的彩色色调相同或相近的色调，也就是要求键 源信号的前景和背景的色调尽量分开，最好是补色关系，以保证两者之间 的色调差别。为在电视制作中获得最佳视觉效果，使用色度键时应尽量满 第2 章键控系统的分析 足下列要求：背景平坦，照明条件好，颜色均匀，视频必须以分量格式拍 摄等。 2 2 3 按键信号的波形分类 ( 1 ) 硬色键键信号波形是前后沿很陡的矩形脉冲信号，硬色键合成输 出图像的前景和背景的分界处有抖动和突变现象，使人感到生硬和不自然， 还存在分界处彩色闪烁和有幕布色镶边等现象。另外，对于自然景物中的 半透明物体作为合成图像前景图像时，其后面的背景图像应该是部分地透 明，但是硬色键在任何瞬间其键信号所控制的视频切换开关不是接通就是 断开，键信号只有两种取值，不是高电平就是低电平，因此硬色键合成图 像中前景图像不是全透过就是全不透过其后的背景图像，这与我们日常见 到的自然景观是不同的，所以硬色键特技给人缺乏真实效果的感觉。在硬 色键中，键信号为高电平时视频开关接通，前景图像全透过其后的背景图 像，键信号为低电平时视频开关切断，前景图像全不透过其后的背景图像。 ( 2 ) 软色键键信号波形是与前景透明度相关的斜坡形信号，键信号在 上升和下降期间有一定的斜率，软色键能够在很大程度上克服硬色键的上 述缺点，软色键中将用于硬色键的脉冲门控混合电路改成了线性混合电路。 目前，在软色键的基础上发展了线性键控特技( 也称透明键或a l p h a 键) ，线性键是具有半透明混合效果的键控特技，其键信号决定合成图像中 前景图像和背景图像以什么样的透明度可见，即键信号根据前景图像的透 明度而线性的成比例地决定前景信号与背景信号的合成比例。线性键的数 学模型可用式( 2 1 ) 表示。 v o w = k + + ( 1 一k ) ( 2 1 ) 式中。为前景信号和背景信号合成后的输出信号，为前景信号，为 背景信号，置为键信号，k 值取值范围为肛l 。 从该式可知，当蠡每1 时，：，r = ，此时线性键的合成输出就是前景 信号，这种情况称为完全叠加。当k = 0 时，。，r = ，此时线性键的合成 输出就是背景信号，这种情况称为完全不叠加。当大于0 而小于l 时，线 性键的合成输出为前景信号和背景信号按照k 值所决定的比例进行 燕山大学工学硕士学位论文 合成以后的图像，合成图像看上去是半透明的效果，透过前景可以看到背 景，透明度的大小取决于键信号的值。实际上，当k = o 或k = i 时，线性键 就工作在硬色键方式。 2 3 虚拟演播室键控技术的要求 虚拟演播室中键控技术涉及到诸多因素，实际应用中主要应注意以下 几方面【2 0 川。 ( 1 ) 灯光对色键抠像的影响在虚拟演播室节目制作中灯光所起的作 用是十分关键的。为了消除多余的阴影，保证色键的效果，灯光的布置相 当重要。要合理调配灯光，实际光源应与虚拟光源的变化同步，使前景与 虚拟背景的照明亮度及方向匹配。主持人及真实道具在蓝箱中投下影子也 要随主持人及道具一起进入虚拟空间。为了更好地提取阴影，灯光的设置 应使阴影处的蓝色电平与背景蓝幕布的蓝色电平有较大的区别。在虚拟演 播室中，实际光源和虚拟合成光源之间的同步变化很重要。演播室灯光的 控制要计算机化，使灯具的状态可以存取。在通常情况下，蓝色背景需要 被照得非常均匀，故虚拟演播室通常采用冷光。应用灯光测量来保证灯光 的均匀，灯光越均匀，用户就越少在键控器上进行修饰，修饰越少就越容 易保留阴影。灯光应保持一定的高度来使阴影落在地面上而不是落在背景 墙上。应尽可能的使用地面的辅助光，以照亮前景物体的下面部分，保证 键的质量。 ( 2 ) 背景颜色的选择选择合适的背景颜色对抠像也至关重要，必须以 某种特殊颜色作背景，以作为抠取的标准，因此，现场拍摄时，作为背景 的底幕颜色的选择就有一定要求。它应满足下面几点。 首先，能更好地保护人体的皮肤颜色。底幕必须选择与人体皮肤反差 较大的的颜色，这样可以有效地避免误抠像。 其次，该颜色在身体周围不能产生过强的弱色调。弱色调过强容易在 键控过程中产生镶边现象，影响抠像的效果。目前采用最广泛的两种底幕 颜色蓝色和绿色相比较，绿色的弱色调要比蓝色弱色调强。 1 4 第2 章键控系统的分析 最后，要考虑演员们在该颜色环境中长期工作的情绪。通常在心理学 上认为人在蓝色环境中工作要比绿色或红色环境中愉快。 目前在实际应用中，一般用蓝色的较多瞄】。但底幕颜色应完全不同于 前景画面( 人物和物体) 的色调，如当选择蓝色幕布做背景时，则被拍摄人 物就不能穿着蓝色的衣服；又如当所拍摄的物体也是蓝色时，那么蓝色的 底幕显然就不能使用，必须改用绿色、紫红或桔黄等其它底色的底幕为更 好。总之底幕与抠像嵌入的前景二者的颜色是不能相同的( 因为键信号是由 幕布色与前景的色调差别形成的) ，选择抠像底幕颜色的矢量图如图2 - 4 所 示。图中各色与其补色是反相的( 相位差1 8 0 度) ，即表示这两种颜色的相 关性最差，最容易区分开来。在选择底幕颜色时，可参考图2 - 4 将所摄景 物的色与底幕色两者更有效的分离开来。 黄1 6 7 。 绿2 4 0 5 。 图2 - 4 颜色矢量图 f i g u r e2 - 4v e c t o r g r a p ho f c o l o r 底幕颜色应有较高的色饱和度，通俗地讲就是颜色要浓、深。搭建底 幕时幕布要平展，底幕应有足够的高度、宽度和深度，以免取景较大时“抠 透”底幕，同时要求底幕的质地要粗糙，没有光反射为佳，这些都将直接 影响到虚拟演播室的抠像效果。 ( 3 ) 人物应注意的问题主持人着装应避免与底幕颜色一致，尽量选取 底幕颜色的补色。主持人应避免穿线纹过细、颜色与肤色接近的服装。这 样可使抠像后的整体画面保持色调清新、不闪烁。主持人的活动路线和活 燕山大学工学硕士学位论文 动范围应根据所设计的虚拟场景做出标识，因为在传统的抠像技术中，主 持人的活动范围不受太大限制，只要主持人不走出背景就行了。而虚拟演 播室抠像技术则不同。因为为了增加虚拟场景的真实感，虚拟演播室在传 统的抠像技术的基础上增加了深度键，这样表演者可以走到虚拟物体的前 面、后面或处于虚拟物体的内部，甚至可以穿过虚拟物体，给观众以真实 感。这就要求表演者要处在相对正确的位置。否则人物有可能处在虚拟场 景中不恰当的位置，使整个抠像画面极度不协调，很容易让观众产生不真 实的感觉。 2 4 本章小结 本章首先分析了键控系统结构，介绍了各部分的技术要点。之后讨论 了键控系统的分类，分析了各种键控方式的优劣。最后分析了虚拟演播室 键控技术的要求。 1 6 第3 章色键抠像技术的研究 第3 章色键抠像技术的研究 视频对象的提取总的说来是一项比较复杂和困难的工作。它受到视频 对象与其背景各种信息的影响和制约。简单的说，如果假设视频中的背景 是相对于对象是静止的话，那么可以分成三种情况进行讨论：第一，是简 单背景下的视频对象提取；第二，是复杂背景下静态视频对象提取；第三， 是复杂背景下动态视频对象提取。第二和第三种情况比较复杂，从算法上 尚没有一种统一的解决办法来保证提取的效果和精度，处理时间也很难控 制【2 3 j 。一般来说要达到较好的效果，对图像分割算法的要求较高，对不同 的样本所采用的具体算法可能也不同，要事先做大量的试验来确保提取效 果。一般用于视频后期处理，要实现实时处理有较大困难。而最容易得到 广泛应用的主要是第一种情况。简单背景由于颜色信息相对简单。视频对 象提取从软件处理来说相对容易，而且也易固化成硬件来实现，以加快处 理速度。虚拟演播室中的色键抠像器就是典型代表。 3 1 前景图像的判断 要进行正确的抠像，首先要能够正确地判断出所要抠的图像，即前景 图像。当虚拟演播室中以蓝色或者是绿色背景作为幕布时，因为各种外在 因素的原因，幕布是不可能达到理想的纯蓝或者纯绿的，这就需要有一个 机制来判断。 3 1 1基本原理 简单背景的理想情况我们称之为单一背景，其主要是指以单一颜色作 为背景。例如理想的蓝箱。在这种情况下，只要将与视频帧中相应的背景 颜色( 如蓝色) 去除，就能把对象( 主持人) 从视频中提取出来洲。 设e 为当前帧的颜色值，g 为背景的颜色值，c 为视频对象提取后 燕山大学工学硕士学位论文 视频帧的颜色值，则可得式( 3 1 ) 。 c = 伊爰：芝( 3 - 1 ， 但是，由于现实应用中光的影响，以及摄像机中的感光组件和视频采 集卡精度的影响，理想中的简单背景并不存在，背景其实是一个颜色范围 ( 例如从浅蓝色到深蓝色) 。简单背景广义上说应该是分布较为均匀单一的 颜色作为背景，比如自然界中的平静的海面，草地，沙滩等等。这样，我 们就应该将颜色处于该范围中的所有点扣去，这样才能解决现实生活中简 单背景情况下的视频对象提取问题。 设哟颜色的阈值范围，可将式( 3 1 ) 改为式( 3 - 2 ) 。 e = ：c c 。o 一- g c b i s r t c s - z ， 3 1 2 数学模型 一般来说对于简单背景下的前景目标，主要是以色差为特征进行提取。 由于背景颜色基本相同，差距较小，而前景目标与背景之间颜色差距较大， 所以我们可以进行如下分析。 假设图像所采用的彩色空间为r g b ，也就是图像上每个像素点尸的颜 色c 要用( ，g ，匆) 三个分量来表示，o ，g 。，饥10 2 3 ( 1 0 位数字电视信 号系统) 。这样问题就可以在三维空间进行研究。这里利用欧氏距离度量作 为特征进行提取。假设简单背景有1 个像素点，其颜色均值为e ( 0 ，g 。，以) ， 如式( 3 3 ) 所示。 匕= ( r 。) n ；= ( 晶) 玎；也= ( b , ) n ( 3 - 3 ) i = oj = oi | o 在r g b 三维空间中建立球形模型，以e 点为球心，c ，是分布在空间中 的点，e 到厦氏距离的平方如式( 3 - 4 ) 所示。 砰= ( 一) 2 + ( g ，一g 。) 2 + ( 6 ，一也) 2 ( 3 - 4 ) 设r 为阈值半径。当刃 r 2 的时候，我们认为这是前景目标上的像素 第3 章色键抠像技术的研究 点，进行提取；当刃r 2 的时候，我们认为是简单背景上的点，需要滤掉。 如果考虑到图像上各个点颜色分量的跨度差距较大的情况，以1 0 位量 化系统为例，如果的范围在( 5 0 2 ，5 1 2 ) ，而晶分量跨度却在( 0 ，1 0 2 3 ) 。那么 在r g b 空间中各个点在某个方向的分布就很分散，如果继续使用上面欧氏 距离公式，很可能产生较大的误差。对该公式进行改进，设6 协，6 。，屯) 是 简单背景仃个像素点颜色的方差，如式( 3 5 ) 所示。 “- r e ) 2( g ，- g 。) 2 - b , ) 2 t = 业i 一。= 业_ 。拧 一 以 以= 上l 一 ( 3 - 5 ) 刀 刃= ( 一) 2 6 ，+ ( g ，一g 。) 2 6 。+ (