（计算机软件与理论专业论文）基于gpu的视频编辑特效技术研究与实现.pdf

摘要 摘要 近年来，随着计算机图形图像技术的迅速发展，数字视频技术逐渐成熟，以 数字视频处理为核心的非线性编辑视频处理系统已成为制作影视节目、数字多媒 体的主要工具。在传统非线性编辑系统中，特技通常都是基于c p u 或专用板卡实 现的。但是，当图像分辨率较大、图像过多、特技较复杂时，则c p u 消耗过多或 板卡无法实现，从而造成视频的停顿或过渡的不平滑，而这与我们增强作品的视 觉效果的初衷相违背。并且专用板卡的价格过于高昂。近几年随着计算机技术的 快速发展，出现了基于中央处理器+ 图形处理器+ 输入输出板卡( c p u + g p u + i o ) 技 术的无卡非线性编辑系统，并逐渐成为市场主流产品。视频编辑特效技术是非线 性编辑技术中的一个重要技术，将用于增强视频编辑的视觉效果，更好地表达创 作人员的意图。 视频编辑特效技术，又称数字视频画面特技，简称视频特技或数字特技，是 在电视节目的制作中，利用数字视频制作设备，对视频画面进行特殊技法处理， 以达到某种画面效果的制作方法。凡是利用数字视频制作技术，在对视频的编辑、 制作过程中，对视频画面进行特殊处理的各种技法，都属于视频编辑特效技术的 范畴。 本论文主要研究的是视频编辑特效技术，其中包括对普通单目视频和双目视 频的处理，并最终应用于a v s 非线性编辑系统中。本文首先对图形处理器技术、 视频编辑系统、系统开发平台、纹理映射等视频编辑特技相关技术进行了深入地 研究和分析，接着详细介绍了非线性编辑系统中各种视频编辑特技( 包括线性变 换、非线性变换、模糊处理、缩放、镜像处理、抠像、各种划变、淡入淡出、翻 页、卷页等) 的算法，并给出实现特技的关键函数f ( x ，y ) ，用于控制每帧图像切 换的规律，从而实现不同的特技。然后介绍了整个系统的架构，函数接口，实现 方式，并基于g p u 来实现上述特技，同时实现双目视频编辑特技。在实验的基础 上，本文还提出了一种在生成视频编辑特技时的数据处理加速算法。 本文的主要创新点在于所有视频编辑特技都是基于g p u 来实现的，提高了视 频编辑效率，并且实现双目视频编辑特技。 关键词：非线性编辑，图形处理器，视频特技，双目视频 a b s t r a c t a b s tr a c t i nr e c e n t y e a r s ，谢t 1 1 t h er a p i dd e v e l o p m e n to fc o m p m e rg r a p h i c si m a g i n g t e c h n o l o g y , t h ed i g i t a lv i d e ot e c h n o l o g yh a ss o p h i s t i c a t e dg r a d u a l l y 1 1 1 en o n - l i n e a r e d i t i n gs y s t e m s ，w h o s ec o r ei st h ed i g i t a lv i d e op r o c e s s i n g , h a v eb e c o m e t h em a i nt o o l o ff i l ma n dd i g i t a lm u l t i m e d i a i nt r a d i t i o n a ln o n l i n e a re d i t i n gs y s t e m ，t h er e a l i z a t i o n o ft h ee f f e c t si su s u a l l yb a s e do nt h ec p uo rd e d i c a t e db o a r d s h o w e v e r , w h e nt h e r e s o l u t i o no fi m a g e si sl a r g e r , t h e r ea r em o r ei m a g e s ，a n dt h ee f f e c t sa r em o r e c o m p l i c a t e d ，i tc o n s u m e st o om u c hc p u o rt h eb o a r dc a nn o tb ea c h i e v e d ，s ot h a tt h e v i d e oi sp a u s e do rt h ev i d e ot r a n s i t i o ni sn o ts m o o t h , w h i c hi sc o u n t e rt o0 1 1 1 o r i g i n a l i n t e n t i o no fi n c r e a s i n gt h ev i s u a le f f e c t so fw o r k s a n dt h ep r i c eo ft h ed e d i c a t e db o a r d i st o oh i g h i nr e c e n ty e a r s ，谢也t h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , ak i n d o ff r e eo fc a r d1 1 0 1 1 一l i n e a re d i t i n gs y s t e mh a sa p p e a r e d , w h i c hi sb a s e do nc p u ，g p u a n di 0t e c h n o l o g y , a n dg r a d u a l l yb e c o m et h em a i n s t r e a mp r o d u c to ft h em a r k e t t h e t e c h n o l o g yo fv i d e oe d i t i n ge f f e c ti s a l li m p o r t a n tt e c h n o l o g yo fn o n l i n e a re d i t i n g t e c h n o l o g y i tc a nb eu s e dt oe n h a n c et h ev i s u a le f f e c t so ft h ev i d e oe d i t i n ga n db e t t e r e x p r e s st h ei n t e n t i o no f 凹e a t o m v i d e oe d i t i n ge f f e c ti sk n o w na sd i g i t a lv i d e oi m a g ee f f e c ta n di sa l s os i m p l y c a l l e dv i d e oe f f e c to rd i 百t a le f f e c t i ti sam a n u f a c t u r em e t h o dt h a tu s e st h ed i 百t a l v i d e oe x e c u t i n ge q u i p m e n ta n dp r o c e s st h ev i d e os c r e e nb ym e a n so fs p e c i a ls k i l l s ，i n o r d e rt oa c h i e v es o m ek i n do fs e r e e ne f f e c t a n ys p e c i a ls k i l lt h a tu s i n gd i g i t a lv i d e o m a n u f a c t u r em e t h o dp r o c e s s e st h ev i d e os c r e e ni nt h ep r o c e s so fv i d e oe d i t i n ga n d m a k i n gb e l o n gt ot h es c o p eo fv i d e oe d i t i n ge f f e c t s m a i ns t u d i e si nt h i st h e s i sa r ev i d e oe d i t i n ge f f e c tt e c h n o l o g y , i n c l u d i n gt r e a t m e n t t ot h eo r d i n a r ym o n o c u l a ra n db i n o c u l a rv i d e o s u l t i m a t e l yi tw i l lb ea p p l i e dt ot h ea v s n o n l i n e a re d i t i n gs y s t e m f i r s t l yt h i sp a p e rd e e p l ya n a l y z e ss o m er e l a t i v ev i d e oe d i t i n g e f f e c t st h a ti n c l u d eg r a p h i cp r o c e s su n i t , v i d e oe d i t i n gs y s t e m ，s y s t e md e v e l o p m e n t p l a t f o r m ，a n dt e x t u r em a p p i n g s e c o n d l yw ei n t r o d u c ee v e r yk i n do fv i d e oe d i t i n g e f f e c t s a l g o r i t h m i n d e t a i l ，w h i c hi n c l u d e s t h el i n e a rt r a n s f o r m a t i o n ，n o n l i n e a r t r a n s f o r m a t i o n , f u z z yp r o c e s s i n g s c a l i n g ，m i r r o r i n gp r o c e s s i n g ，k e y i n ga l lk i n d so f c l a s s i f i e dc h a n g e ，f a d e s ，f l i p ，s c r o l lp a g e s ，e t c a p a r tf r o mt h a t , i no r d e rt oc o n 仃o lt h e l a wo fe v e r yi n d i v i d u a lf r a m ei m a g es w i t c h i n g ，w eg i v et h ek e yf u n c t i o n so fe f f e c t r e a l i z a t i o n ，s ot h a tw ec a ni m p l e m e n td i f f e r e n ti m a g es w i t c h i n gw a y s t h i r d l yw e i n t r o d u c et h ew h o l ef r a m e w o r ko ft h es y s t e m ，f u n c t i o ni n t e r f a c e ，a n di m p l e m e n t a t i o n a p p r o a c h f o u r t h l yw ei m p l e m e n tt h ea l g o r i t h m sm e n t i o n e da b o v eb a s e do ng p u a n d b i n o c u l a rv i d e oe d i t i n ge f f e c t s a tt h eb a s i so fe x p e r i m e n t s ，t h i sp a p e rp r e s e n t sak i n do f d a t ap r o c e s s i n ga c c e l e r a t i v ea l g o r i t h mi ng e n e r a t i o no fv i d e oe d i t i n ge f f e c t s t h em a i ni n n o v a t i o ni n t h i sp a p e ri st h a ta l lt h ev i d e oe d i t i n ge f f e c t sa r e i m p l e m e n t e db a s i n go nt h e g p u i te n h a n c e st h ev i d e oe d i t i n ge f f i c i e n c ya n d i m p l e m e n t st h eb i n o c u l a re d i tv i d e oe f f e c t k e y w o r d s ：n o n - l i n e a re d i t i n gs y s t e m ，g p u ，v i d e oe f f e c t , b i n o c u l a rv i d e o 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 签名：触日期：矿矿7 年莎月弓日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：乡l j k 导师签名： 芹眭式 日期：刀矽年多月弓e l 第一章引言 第一章引言 近年来，随着数字技术和计算机图形图像技术的迅速发展，数字视频技术逐 渐成熟并被广泛应用于广播电视、多媒体通信、计算机等各个领域，并在这些领 域中引起了巨大的变化，在人们的日常生活中占据着越来越重要的地位，以数字视 频处理为核心的非线性编辑视频处理系统已成为制作影视节目、数字多媒体的主 要工具。 1 1课题来源与研究意义 非线性编辑系统是一种以计算机为操作平台的电视节目后期制作系统，它实 质上是一个扩展的计算机系统。传统的非线性编辑系统是有一台高性能多媒体计 算机，配以能对视音频信号进行采集处理的板卡以及对采集的信号存储的素材硬 盘和用于编辑的软件，这就是我们所说的有卡非线性编辑系统。近几年随着计算 机技术的快速发展，出现了基于中央处理器+ 图形处理器+ 输入输出板卡 ( c p u + g p u + i o ) 技术的无卡非线性编辑系统，并逐渐成为市场主流产品。 基于c p u + g p u 技术架构的非编系统，c p u 从磁盘子系统读取压缩格式的视 频数据，由软件编解码器通过c p u 运算解码成为基带视频数据，然后通过p c i e x p r e s s 总线发送到显示卡上的g p u 。软件合成器利用g p u 一次性运算完成二维、 三维特技处理和视频数据的合成，合成后的数据再次通过p c ie x p r e s s 总线回传给 c p u 。c p u 或者将数据通过p c i 总线传输给i o 板卡转换成基带信号输出，或者 再回送到软件编解码器编码成d v 格式的数据并通过1 3 9 4 总线输出。 在基于c p u + g p u 技术架构的非线性编辑系统中，g p u 扮演着极其重要的角 色，所有的特技处理都将通过g p u 处理来实现。 本课题依托国家8 6 3 项目支持数字媒体内容创作的集成环境，进行研究。 国家8 6 3 项目支持数字媒体内容创作的集成环境( n o 2 0 0 6 a a 0 1 2 3 3 5 ) ，它的主 要研究内容是： ( 1 ) 支持大规模网络协作式内容创作的关键技术； 。 ( 2 ) 网络游戏通用引擎开发的关键技术； ( 3 ) 非线性编辑技术； 电子科技大学硕士学位论文 ( 4 ) 面向数字媒体内容创作的高效对象造型工具集； ( 5 ) 支持多种媒体融合的建模技术与创作工具集； ( 6 ) 高效的数字媒体渲染服务新技术。 本课题的研究内容基于g p u 的视频编辑特效技术就被包括在非线性编辑技术 之中。特技技术是非线性编辑技术中的一个重要技术，将用于增强视频编辑的视 觉效果，更好地表达创作人员的意图。 1 2主要研究内容及创新点 本论文主要研究的是视频编辑特效技术，并最终应用于a v s 非线性编辑系统 中。 在非线性编辑过程中，创作人员会使用特技对原始素材进行操作，从而更好 地表现他的创作意图，同时增强作品的视觉效果。非线性编辑中视频编辑特技可 以分为单轨特技和双轨特技。单轨特技是对单个素材对象进行的编辑，包括线性 变换、非线性变换、模糊处理、缩放、镜像处理、抠像。双轨特技是对多个素材 对象进行的合成，包括突变和渐变两种方式。突变的特点是当前素材被下一个素 材快速代替，切换过程的理论时间为零。而渐变的特点则是当前素材被下一个素 材代替时，中间有一段过渡环节。常用的渐变特技有各种划变、淡入淡出、翻页、 卷页等。 在传统非线性编辑系统中，特技通常都是基于c p u 或专用板卡实现的。但是， 当图像分辨率较大、图像过多、特技较复杂时，则c p u 消耗过多或板卡无法实现， 从而造成视频的停顿或过渡的不平滑，而这与我们增强作品的视觉效果的初衷相 违背。并且专用板卡的价格过于高昂。由于g p u 是图形处理器，处理图形图像数 据比c p u 快，还可以帮助减轻c p u 的任务，相对专用板卡来说价格也不高，并且 近几年可编程图形硬件的高速发展，由图形硬件生成特技完全可以避免以上问题 的出现。 本课题主要研究内容如下： ( 1 ) 研究非线性编辑系统中各种视频编辑特技( 包括线性变换、非线性变换、 模糊处理、缩放、镜像处理、抠像、各种划变、淡入淡出、翻页、卷页等) 的具体算法。 ( 2 ) 基于g p u 实现上述视频编辑特技，并应用于a v s 非线性编辑系统。 论文的创新点在于： 2 第章引言 ( 1 ) 所有视频编辑特技都将基于g p u 实现，提高了视频编辑效率。 ( 2 ) 实现了对双目视频的特技处理。 1 3 视频编辑特技简介 近年来，随着计算机图形图像技术的迅速发展，数字视频技术逐渐成熟，以 数字视频处理为核心的非线性编辑视频处理系统已成为制作影视节目、数字多媒 体的主要工具。在非线性编辑中素材文件除了视音频以外，还有一些图像、字幕、 和图形文件等，常用的图像格式有三维动画用的t a r g a 格式；彩色位图b i t m a p 格式；还有t i f f 格式文件，以及字幕矢量图形文件。也就是说非线性编辑同时能 对一些图形、图像、字幕作一些特殊的编辑处理，系统在处理这些文件时实际是 将其作为数字视频统一处理。 数字视频处理包括在修改素材的长度，各段镜头位置的前后移动以及添加视 频特技。在非线性编辑视频处理系统中，视频特技是其中最关键的部分，素材的 长度和位置的改变可以看作视频特技的一种特例。数字特技分为通道内和通道间 的。通道内的数字特技在操作过程中不会对另一通道产生影响，通道内视频特技 包括两种：一种是给选定剪辑的每一帧画面添加相同的特殊效果，这相当于 p h o t o s h o p 中的特技处理，像色调、马赛克、油画效果等；还包括划像、淡入淡出、 二维d v e ( d i g i t a lv i d e oe f f e c t ，数字视频特技) 处理、数字色键、实时数字亮键、 滤镜特技效果等；第二种对剪辑画面进行局部移动或是给剪辑添加渐变的特殊效 果，如画面渐渐变模糊或清晰、天色渐渐变暗、快速播放或慢速播放等等，它真 正体现视频处理技术的动态效果。通道间的数字特技在操作过程中会对另一通道 产生影响，如画中画、抠像等。 视频编辑特效技术，又称数字视频特技，简称视频特技或数字特技，是在电 视节目的制作中，利用数字视频制作设备，对视频画面进行特殊技法处理，以达 到某种画面效果的制作方法。凡是利用数字视频制作技术，在对视频的编辑、制 作过程中，对视频画面进行特殊处理的各种技法，都属于视频编辑特技的范畴。 视频编辑特技在电视节目创作中的作用非常重要，它可以解决画面制作中的 “疑难杂症”，可以为视频节目“锦上添花”，能生动活泼地再现视频内容，使观 众对画面的内容更加容易理解和接受。 ( 1 ) 视频特技能出色地展示出时间的流逝和空间的转换，可以省略内容联系不 紧密的时间流程，获得自然流畅的视觉感受。 3 电子科技大学硕士学位论文 ( 2 ) 视频特技对抽象的画面内容有突出的提示作用。画面表现的内容包罗万 象，有些内容仅通过直观的画面难以理解和判断，视频特技则是理想的弥 补手段。 ( 3 ) 视频特技可将运动速度放慢，以便仔细观察运动体的变化过程；可将运动 速度加快，压缩运动时间；可将运动体静止，从而看清运动体某一时刻的 姿态。 ( 4 ) 视频特技可以以假乱真、以假代真，提高画面效果的可信度，解决实景拍 摄中难以完成的真实效果，达到预期的目的。 ( 5 ) 视频特技可以表现人物的心理活动和内心世界。 ( 6 ) 视频特技能使电视节目的制作节省大量经费，缩短制作周期，在某种程度 上可以弥补财力、物力的不足，达到事半功倍的效果。 ( 7 ) 视频特技能在一段紧张或松弛的画面之后，改变节奏，为进入下一段画面 内容作铺垫。 ( 8 ) 视频特技的使用在一定程度上取决于编导、制作人员的文化修养水平以及 正确运用特技引导观众的读解能力。 视频特技处理数据量大，运算量大，即使采用专用的硬件处理也很难达到实 时处理的要求，引入g p u 来处理是解决问题的关键。 1 4 论文的章节安排 全文共分六章，对视频编辑特效技术进行研究，具体的章节安排如下： 第一章为引言，介绍了课题的来源与研究意义、主要研究内容及创新点、视 频编辑特效技术，并指出了论文的章节安排。 第二章，论述了与视频编辑特技相关的各种关键技术。介绍了图形处理器、 视频编辑系统、系统开发平台以及纹理映射技术。详细讲述了各种视频编辑特技 ( 包括线性变换、非线性变换、模糊处理、缩放、镜像处理、抠像、各种划变、 淡入淡出、翻页、卷页等) 的算法，并给出实现特技的关键函数f ( x ，y ) ，用于控 制每帧图像切换的规律，从而实现不同的特技。 第三章，详细讲述了整个系统的架构，函数接口，系统具体实现过程，并展 示了视频编辑特技效果，系统基于g p u 来实现。 第四章，详细讲述了立体视觉，双目立体视觉原理以及双目视频编辑特技效 果。这一章是本文的创新点之一。 4 第一章引言 第五章，在实验的基础上，提出了一种在生成视频编辑特技的数据处理加速 算法。 第六章，对全文做出系统全面的总结。 5 电子科技大学硕士学位论文 2 1 图形处理器 第二章视频编辑特技相关技术 2 1 1 图形处理器的发展 目前微机平台的图形处理器已经达到了非常高的性能。2 0 0 4 年，n v i d i a g e f o r c e6 8 0 0u 1 t r a 图形处理器的处理能力已经可以达到4 0 g i g a f l o p s ，而i n t e l3 g h z p e n t i u m 采用最新的s s e 指令集也只能达到6c r i g a f l o p s 。自从1 9 9 3 年以来，g p u 的性能以每年2 8 倍的速度增长，估计这样的增长速度还可以维持一段时间，现在 每隔半年左右，新的一代g p u 的处理速度便会提高一倍【l 】。 图形处理器技术的迅速发展带来的并不只是处理速度的提高，还产生了很多 全新的图形硬件技术，其中最引人注目的便是在图形硬件处理管道的顶点处理和 象素处理模块中引入了可编程性，使得用户可以通过程序方式控制图形流水线的 执行，极大地扩展了图形处理器的能力和应用范围。 自从1 9 9 8 年以来，g p u 的功能迅速更新，平均每一年就有新的一代g p u 问 世，在现代g p u 概念出现以前，只有s i l i c o ng r a p h i c s ( s g i ) 等图形工作站上的特殊 的硬件才具有基于硬件的顶点变换和纹理映射功能。 第一代图形处理器出现在1 9 9 8 年后期，主要代表为n v i d i a t n t 2 ，a t ir a g e 和3 d f xv o o d 0 0 3 ，这些处理器主要处理光栅化部分，部分芯片支持多纹理，可以 在光栅化过程中完成多幅纹理的融合操作。 从1 9 9 9 年后期开始，第二代g p u ( m i ag e f o r c e 2 5 6 ，g e f o r c e2 和a t i r a d c o n7 5 0 0 ) 可以处理顶点的矩阵变换和进行光照计算，但此时还没有出现真正 的可编程功能。 第三代g p u ( m 认g e f o r e e3 ，g e f o r e e4 ，a t ir a d c o n8 5 0 0 ，大约2 0 0 1 年至2 0 0 2 年早期) 有了重要的技术变革，此时图形硬件的流水线可以作为流处理 器来解释，顶点级出现了可编程性，像素级也出现了有限的可编程性，但在像素 级程序中，访问纹理的方式和格式受到一定限制，只有定点数可用。 第四代g p u ( n v i d i ag e f o r c ef xs e r i e s ，a t ir a d o o n9 7 0 0 9 8 0 0 ) 的顶点和像素 可编程性更加通用化，依赖纹理更为灵活，可以索引方式访问数据，g p u 具备了 6 第二章视频编辑特技相关技术 浮点功能，纹理中保存的值不再依赖于【0 ，1 范围，可以读写一般的浮点数。 第五代g p u 以n v i d i ag e f o r e e 6 8 0 0 为代表2 1 ，功能相对以前更为丰富，灵 活，顶点级程序可以访问纹理，支持程序的动态条件分支，像素级程序也开始支 持分支操作，如循环，i f e l s e 等，支持子函数调用，在纹理滤波和融合过程中支持 6 4 位的浮点精度，同时支持多个渲染目标p 】。 第六代g p u 以g e f o r c e8 8 0 0 为代表，统一s h a d e r 架构( u n i f i e ds h a d e r ) 带来强 劲的功能。g e f o r c e8 8 0 0 完全硬件支持d i r e e t x l 0 的各项先进特性，例如g e o m e t r y s h a d e r s 、s t r e a mo u t 、i m p r o v e di n s t a n c i n g ，支持这些特性使得g e f o r e e8 8 0 0g p u 拥有极高的性能。 目前最新的可编程图形硬件已经具备了下列功能1 4 ： ( 1 ) 在顶点级和像素级提供了灵活的可编程特性。 ( 2 ) 在顶点级和像素级运算上都支持i e e e 3 2 位浮点运算，可进行高精度的绘 制。 ( 3 ) 完全支持4 元向量的数据格式( 齐次坐标，法向等) ，方便了图形程序的设 计与开发。 ( 4 ) 具有高带宽的内存传输能力( 2 7 1 g b s ) ，具备强大的数据吞吐能力。 ( 5 ) 支持绘制到纹理的功能( r e n d e rt ot e x t u r e ) ，从而避免将中间绘制结果拷贝到 纹理这个费时的过程。 ( 6 ) 支持依赖性纹理访问功能，以方便数据的索引访问，可以将纹理作为内存 来使用。 2 1 2 可编程图形流水线 图2 1 固定流水线与可编程流水线 现在的图形处理器已经从传统的固定流水线发展到可编程流水线。如图2 1 所示为固定流水线与可编程流水线的框架，图中下部用虚线表示的是传统的固定 流水线的流程，实线表示的是可编程流水线的流程 0 3 。 在固定流水线中，首先经过顶点级的光照计算和坐标变换，求出每个顶点的 7 电子科技大学硕士学位论文 光照颜色值，同时还将顶点坐标从物体坐标系转换到裁剪空f 司( c l i ps p a c e ) 。然后， 对每个三角形进行光栅化处理并将对三角形项点的颜色进行双线性插值，得到了 三角形中每一个像素的颜色值。接着进行纹理映射，即根据每一个像素的纹理坐 标值将纹理图颜色分配到每个像素上。最后进行颜色混合计算( b l e n d i n g ) 和雾化效 果计算，得到的结果将会放进帧缓存( f r a m eb u f f e r ) 并显示到屏幕上。 在可编程流水线中，用顶点着色器在功能上取代了原来的光照与变换阶段， 像素着色器在功能上取代了原来的纹理、雾化和颜色混合阶段，其他部分保持不 变。 2 1 2 1 顶点着色器 顶点处理：v e r t e xs h a d e r ，执行原先固定图形处理流水线中与顶点相关的处理 工作，如顶点变换、基于顶点的雾计算、基于顶点的材质属性与基于顶点的光照 计算。具体的处理过程如图2 2 所示，这些处理会对输入的每个顶点数据都进行处 理【刀。 顶点数据 t 高七 k 坷 4 火，贰处j 土 ， 世界坐标光照与材 变换 斗顶点混合 视点变换 顶点雾化 斗 质 啼 投影变换 j ；。 i + 投影空间 中的顶点 j 数据。 图2 2 顶点处理过程 世界坐标变换：将顶点坐标从模型空间变换到世界空间，通过平移、缩放、 旋转把物体放置到世界空间中的相对位置。 - 顶点混合：通过组合一组或多组顶点数据实现动画效果。需要一组顶点数 据和多个不同的变换，每个有相应的权值；分别使用每个变换处理顶点数 据，再根据权值来进行组合。 _ 视点变换：将顶点坐标从世界坐标变换到视空间，以照相机为原点，经过处 理后物体以相对于照相机的位置放置。 第二章视频编辑特技相关技术 - 顶点雾化：计算每一个项点雾颜色。顶点雾颜色通常与其他顶点颜色( 例 如用户提供的颜色、光照和材质颜色) 混合来产生最终顶点颜色。 光照与材质：基于光照和材质计算顶点颜色。是从场景中的灯光获得光照 颜色，材质颜色被指定为一个常量。光照与材质的混合接近真实世界中光 照照射到材质表面。 投影变换：将顶点坐标从视空间变换到投影空间，这是最后一个坐标变换， 获得真实地观察效果。 以上这些处理的顺序可以根据需要变化，顶点数据在给定的坐标空间中进行 处理，这些处理中有些是可选的，最简单的顶点处理程序中可能只包含w o r l d ，v i e w 和p r o j e c t i o n 变换。在执行v e r t e xs h a d e r 后会回到流水线执行一些其它固定的操作， 如裁剪、隐藏面选择、为光栅光作基本准备。在顶点程序中，至少要输出在同一 裁剪空间的顶点位置信息，纹理坐标、顶点颜色、光照情况和雾影响可根据情况 选择使用。 2 1 2 2 像素着色器 片段处理( p i x e ls h a d e f r a g m e n ts h a d e r ) 负责对每个像素进行处理，它与v e r t e x s h a d e r 协同工作，v e r t e xs h a d e r 的输出经过一定的处理( 如裁剪和光栅化后) 成为 p i x e ls h a d e r 的输入【刀。p i x e ls h a d e r 可以完成对每个像素的纹理混合，取代了固定 图形处理流水线中的多重纹理混合，具体包括：纹理取样、计算纹理坐标与相应 颜色、混合光照、物体材质与纹理的效果。片段处理的整体过程如图2 3 所示。 r 像素处理( p 五打n j 图2 3 像素处理过程 图中将片段处理过程分成了两部分，其中第一部分是现在可以编写p i x e l s h a d e r 程序控制处理的方面，第二部分在前面处理完成之后，由图形处理流水线 9 电子科技大学硕士学位论文 中的固定部分来进行处理。 在第一部分中处理中将光栅化后的顶点数据( 位置、反射光颜色、镜面反射 光颜色以及纹理坐标) 处理成每个像素的属性，包括：纹理取样和混合。纹理取样 对一个或多个纹理进行处理，混合完成多个纹理的组合。而第二部分进行透明、 深度等测试，并进行抖动等反走样的特殊处理。 2 1 3 s h a d e r 语言 高级绘制语言及实时绘制语言使用类似c 的高级语言对g p u 直接编程一直是 图形界努力追求的目标，也是应该达到的目标。在这方面，已取得了一些进展。 随着第二代具有s h a d e r 能力的硬件陆续上市( 如a t ir a d e o n9 5 0 0 、n v i d i a g e f o r c ef x ) ，一些用于s h a d e r 编程的高级语言开始流传于世。而在此之前，程序 员只能通过一种类似于汇编的语法来编写渲染程序，这种语法对于那些不用汇编 语言的程序员来说是非常难懂的。现在这种情况有所改善了，新的渲染语言与c 语言的语法很类似，这可帮助程序员们更快地掌握渲染器编程，并能使渲染器代 码更易于阅读。 关于新型s h a d e r 语言的研究工作，近年来具有较大影响的是：n v i d i a 发行 的c g ( cf o rg r a p h i c s ，图形c 语言) 【引，微软新型的高级渲染器语言( h i g hl e v e l s h a d e rl a n g u a g e ，h l s l ) ，斯坦福大学的r t s l ( r e a l t i m es h a d i n gl a n g u a g e ) 。所有这 些新的高级渲染器语言都具有一种大致相同的语法，并且都提供了类似的功能。 尽管还未形成统一的s h a d e r 语言，这些语言的研究和应用为用户提供了直接 基于a p i ( o p e n g l 或d i r e c t b d ) 编程的较为方便和高层次的工具。 2 1 4 图形处理器的优势与通用计算 最近几年，很多研究人员开创了一个新的研究领域：基于g p u 的通用计算 ( g e n e r a lp u r p o s eg p u ，g p g p u ) 指的是利用图形卡来实现一般意义上的计算，而不 单纯是绘制。采用图形硬件来做通用计算的主要目的是为了加速，加速的动力来 自这些新硬件所具有的以下优势【4 】： ( 1 ) 一定的并行性：这一功能主要是通过多个渲染管道和r g b a 4 个颜色通道 同时计算来体现的，另外在一个时钟周期内可以同时获取2 个甚至更多纹理。顶 点程序的多个渲染管道意味着一个时钟周期可以并行处理多个顶点，而对于像素 程序同样如此。相对于并行机而言，图形卡提供的并行性虽然很弱，但它在十分 l o 第二章视频编辑特技相关技术 廉价的基础上为很多应用提供了一个很好的并行方案，尤其是对于图形本身的应 用来说。 ( 2 ) 高密集的运算：由于图形卡内部的内存接口位宽大于c p u 上的位宽，如 g e f o r c ef x 的内存位宽达2 5 6 位，显然高于c p u 上3 2 位的位宽，这样整个计算 的带宽大大提高了。g p u 相对于c p u 来说，更适合传输大块的数据，虽然c p u 上有c a c h e 可以加速整个计算过程，但c p u 上的c a c h e 相对于图形卡显存来说太 小。 ( 3 ) 减少了g p u 与c p u 的数据通信：尤其是当整个应用针对图形生成的时候， 不再需要在c p u 与g p u 之间进行多次数据交换，从而可以将c p u 解放出来做其 他的处理任务。这些优势使得g p u 比c p u 更适用于流处理计算，因此g p u 也被 认为是一个s i m d 的并行机或者流处理器，可以用于处理大规模数据集，使应用 得到加速。相比之下，c p u 本质上是一个标量计算模型，而计算单元偏少，主要 针对复杂控制和低延迟而非高带宽进行了若干优化。 ( 4 ) 局部运算：对于每个被处理值，g p u 都会执行一系列独立的数据采集与处 理操作。而全局操作( 例如计算一个大型二维阵列的最大值) ，则要求有多个数据 处理p a s s ，这在g p u 上效率比较低。 随着g p u 运算速度和通用程度的提高，人们一直希望图形硬件可以解决以前 只有通用c p u 才能完成的高密集计算任务。尽管利用通用g p u 进行计算很有发 展前景，但传统图像应用编程接口仍然将g p u 抽象成一个包括纹理、三角形和像 素在内的图像绘制器，同时寻找一种能够使用这些基本元素的映射算法并不是一 项简单的操作。很多研究人员开始使用g p u 进行图形渲染之外的应用。 2 0 0 1 年v e r t e xs h a d e r 开始普及【l 们，2 0 0 2 年h a r r i sm a r kj 等人就己经应用g p u 进行扩散方程的求解了【1 l 】。2 0 0 3 年出现了p i x e ls h a d e r ，很多人开始使用它来求解 一般的代数问题【1 2 】和优化问题【1 5 】。在其他领域，例如光线跟踪、碰撞检测以及物 理现象模拟等领域，图形处理器也都能够起到很大的作用。m i c h a e l 把g p u 运算 与元编程( m e t ap r o 孕a 衄i 1 1 曲联系起来【1 6 1 ，之后又用代数的思路对g p u 运算进行 研究，并实现了一个库一s h 【1 7 】，能够借助c + + 的模板技术简化g p u 运算程序的编 写。j c o m b a t l 8 】，等人开始把g p u 作为一个流式处理器使用。i b u c k 等人进行了 更加深入的研究，并实现了一个利用g p u 进行通用运算的语言- b r o o k 【1 9 】。 电子科技大学硕士学位论文 2 2 视频编辑系统 视频编辑系统根据流程和记录方式可以分为线性编辑系统和非线性编辑系 统。线性编辑方式是电视工作者熟悉的传统编辑方法，通常由一台录机、一台放 机、再加两台监视器和编辑控制器组成。操作者利用编辑控制器把镜头一个接一 个地组织起来，记录在录机磁带上。由于磁带记录是一维线性记录方式，这使在 对编好的节目带进行某些细微修改时遇到了极大的麻烦。一旦需要对节目带上的 某个镜头进行删改，就不得不对该镜头之后的所有片段重新组接。人们期望出现 一种能自由剪切的视频编辑方式，这样非线性编辑系统诞生了。随着电子技术、 计算机技术的飞速发展以及标准的进一步确立，非线性编辑系统也日趋成熟。非 线性编辑是以计算机为操作平台、基于磁盘的一种工作方式。由于磁盘具有随机 存取的特性，这就克服了在查找素材、修改镜头中遇到的种种不便，再加上它整 合性能好，采用数字化的处理方式，因此一进入视频领域，即以蓬勃的势态迅速 发展起来。 2 2 1 线性编辑系统 线性编辑就是大家所熟悉的电子编辑，是利用具备编辑功能的录像机的放像 和录像的功能，对前期拍摄的素材进行剪切、编辑和合成；是以磁带为媒体发展 起来的并经不断完善，成为一个很成熟、系统很全面的编辑技术。 线性编辑的特点主要是由记录介质本身的性质和对介质的操纵方式所决定的 【2 l 】。例如，使用像磁带那样的带状介质，介质的各部分必须在物理实体上依据信 号的时间顺序排列。在录像机播放时，一个旋转的磁头逐一读取磁带上记载着视 频信息的磁信号，将它转换为随时间变化的电信号进行重放。记录时，磁头又将 随时间变化的电信号转换成随着空间长度变化的磁信号存储在磁带上。由于磁带 在磁带上是随着时间、空间的顺序排列的，所以依托于磁带编辑的方式被称为线 性编辑。它的优点是直观、实时，但有一个致命缺点，就是无法进行随机的、飞 跃式的素材选择，并且在编辑过程中或节目编辑完之后，如果发现某一片断或某 一镜头不合适，需要修改、加长或缩短，对于这种情况，线性编辑就显得力不从 心。其解决办法是复制再编，工作量大并伴随着信号质量的损失。这种缺点主要 是由于磁带记录媒体的物理特性决定的，一旦节目编辑完成，其节目时间被磁带 的物理长度决定，要想插入新内容是可以的，使用插入编辑可完成这个任务，但 新内容必须与1 日内容时间上一致，这大大限制了修改的范围，暴露了线性编辑存 1 2 第二章视频编辑特技相关技术 在的不足。 2 2 2 非线性编辑系统 随着数字视频技术的快速发展，电视节目源的获取渠道和存在形式日趋多样 化。除了传统的录像带承载的模拟节目源，还有数字信号源；除了未经过压缩的 视频( 音频) 序列，还包括经过压缩处理的节目源。又加之电视台数目的增加， 电视频道的扩容，消费者对电视节目的内容、质量的要求不断提高，这一切都无 形中对电视节目的后期制作提出了更高的挑战。 非线性编辑这一概念是从电影剪辑中借用而来，是传统设备同计算机技术结 合的产物，它利用计算机数字化地记录所有视频片段并将他们存储到硬盘上。由 于计算机对媒体的交互性，人们可以对存储的数字化文件反复更新和编辑视频节 目。从本质上讲这种技术提供了一种方便、快捷、高效的电视编辑方法，使得任 何片段都可以立即观看并随时任意修改。 非线性编辑还被赋予了很多新的含义。从狭义上来讲，非线性编辑是指剪切、 复制和粘贴素材无须在存储介质上重新安排它们。而传统的录像带编辑、素材存 放都是有次序的，必须反复搜索，并在另一个录像带中重新安排它们，因此称为 线性编辑。从广义上讲，非线性编辑是指在用计算机编辑视频的同时，还能实现 诸多的处理效果，例如特技、字幕等等。 非线性编辑是一种主要的现代影视制作手段，其主要特征是能快速而精确地 访问和编辑素材中的任意一帧，并以此为基础结合信号处理和计算机图像图形技 术实现各种复杂的片段