（计算机应用技术专业论文）非真实感中艺术风格模拟技术的研究.pdf

摘要 摘要 非真实感绘制是在传统的计算机图形学基础上发展起来的，既是基于真实感 绘制技术的，非真实感绘制也可以被看成为一种特殊的真实感绘制技术，对于手 绘图的真实模拟。在近3 0 年内，已经迅速的发展成为计算机图形学中一个独立的 分支，成为该领域的研究热点之一，衍生出一组常用于进行非真实绘制的技术方 法，例如轮廓线检测和绘制、独特的光照和纹理技术。同真实感绘制技术一样， 其渲染方法也经历了从单纯依赖c p u 到使用g p g p u 分担c p u 计算所产生的质的 飞跃。当前，非真实感绘制涉及的范围已经非常广泛，特别是游戏制作中。如何 在图形引擎中实现无需用户干预的非真实感绘制，成为本文将要解决的问题。 目前在各种图形引擎中，特殊效果渲染需要单独编写程序实现。本文的研究 目的是将非真实感绘制模块作为工具集通用引擎中特效渲染模块的子模块之一， 以插件形式接入引擎主模块。 本文利用现代硬件加速技术，提出了一种在图像空间完全使用g p u 编程实现 的轮廓线提取和绘制算法，并基于p h o n g 光照模型的改进设计了一种适合于n p r 绘制的改进光照模型。并将其应用在本文中的两种非真实感风格模拟实现当中。 本文实现两种艺术风格的模拟，实现了卡通风格化和钢笔风格化的非真实感 绘制。作者通过研究当前非真实感绘制领域多种渲染效果的实现手法，借鉴了其 中效果好并且效率高的部分，改进了当前已有的渲染流程中不足的部分。对于卡 通风格通过多重渲染，实现了输入三维模型，经历环境光渲染，轮廓线查找、光 照模型渲染、卡通着色，背面阴影和投射阴影绘制等多个步骤得到的带阴影的卡 通渲染效果，最终得到卡通风格图像的非真实感绘制流水线。本文中的钢笔画风 格借助n p r 技术中基于图像空间的生成方法，利用各种不同大小及形状的笔划进 行三维物体的钢笔画效果自动生成。并结合融合了s l i c i n g 技术、m m i 技术、层次 图像缓存技术和基本布告板技术等大场景实时加速绘制技术的多层次绘制方法， 提出植物多层次钢笔风格化绘制技术。 本文的实现过程无需用户干预，采用了基于可编程图形硬件的方法，充分利 用了可编程图形硬件的计算能力，速度较快，渲染效果较好，可以较好的运用于 引擎场景编辑当中，为引擎的特效模块提供了一种全新的特效模式。 关键词：非真实感绘制，卡通风格，钢笔画风格，可编程图形硬件 a b s t r a ( x a b s t r a c t n p rh a sa b s o r b e dl o t so fr c s e a r c ha c h i e v e m e n t si nr e a l i s t i cr e n d e r i n g b e f o r et h a t ， r e s e a r c ho fn p rw a sb a s e do ni m a g ea n dm o s to fa l g o r i t h mw a si m p l e m e n t e do nc p u t o d a y , t h eg r a p h i c sr e n d e r i n gp i p e l i n e h a sb e e nw i d e l yu s e di nr e s e a r c ha n d i m p l e m e n t a t i o no fn p r f o ra p p l i c a t i o n , n p rt e c h n i q u ec a nc o v e rl o t s o ff i e l d s e s p e c i a l l yi ng a m ed e s i g n ，i tl 凇f o u n dm o r ea n dm o r ee x t e n s i v ea p p l i c a t i o n s h o wt o r e a l i z eak i n do fn p rr e n d i n gi no u re n g i n e s ，i sb e c o m i n gt h em o s ti m p o r t a n tp r o b l e m r ： o ft h i sr e s e a r c h ! 。 n o w a d a y si ng a m ee n g i n e s ，s p e c i a l e f f e c tr e n d i n gi sr e q u i r e dt or e a l i z eb y p r o g r a m m i n gs o l e l y t h er e s e a r c ht a r g e to ft h i sa r t i c l ei st or e g a r dn p r m o d u l ea sa s u b - m o d u l eo fs p e c i a le f f e c tr e n d i n gi no u re n g i n e sa n ds w i t c hi ne n g i n em a i nm o d u l e i np l u g - i nf o r m t h et h e s i sb a s e so nt h eh a r d w a r e a c c e l e r a t et e c h n i q u e ，p r o p o s e so n et e c h n i q u ei n s i l h o u e t t ed e t e c t i o na n dr e n d e r i n gb a s e do ni m a g es p a c ew i t hg p us h a d e rp r o g r a m m i n g , a n dd e s i g n san e wi l l u m i n a t i o nm o d e lb yi m p r o v i n go nt h ep h o n gi l l u m i n a t i o n m o d e l w eu s et h et w ot e c h n i q u e si nt h et w oa r t i s t i cr e n d e r i n gr e a l i z a t i o n so ft h i st h e s i s t h et h e s i sr e a l i z e st w ok i n do fn p rs i m i l a rw i t hc a r t o o na n dp e n a n d i n k t h e w r i t e rr e s e a r c h e sp r e s e n tr e a l i z a t i o no fm u l t i - r e n d i n ge f f e c t so fn p r ，b o r r o w st h ep a r t s w i t hg o o de f f e c ta n dh i 曲e f f i c i e n c yo fi tt oi m p r o v et h ep r e s e n ti n s u f f i c i e n tp a r t si n r e n d i n gp r o c e d u r e s f o rc a r t o o nr e n d e r i n g i nt h i st h e s i s ，p r e s e n t sn p r p i p e l i n e ss i m i l a r w i t hc a r t o o np i c t u r e sb yi n p u t t i n g3 - d i m e n s i o nm o d u l e s ，s i l h o u e t t ed e t e c t i n g , o u t l i n e t h ep r o f i l e sa n de d g e so fo b j e c t si nb a c k , i l l u m i n a t i o nm o d e lr e n d e r i n g ，u n i f o r m l yc o l o r t h es u r f a c ei n s i d et h eo u t l i n e sa n dc o l o ru n i f o r m l yc o l o rt h es u r f a c ei n s i d et h eo u t l i n e s f o ro u rp e n a n d i n kr e n d e r i n gi n t h i st h e s i s ，s t u d i e st h ea u t o m a t i cg e n e r a t i o no f p e n a n d i n kr e n d e r i n gs y s t e m a t i c a l l yi nn p r u s i n gs t r o k e sw i t hd i f f e r e n ts i z ea n ds h a p e ， w i t ht h em e t h o do fi m a g e b a s e dg e n e r a t i o n a n dc o m b i n i n gt h ep e n a n d i n kr e n d e r i n g t ot h em u l t i 1 a y e r e dr e n d e r i n gi n t ow h i c ht h es l i c i n g ，m m i ( m u l t im e s hi m p o s t e r ) ， h i e r a r c h i c a li m a g ec a c h i n ga n db i l l b o a r dt e c h n i q u ea r em e r g e d t h em u l t i _ l a y e r e d v e g e t a t i o nr e n d e r i n gw i t ht h ep e n - a n d i n ks t y l ei sp r o p o s e df o ra c c e l e r a t e dd r a w i n go f c o m p l e xe n v i r o n m e n t s ，l e f o r e s ts c e n e t h ep r e s e n t i n gp r o c e d u r ed o e sn o tn e e dt h eu s e r s i n t e r v e n e i tu s e st h em e t h o d b a s e do n p r o g r a m m a b l eg r a p h i c s h a r d w a r e ，u t i l i z e s t h e c o u n t i n ga b i l i t y o f p r o g r a m m a b l eg r a p h i c sh a r d w a r e s i n c et h es p e e di sf a s t ，i t c o u l db eu s e di ng a m e e n g i n e sw e l la n dp r o v i d ea b r a n d - n e we f f e c tt oe f f e c tm o d u l eo fg a m ee n g i n e s k e y w o r d s ：n o n - p h o t o r e a l i s t i er e n d i n g , c a r t o o nr e n d e r i n g , p e n - a n d i i l kr e n d e r i n g , p r o g r a m m a b l eg r a p h i c sh a r d w a r e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 霍趟垄2日期：7 即7 年6 月f1 7 i f 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：至兰显毪呈： 导师签名： 吼乞。刁 年6 月f 日 第一章绪论 1 1 课题背景 第一章绪论 本文是基于非真实感绘制的几种艺术风格的模拟研究，是以国家8 6 3 项目“支 持数字媒体内容创作的集成环境( n o 2 0 0 6 a a 0 1 2 3 3 5 ) 为依托研究开发的。网络 游戏创作过程中，包含很多内容的创作过程，例如动画设计、脚本设计、场景设 计等。这些内容的创作往往占据了游戏制作的大部分时间。该项目就是为了设计 和完成一个内容创作平台以减少创作时间而提出的。项目研究构建数字媒体产品 开发的创作工具集和通用引擎，开发支持大规模网络协作式内容创作的关键技术， 高效的对象造型技术，支持多种媒体融合的建模技术与创作，以及支持各种计算 机特效的集成创作工具。本文就是以此项目为课题背景，探索非真实感绘制中艺 术风格化绘制的原理和实现，最后将其整合到数字内容创作平台的图形引擎中。 1 2 课题研究意义 在过去那么多年的计算机图形学发展中，真实感绘制一直站在研究者们瞩目 的焦点处作为主要的研究重点。真实感渲染追求最逼近现实世界状况的真实效果， 对图像精确性和完美性要求极高，强调得到对现实世界模拟结果的最高真实度。 而在某些时候，人们往往需要借由计算机生成一些与真实场景风格迥异的图像， 就如同人们在过去的很长的一段时间内都是经由素描、绘画、卡通风格等方式， 手绘来描绘人们大脑人之中真实或虚幻的世界用来表达作者想要向所有看图者传 达的信息。于是本论文中将要研究的非真实感绘制( n o n p h o t o r e a l i s t i cr e n d e r i n g ， n p r ) ，诞生成为了计算机图形学的近3 0 年来的一个分支。与真实感渲染所不同 的是非真实感绘制指的是利用和计算机生成不具有拍照般真实感，而具有手绘风 格的图像的技术。通过省略与图像中的信息无关的细节，简化物体对外展示的形 状，甚至暴露本不应该出现的细节部分来表达意图。非真实感绘制的应用主要在 于表现图形的艺术特质，模拟现有风格的艺术作品或其他图形的有效补充。【l 】 非真实感绘制在流水线的众多过程操作等方面和真实感图形学基于共有的基 础( 如模型多边形简化、反走样、s h a d e r 着色等) ，但是两者的在目的、追求点和 电子科技大学硕士学位论文 使用的手法上存在根本性的差异，尤其聚集的应用领域也是各有千秋。非真实感 绘制当前的应用主要可以归纳为以下几处： ( 1 ) 艺术领域。非真实感绘制本身就是通过计算机图形研究学者对各种风格艺 术作品手绘方式的分析与研究，以及使用计算机算法对各种艺术风格进行模拟而 演变出的- 1 9 相对于真实感图形学的新兴学科。因此n p r 也相当的容易就可以返 回到原始的艺术创造中进行应用，并由此诞生出各种用于艺术创作的软件和硬件 设备，以提供给艺术家辅助其艺术创作。 ( 2 ) 科研领域。着重于科学和医学插图应用的科学研究领域目前被认为是精细 度最高的插图领域( 例如解剖学器官的插图等) 。该领域的各种图像应用实例中存 在许多管理和标准( 使用不同宽度的线条和不同密度的影线对不同光照条件进行 编码等) ，并且在现今的文献中还一直被遵循。 ( 3 ) 特定分支领域。与上面科研领域中的通用插图不同的是在一些科学分支中， 仅仅用于该研究领域中的特定图形风格已经成为了用以捕获可见现象的方法。因 此成为了一种特定的应用领域，在该领域中最具代表性的考古学中，画图主要采 用点画完成，并作为观察和发现物体的小细节以及较大特点的手段。 ( 4 ) i 程领域。该领域包括了作为工程人员之间交流有效媒介的工程制图( 工 程插图) ，以及问题说明图像( 例如经常在用户手册中可以看到的图像) 。这些图 像中忽略了被描述物体的许多细节，仅显示了在当前情况下想要表达的部分以及 通过抽象图形符号以展示附加信息。 ( 5 ) 娱乐领域。非真实感绘制广泛的应用于电影，游戏，动漫等娱乐产业，也 出现了像迪斯尼一样的基于此获利的动漫或影视公司，迪斯尼公司将使用动漫将 故事的方式应用到了极致。n p r 技术在娱乐业中创造的艺术化效果可谓是有目共 睹。育碧公司近期推出的波斯王子神迹就是一款3 d 卡通渲染的游戏。 与真实感绘制的巨大差异和诸多不同应用领域使得非真实感绘制研究形成了 自己独特的研究方法，同时非真实感绘制又是基于传统的真实感图形学研究的， 借助其己取得的研究成果，可以预见非真实感绘制拥有着良好的科研和应用前景。 然而这一图形学分支的成立有利于总结其独有的技术方法和研究方向的纵深发 展，从而可以相信作为图形学研究的一个热点，非真实感绘制将得到高速的发展 并取得骄人的成果。 本文所描述的数字内容创作平台的图形引擎是在前节所描述这一实际项目 中，在开放技术的基础上完成的。综合和借鉴了数个优秀的丌源引擎技术及其框 架，搭建了一个更方便实用，并能为项目中各种编辑器提供基础丌发的通用引擎。 第一章绪论 而本文重点研究的非真实感绘制技术主要应用在这一内容创作平台的创作工具中 的场景编辑器中，以表现不同风格场景展示。 1 3 国内外研究现状 这- d , 节中。将对本文涉及到的各种主要技术当前在国内外的发展现状作一 个全面的综述。主要介绍非真实感图形学渲染技术的发展和研究现状。 1 3 1 非真实感绘制 上个世纪8 0 年代，非真实感图形渲染开始被图形学领域的研究者们提及。1 9 9 0 年，f o l e y 等人在自己的著作中提及“如果图片的晟终目标是传递信息，那么没有 阴影和光反射这类复杂信息的图像可能比真实感的图像更为成功”【2 】，9 0 年代初 期，随著一批最早的关于非真实感图形学的论文在s i g g r a p h 和e u r o g r a p h j c s 会 议上的发表，非真实感绘制的最初理论雏形至此开始在图形学研究领域中逐渐开始 形成，同时受到研究者们极大的关注。9 0 年代末s i g g r a p h 和e u r o g t a p h i c s 为非 真实感绘制这一主题单独设置了专题，从而使非真实感绘制开始作为一个单独的类 别进入了一个稳步发展的时期。 国 ，一弋 i 茸观5 d 培圈后獬羲坑 i 从增强留景中自动生箍 m 真买照蛄制 伟筑凰形j 筘 旧沁 圈1 - 1n p r 的拨展过科求】非真实感三维渲染舯产生 最早的非真实感绘制系统是二维的交互式绘图系统，用户可咀使用系统提供的 绘图工具( 例如现在的p h o t o s h o p 中的铅笔、画刷和油桶等工具) 在画佑上创建自 己想要的图像。这类图像是基于像素的，系统由用户控制且操作简单方便。但是 绘制出的效果比较容易单调，难以满足人们的要求。中期出现了基于笔刷的2 d 绘 制系统和2 d 2 5 d 后期处理系统。基于笔刷的2 d 绘制系统以不同m 格的笔刷模 3 电子科技大学硕士学位论文 型来构造新图像，以产生各种各样不同的效果。2 d 2 5 d 后期处理系统将原始的 或有附加信息的图片作为基础进行图像处理。2 d 的算法在改变图像的基础上进行， 而图像则在像素基础上编码光亮度。而2 5 d 的算法则建立在一个重要的概念上， 即在二维数据结构中编码三维信息附加的几何信息可以极大地增强对物体形状 的感知。近期对非真实感绘制的研究主要集中在三维空闻上采用不同的风格实时 显示n p r 的算法。这种基于三维数据自动生成图像主要优势在于可以生成实时动 画与虚拟漫游场景。 对于一个真实感绘制而得的三维场景，主要可以通过两种方法得到我们想要 非真实感绘制效果：将三维场景处理为一个2 5 d 的中间处理过程分析其中附加 的几何信息和场景风格所需的笔划并模拟所需的自然介质( 颜料，墨或者碳等) ， 得到三维场景的每一幅静态画面。另一种方法是按传统的方法生成三维场景的真 实感图像后，通过笔划重构( 前文提到的基于笔刷的2 d 绘制系统使用的方法) 或 者传统的滤镜方法( 如点画法和图像马赛克等) 得到想要的非真实感三维渲染图。 非真实感绘制技术从二维的交互式绘图系统发展到如今不需要用户交互的三 维自动系统，除了按渲染风格进行划分( 即以非真实感绘制的不同应用目的来划 分) 。d a n i e lt e e c e 在9 8 年提出了两种现在比较通用的分类方法：口l 。 1 根据处理的是3 d 还是2 d 2 5 d 的数据以及是否需要用户交互，将非真实 感绘制技术归纳为四类。 2 基于模型f l 勺( m o d e lb a s e dn p r ) 、基于图像 均( i m a g eb a s e dn e w 、二者混合 的( h y b d da p p r o a c h ) 、交互z d 、3 d 绘画系统。 对于前一种基于维数和交互性的分类，包括：1 不需要用户干预的2 维2 5 维 n p r ，这类绘制主要是把刚像和视频序列自动的处理成具有风格化的艺术效果的 图像，其主要代表是文献【4 和 5 】。2 不需要用户干预的3 维n p r ，此类n p r 绘制 典型代表有文献 6 】、 7 】、【8 等等。借助计算机的三维图形硬件朋速，实现非真实 感的动画( n p a ：n o n p h o t o r e a l i s t i ca n j m 矗o n ) 和虚拟漫游系统可以简单而方便地达 到实时性。这使得非真实感绘制技术在更为广泛的范围内得到应用。3 需要用户干 预的2 维，2 5 维的n p r ，这类系统需要用户的控制不能自动生成最终图像。该 类中的某些系统使用三维模型预先生成二维的图像作为中问产品，然后通过户控 制，在中且产品上绘制生成最终的二维图像，被称为是2 5 维的。该类的典型例子 有文献 9 】和 1o 惜。4 需要用户干预的3 维n p r 这类非真实感绘制主要表现三维 效果，虚拟场景等。使用这类n p r 的系统，用户交互地在三维物伴的表蚵放嚣笔 划，这些笔划可以在改变视点的情况下保持三维位置不变。在2 0 0 2 年，普林斯顿 4 第一章绪论 大学和布朗大学合作开发了一套w h a ty o us e ei sw h a ty o ug e t 的三维n p r 系统l l l 】。 后一种分类方法中：1 基于模型的( m o d e lb a s e dn p r ) ，主要有对传统绘画媒介 的模拟，比如钢笔画效果、铅笔画效果、油画效果、水彩画效果等等。2 基于图像 的( i m a g eb a s e dn p r ) ，不仅仅包含对单幅图像的处理，也包括对视频流的处理。文 献 5 t i p 属于这类。3 二者混合的( h y b r i da p p r o a c h ) 指系统结合使用了基于模型和基 于图像的n p r 方法。4 交互2 d 、3 d 绘画系统，需要用户和系统的有机结合，它们 侧重于辅助艺术家创造各种风格的场景，或者利用人的智能解决n p r 中计算机无 法解决的难点。前面提到的w h a ty o us e ei sw h a ty o ug e t 的三维系统就属于此类。 1 3 2g p u 硬件加速技术 在现在电脑的配置中，图形显卡对于某些人来说往往是必不可少的部分。而 这些对显卡的配置存在一定偏执的人大部分都是游戏爱好者。他们为了追求更好 的游戏画面显示效果而愿意将电脑的购买费用花费在显卡上。市场的需求推动了 产品的发展，p c 也因为用户的需求而发展出无比强大的运算能力。然而比起同期 的图形子系统，p c 的其他部分则远远不如。从r 3 0 0 到l x w 4 0 ，再到后来的g 9 0 和g t x 2 0 0 ，每一代g p u 的计算能力都远远超过了同期的顶级c p u ，也是其同时 代半导体制造工艺极限的不断挑战。例如，一块主频为3 0 g h z 的奔腾4 c p u 拥有 1 2 5 亿个晶体管，峰值浮点运算能力至多也只达到6 g f l o p s ，相对于当时的n v 4 0 g p u 因为2 2 2 亿晶体管造就的4 0 g f l o p s 峰值浮点运算能力，其差距显而易见。 g r a p h i c sp r o c e s s i n gu n i t ( g p u ，图形处理器1 ，在以前的大部分应用都只局限在实时 图形渲染领域内，即使他拥有较之c p u 更为强大的运算能力。仅仅靠娱乐市场就 支撑起g t x 2 8 0 这种强大运算能力的半导体芯片，导致很多特定领域，g p u 已达 到比同期c p u 更为强大的处理能力，从而发展出现在一个热点的应用g p g p u ( g e n e r a lp u r p o s e g p u ) ，既是使用g p u 来代替c p u 充当一般程序中运算的主 角，或者是协助c p u 更快的完成运算任务。也就是利用图形显卡来进行一般意义 上的计算，而不是仅仅进行单纯的绘制工作。 在过去的数年内，图形学在实时性方面取得了巨大的成就，从9 9 年由n v i d i a 首次引入g p u 的可编程的概念开始，g p u 在架构和功能两方面都发生了巨大的改 变，使得现代的图形处理器( g r a p h i c sp r o c e s s i n gu n i t s ，g p u ) 也广泛的具有可编 程性，从而为实现复杂模型的实时绘制提供了硬件加速支持。这种硬件支持主要 表现在g p u 对图形绘制流水线的并行化处理机制方面，3 d 渲染流水线经历了固 电子科技大学硕士学位论文 定功能到强大的统一渲染管线的革命性演变。到现在为止我们可以将g p u 的发展 分为下面的几个阶段，在性能和架构上，每个阶段都相对于上一阶段都有着重要 的飞跃。1 9 9 8 年之前，这一时期图形硬件( 图形显卡) 市场还属多国混战时期， 同时存在多家以研发芯片为主的制造厂商在这一市场上激烈竞争，包括n v i d i a 、 a t i 、3 d l a b s 、3 d 6 【、t r i d e n t 、r e n d i t i o n 、c i r r u sl o g i c 、s 3 等。推出了n v i d i a 公 司的t n t 2 ，a t i 的r a g e 以及图形显卡最初的垄断厂家3 d f x 极具代表性的产品 v o o d o o ，这个时期的g p u 还只能够处理仅仅具有一个或两个纹理的像素，但是在 当时已经大大提高了c p u 处理3 d 图形的速度，但是这时期g p u 起到的加速作用 还不能完全的让我们将其当做图形处理单元( g p u ) 。1 9 9 9 年到2 0 0 0 年，n v i d i a 公司推出了g e f o r c e 2 5 6 图形芯片，史上第一款具有转换和光照处理几何引擎( t & l ， t r a n s f o r m a t i o n & l i g h t i n g ，多边形变换和光照计算) 的显示核心【1 2 1 ，t & l 的革命性 引入分担了c p u 在3 d 图形渲染中的几何运算工作，让显示芯片实现了高速的顶 点变换，不在仅仅只是进行原先意义中的填充像素和生成三角面片的工具。随后 又相继推出了n v i d i a 的g e f o r c e 2 ，s 3 的s a v a g e 3 d ，a t i 的r a d e o n 7 5 0 0 等几款 g p u 。这一时期的g p u 拥有了较强的可配置性，但是距离达到真正的可编程能力 还存在一段路程。2 0 0 1 年时，微软推出了直到现在依然保持3 d 游戏主流a p i 的 地位的d 3 d ，并推出了新的3 d a p i d i r e c t x 8 ，至此着色器( s h a d e r ) 这一新的概 念出现在世人的面前。同时n v i d i a 推出的g e f o r c e 3 成为首款支持d i r e c t x 8 完整 特性的3 d 加速器，随后a t i 的r a d e o n8 5 0 0 以及n v i d i a 针对其进行竞争推出的 g e f o r c e 4t i ，又针对d i r e c t x8 级别、在支持p i x e l s h a d e l ( 像素着色器) 与 v e r t e x s h a d e r ( 顶点着色器) 的基础上融入了s m a r t s h a d e r 、t r u f o r m 、 h y p e r z 以及s m o o t h v i s i o n 等全新的技术。拥有了p i x e l s h a d e r 和 v e r t e x s h a d e l 全新的硬件逻辑，实现了g p u 真正开始支持像素和顶点的可编程， 这是继硬件t & l 革命之后p c 图形硬件技术的又一重大飞跃。2 0 0 2 年到2 0 0 3 年 推出的代表作产品包括了n v i d i a 的g e f o r c e f x 系列和其竞争对手a t i 的 r a d e o n 9 7 0 0 。这些g p u 提供了在顶点级和像素级两个级别同时的可编程能力。同 时s h a d e r 模型也发展到了s h a d e r2 0 ，相比上一个阶段的g e f o r c e 3 和g e f o r c e 4 ， s h a d e r 着色器具有更加完善的结构，更多的操作指令，更加精简和高效的处理顶 点和像素信息的指令。使得g p u 代替c p u 执行复杂的顶点变换和像素着色操作 成为可能。2 0 0 4 年到2 0 0 5 年推出的n v i d i a 的g e f o r c e 6 、g e f o r c e 7 系列以及a t i 的r a d e o nx l x 0 0 系列都是完整支持具有s h a d e rm o d e l3 0 的d i r e c t x9 0 c ，s h a d e r 模型得到极大的改善，其性能方面也步 有大幅度的增长【l3 1 。3 2 位浮点着色器单元 6 第一章绪论 ( f p 3 2s h a d e ru n i t ) 的添加使得运算能力大大提升，更加庞大的流水线系统和并行 1 6 x1 渲染管线的架构，都带来了更为高速的渲染效率。2 0 0 6 年对于g p u 来说是 里程碑式的一年，这一时期的g p u ，如n v i d i a 的g e f o r c e 8 系列，在架构上有 了突破的更新，传统渲染管线结构的摒弃和全新s t r e a m i n gp o r c e s s o r 并联结构( 也 就是官方说的统一管线结构) 的使用。并且硬件支持d i r e c t x l 0 标准和s h a d e rm o d e l 4 0 。统一渲染管线中的流处理器通用运算技术使g p u 不再是局限于从前的图形运 算而已经具有通用视觉计算的能力，g p g p u ( g e n e r a l p u r p o s ec o m p u t a t i o no n g p u s ) ，更多称为通用g p u 从此诞生了。同年n v i d i a 发布了针对n v i d i ag p u 的c 语言环境一c u d a 1 4 】工具包，对g p g p u 开发的支持使得图形硬件加速技术进 入全新时代。在随后一两年中，在g p u ( 图形处理器) 上提供标准c 编程语言的 c u d a 得到极大发展，到2 0 0 8 年底n v i d i a 已经推出了c u d a 的2 1 版本，并 且在其推出的新一代g p u 中采用了c u d a 架构，这个和c p u 的架构很类似，同 样有一套指令集i s a ，还有各种各样执行指令的硬件引擎。在两年，n v i d i a 推出 了三代d i r e c t x1 0 产品，第一代的d i r e c t x1 0 产品g e f o r c e8 0 0 0 系列，第二代的 g e f o r c e9 0 0 0 系列，到最后n v i d i a 的新一代使用g t 2 0 0 的显卡g 耵( 2 6 0 g t x 2 8 0 ， 但是很可惜的是也许是n v i d i a 认为目前d i r e c t x1 0 1a p i 尚未成熟，所以在第三 代d i r e c t x1 0 产品中仍未加入对d i r e c t x1 0 1 的支持。而对于才开始的2 0 0 9 年， 最值得期待的莫过于d i r e c t x1 l ，微软将在现有d x l 0 的基础上增加诸多全新渲染 特性，比如s h a d e rm o d e l5 0 、t e s s e l l a t i o n 、c o m p u t es h a d e r s 、多线程渲染等等。 s h a d e rm o d e l5 0 采用面向对象的概念，完全支持双精度数据( d i r e c t x1 0 支持整 数运算和位运算的功能) ，最大限度o 的降低了开发者编程的难度。目前d i r e c t x1 1 还没与正式发布，但是可以想象在不久的将来，它的诞生将会带来图形a p i 和可 编程硬件的有一大革命。 1 4 本文工作 近年来，以计算机图形学的方法来生成艺术风格图像的研究已经取得了一些 较好的成果。但是有的只是建立了画刷模型进行笔划的模拟；还有是交互式绘图， 由于用户的加入造成了时间的浪费，不适用于游戏引擎当中。 本文的主要研究目标是实现适用于图形引擎当中的，两种艺术风格( 卡通风 格、钢笔画风格) 的非真实感绘制。既要考虑视觉回馈，同时需要兼顾实时性。 因此，本文采用了基于可编程图形硬件的方法，利用其优异计算能力来实现本文 电子科技大学硕士学位论文 的研究极具意义。 本文研究利用可编程图形硬件来从三维模型上渲染出卡通和钢笔风格的图 像。卡通渲染其主要实现步骤为三次渲染，其中第一次渲染包括以下步骤： 利用几何模型进行随机边查找； 利用n b u f f e r 实现轮廓线的快速查找； 利用c o l o r - b u f f e r 进行轮廓边查找； 第二次渲染包括以下步骤： 改变光照模型实现内部着色； 表面纹理贴图重新； 非真实感光照模型渲染。 合成非真实感光照模型渲染图像和带轮廓线和纹理映射卡通渲染图像作为第 三次渲染的输入，第三次渲染包括以下步骤： 添加背面阴影到渲染对象上； 运用颜色修改算法添加阴影到场景中。 钢笔画风格渲染也是需要两次渲染步骤，同时将树模型分成两个树干和树冠 部分进行渲染，其中第一次渲染包括以下步骤： 将三维模型渲染到g - b u f f e r 和n - b u f f e 中； 利用由两种缓存的检测算法组成的复合算法对树干进行轮廓检测和绘制； 采用光照模型对树干划分光阶以进行笔划纹理的绘制。 将第一次渲染得到的z - b u f f e r 深度图和第一次渲染后的已绘制完树干的的图 像一起作为第二次渲染的输入 结合z - b u f f e r 中深度缓存图对树冠进行基本体素替换，显示判断，绘制； 输入到单独纹理单元中，以供多层次绘制时使用。 与其他人的工作相比较，本文主要的创新点有： 将非真实感绘制作为特效渲染模块的子模块引入工具集通用引擎中，增加 了在创作数字内容是得到更多样性的视觉效果。 改进了前人提出的图像空间内的轮廓线提取和绘制算法的构建思维，使之 具有灵活的组装能力，并完全使用g p u 编程实现。 针对本文预期渲染结果需要，改进了p h o n g 光照模型以便更适合非真实感 绘制需要。 将纹理和阴影引入传统的卡通渲染中，已得到更为丰富的场景信息。 融合了s l i c i n g 技术、m m i 技术、层次图像缓存技术和基本布告板技术等 第一章绪论 大场景实时加速绘制技术的多层次绘制方法，提出植物多层次钢笔风格。 绘制技术改进了他人的方法，使用两次渲染，实现了两种风格渲染流水线。 1 5 论文组织 全文共分为八章，作者的主要工作集中在三、四、六、七章中。本文的主要 结构如下： 第一章：全文的绪论。对课题背景和研究意义，非真实感绘制和基于图形硬 件的可编程加速技术发展现状等情况进行了介绍。指出论文作者的主要工作、创 新点和章节安排。 第二章：背景知识介绍。分析了三维编程接1 2 1 ( d i r e c t 3 d ) 和图形引擎( o g r e ) ； 介绍了常用的光照模型；阐述了图形流水线的发展过程和s h a d e r 语言现况；突出 介绍了本文的研究内容非真实感图形学中的几个关键关键概念 第三章：本文中整个引擎系统的总体设计。其中包括数字内容创作平台总体 架构、其中场景编辑器的设计和管理策略，以及非真实感绘制模块在通用引擎中 所处的位置及其开发模式等内容。 第四章：介绍了本文实现中涉及到的集中非真实感绘制的通用关键技术。包 括轮廓线检测及其风格化技术、基于笔触的绘制以及非真实感光照，并提出本文 中使用的改进方法。这些技术当中的轮廓线检测技术，基于笔触的绘制技术和非 真实感光照都是本文的研究过程中所用到的。 第五章：介绍了基于可编程图形处理硬件的非真实感绘制平台的搭建。包括 本文研究所用到的可编程图形流水线、软件支持以及高级着色语言。并介绍了本 文的工作平台。 第六章：讲述了卡通渲染的具体实现流程。本文的非真实感流水线包括三次 次渲染。第一次渲染由c p u 向可编程图形处理硬件( g p u ) 输入三维模型开始， 经历了在可编程顶点着色器和像素着色器中总共三次的轮廓线绘制和第二次的内 部着色步骤与表面纹理映射，以及非真实感光照渲染后，合成非真实感光照模型 渲染图像和带轮廓线和纹理映射卡通渲染图像输入到第三次渲染中对其结果添加 阴影。最终得到了预期的渲染结果，并对渲染结果进行了分析。 第七章：讲述了钢笔画风格绘制树木的具体实现流程，将树模型分成两个树 干和树冠部分进行渲染，其中第一次演染中利用g b u f f e r 对树干进行轮廓检测和 绘制，采用光照模型对树干划分光阶以进行笔划纹理的绘制。然后将第一次渲染 电子科技大学硕士学位论文 得到的z b u f f e r 深度图和第一次渲染后的已绘制完树干的的图像一起作为第二次 渲染的输入结合z b u f f e r 中深度缓存图对树冠进行基本体素替换，显示判断，绘制； 输入到单独纹理单元中，以供多层次绘制时使用。最终得到了预期的渲染结果， 并对渲染结果进行了分析。 第八章：总结了本文的工作，并对未来的工作做出了展望。 最后部分为参考文献，致谢，以及作者攻读研究生期间发表的论文和参加的 科研项目。 1 0 第二章相关理论基础 第二章相关理论基础 2 1 三维图形 p i 和引擎介绍 3 d a p i 是3 d 图形应用程序和3 d 图形加速卡( 图形显卡) 之间进行沟通的途 径。目前对于开发者们来说，可供选择的三维( 3 d ) 图形编程接n ( a p i ) 太丰富了， 多达5 0 多种。如何选择适台自己应用的a p i ，开发的应用所面向的平台，是否需 要支持跨平台工作，是否有支持c s 模式的必要以及对面向对象开发的支持等等， 都被作为a p i 选择的一般准则。另外，知名公司和在图形卓有成就的公司提供的 三维图形a p i 或图形引擎是绝大多数开发者首先考虑的。例如s g i 公司的o p e n g l 和m i c r o s o r 公司的d i r e c t 3 d 以及a p p l e 公司的0 u i c k d r a w3 d ( q d 3 d ) 等。对于 同样作为开发者的我们来说，在开发工作开始之前详细了解所选a p i 的功能和优 缺点是相当必要的。 d i r e c t x 幽2 - 1d i r e c t x 机制 d i r e c t x 是m i c r o s o f t 丌发的一组基于w i n d o w s 平台的“应用程序编程接口 r a p i ) ”，它是为高速的多媒体功能等高要求应用丌发服务的，包括了高速的实时渲 电子科技太学硕士学位论文 染、交互式音效等。d i r e e t x 使程序能够轻易地确定开发所用计算机的各项硬件性 能病设置合适的程序参数，确保多媒体程序能够充分利用高性能硬件。图2 - 1 为 d i r e c t x ，硬件，当前w i n d o w $ 系统三者之间的通信机制。 d i r e c t x 的真正意义是他的“硬件设各无关性”。微软开发了一套d i r e c t x 的标 准平台，只要微软，开发商，硬件制造商三方都依据这个标准开发自己的产品， 那么无论硬件是否支持某种特效实现，只要需要该运算的程序是遵守d r i e c t x 标准 开发得出的。当这个程序在硬件上运行，如果此硬件根据d i r e c t x 标准把这个效果 做到了硬件驱动程序中，驱动程序就会驾驭其硬件算出结果。 创2 - 2 d i r e c t x 架杠j 通过“硬件抽象层( h a l ) ”，d i r e x t x 可以提供直接访问硬