（计算机应用技术专业论文）基于gpu和粒子系统的水墨效果研究与实现.pdf

上海人学硕士学位论文 摘要 书法与水墨画是中国最具代表性的传统文化，其特有的水墨表现方式和抽象 写意性与西方的绘画有很大不同。随着近代计算机技术的不断发展，水墨艺术的 数字实现是计算机科学与技术与中国传统文化相结合的新的研究领域，无论在技 术还是在传统文化的继承与发展方面都有重大意义和影响。 本文对书法及水墨画做了简单的介绍，涉及到笔、墨、纸三要素在水墨作品 创作中的作用和相互之间的关系。水墨渲染是非真实感( n p r ) 的一个分支，文 中对非真实感的研究状况及实现技术也进行了详细的介绍。并对水墨仿真的研究 成果作了详细的分析与讲解，在以往学者研究成果的基础上，本论文提出了一套 基于g p u 和粒子系统的水墨仿真系统。粒子系统模拟不贵则物体的特性为水墨效 果的实现提供了可行性，同时，g p u 和可编程流水线的应用避免了纯粹用软件来 实现水墨效果的弊端( 如：实时性差、效率不高、特效实现困难，局限性大等) 。 同时文中运用分形技术对水墨渲染的轮廓进行处理，并通过设置相应的虚拟宣纸 模型和系统参数来达到最佳的效果。本实验借助于d i r e c t x 9 0 来实现水墨效果的 渲染，并借助d x u t 框架来设计试验的总体框架，使得系统的交互性更强。 实验结果表明，本文所提出的基于g p u 和粒子系统的水墨效果仿真模型能充 分绘制出具有强烈艺术表现力的水墨效果作品。尤其其实时性方面达到了令人满 意的要求。同时为了水墨特效的动态仿真，文中对“枯笔 ，“飞白 等特效的 模拟也提出了进一步的实现思路和方法，为系统的扩展奠定了基础。 关键词：非真实感，水墨渲染，粒子系统，图形处理器，可编程流水线，分形 技术 上海大学硕士学位论文 a b s t r a c t c a l l i g r a p h y a n dc h i n e s ei n k p a i n t i n gi st h em o s tr e p r e s e n t a t i v eo fc h i n e s e t r a d i t i o n a lc u l t u r ew h i c hi s v e r yd i f f e r e n tf r o mw e s t e r np a i n t i n g s w i t ht h e d e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , h o w t or e a l i z ec h i n e s ei n k p a i n t i n gi n c o m p u t e ri san e wf i e l dt or e s e a r c h a n di ti sv e r yi m p o r t a n tt od ot h a tf o rt h e d e v e l o p m e n ta n dh e r i t a g eo fc h i n e s e t r a d i t i o n a lc u l t u r e f i r s t l y , i nt h i sp a p e r , as i m p l ei n t r o d u c t i o ni sm a d ea b o u tc a l l i g r a p h ya n dc h i n e s e i n k - p a i n t i n g ，m c l u d i n gi n k - b r u s h , i n k ，p a p e ra n dt h e i rr e l a t i o n s r e n d e r i n go fc h i n e s e i n k - p a i n t i n g i so n ep a r ti nt h ef i e l do f n o n p h o t o r e a l i s t i cr e n d e r i n g ( n p r ) s o m e t h i n ga b o u tt h er e s e a r c hs i t u a t i o na n dt e c h n o l o g yi nt h i sf i e l di sa l s oi n t r o d u c e d i nt h ep a p e r a f t e ra n a l y z et h er e s e a r c ha c h i e v e m e n t si nt h ef i e l do fs i m u l a t i n g c h i n e s ei n k - p a i n t i n gi nc o m p u t e r , b a s e do nw h i c has i m u l a t i o ns y s t e mt or e a l i z e c h i n e s ei n k - p a i n t i n gi nc o m p u t e ri sf i n i s h e d t h i ss y s t e mi sd e v e l o p e dw i t hg p ua n d p a r t i c l es y s t e m p a r t i c l es y s t e mi sa l m o s tf o rt h es i m u l a t i o no fi r r e g u l a ro b j e c t s ，s oi t i sag o o di d e at or e a l i z ec h i n e s e i n k - p a i n t i n gi nc o m p u t e rw i t l lp a r t i c l es y s t e r n w i t h g p ua n dp r o g r a m m a b l ep i p e l i n e ，w h i c hc a ni m p r o v et h ee f f i c e n c ya n dt h ef e a t u r eo f r e a l - t i m eo ft h es y s t e m b e s i d e s ，s o m es p e c i a le f f e c t sa r ea l s oa d d e d f r a c t a l t e c h n o l o g yi su s e dt oo p t i m i z et h ec o n t o u ro ft h er e s u l t a n dd i f f e r e n tp a r a m e t e r sf o r t h ev i r t u a lp a p e rc a l lg e td i f f e r e n tr e s u l t t h i ss y s t e mu s e sd i r e c t x 9 0t oa c h i e v et h e e f f e c to f r e n d e r i n g , a n du s e sd x u tf r a m w o r ka st h ei n t e r f a c eo f t h es y s t e m t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e ds y s t 锄b a s e do ng p ua n dp a r t i c l e s y s t e r nc a nm e e tt h en e e d so fu s e r s i np a r t i c u l a r , i th a sag o o df e a t u r eo f r e a l t i m e a t t h ee n do ft h i sp a p e r , s o m ei d e a sa r er a i s e df o rt h er e a l i z a t i o no fs o m es p e c i a le f f e c t s ， w h i c ha r ef o r t h ee x p a n t i o no ft h es y e t e m k e y w o r d ：n p r , r e n d e r i n go fc h i n e s ei n k - p a i n t i n g , p a r t i c l es y s t e m ，g p u ， p r o g r a m m a b l ep i p e l i n e ，f r a c t a lt e c h n o l o g y 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其它人已发表 或撰写过的研究成果。参与同一工作的其它同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 量c 互l i 丝e t 期：出2 ：! 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送交 论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：量【氢丝导师签名：- t e a , 日期：边盒；，兰 上海大学硕士学位论文 第1 章绪论 1 1 课题的研究背景及意义 水墨画和书法是最具代表性和中国特色的传统文化，从中我们可以演绎出中 华民族五千年的文明史。水墨画是中国画的一种，指纯用水墨所作之画。基 本要素有三：单纯性、象征性、自然性。相传始于唐代，成于五代，盛于 图1 i 水墨艺沫 宋元，明清及近代以来续有 发展。以笔法为主导，充分 发挥墨法的功能。“墨即是 色 ，指墨的浓淡变化就是 色的层次变化。“墨分五 彩 ，指色彩缤纷可以用多 层次的水墨色度代替之。北 宋沈括图画歌云：“江 南董源传巨然，淡墨轻岚为 一体。就是说的水墨画。 唐宋人画山水多湿笔， 出现“水晕墨章 之效，元 人始用干笔，墨色更多变 化，有“如兼五彩的艺术效果。唐代王维对画体提出“水墨为上，后 人宗之。长期以来水墨画在中国绘画史上占着重要地位。书法是汉字的书写 艺术。汉字在漫长的演变发展的历史长河中，一方面起着思想交流、文化继承等 重要的社会作用，另一方面它本身又形成了一种独特的造型艺术。它不仅是中华 民族的文化瑰宝，而且在世界文化艺术宝库中独放异采。水墨画及书法有其独特 的笔触与水墨浓淡的运用，与西方的水彩画或是油画有很大的不同。书法及水墨 画所需的工具就是所谓的“文房四宝”：笔墨纸砚，而水墨画有时会比书法多使 用一些颜料( 如：花青、赭石、藤黄、朱醺、胭脂等) 来调色，使画上的色彩更 加丰富。毛笔的用法非常特别，随着笔毛吸水墨量的多少及画家的用力大小，可 上海大学硕士学位论文 以画出许多不同的形状、粗细的线条，甚至一片叶子的叶面跟叶脉可以使用同一 支笔来完成。墨跟砚就有如西方的颜料跟调色盘一般，借着两者的配合，决定毛 笔所画出来颜色的浓淡及饱和度。中国书画所使用的纸也是一大特色，近代书画 多半是使用宣纸。宣纸有生宣纸与熟宣纸之别。生宣纸没有刷过明矾水，所以吸 水快，如同刀刻入木一般，笔触会极其牢固地落在纸面上，而产生“笔力透纸背 之感。熟宣纸刷过明矾水、鸡蛋的蛋白或豆浆，适于作工笔画及需要晕染的水墨 着色画。宣纸的吸水力很强，在沾有墨或颜料的水接触到纸时瞬间的变化，令人 难以捉摸，常会产生意外的有趣效果。也因此，即使是同一个画家，要画出完全 相同的两幅画几乎是不可能 的。 水墨画本身的表现方式是 一大特点，画家可能用简单的 线条及颜色来表现出整体的意 境，也可能以精细的笔触及丰 富的色彩来描绘人物或花鸟的 神韵。即使是纯粹使用墨的创 作，不同份量的水墨效果配合 上画家多变的笔法，还是能将 所要表现的事物展现的活灵活 现。其极富变化性的创作方式 图1 2 书法艺术 手 与西方的水彩画或油画有着本质的差别。 当代信息社会，计算机科技介入越来越多的领域，改变了原先传统的工作方 式和效率，使人类生活发生了日益显著的变化。这场技术革命冲击着人类生活的 各个领域，不断变革着人们的生活方式，更新着人们的思维观念。多维化、数字 化冲破人们原有的理念疆界，呈现给人们一个需要重新思考、重新认识的新世界 传统艺术作为这个潮流中的一部分，也有自己的数字化过程。数字艺术使艺术家 离开传统的画室，摆脱了笔、墨、纸、砚等绘画材料的束缚，取而代之以鼠标键 盘、电子画笔、屏幕等构成的虚拟世界。计算机艺术实现了不同艺术门类之间前 所未有的融合，吸收最新的计算机图形研究成果，在满足艺术需要的同时，推进 2 羊复 斗泌夕哆 主参需参鬣 上海大学硕士学位论文 了计算机艺术的发展。水墨画在中国源远流长，体现着深厚的文化底蕴，是东方 艺术的象征，目前中国水墨画正处于这样一个转型时期，研究探寻传统中国水墨 画构成的特性及其意义对其本身的创新和发展不无裨益，也能为以计算辅助为手 段的水墨画创作提供帮助。传统水墨在男耕女织的农业文明中诞生、成长，形成 完整的体系，是东方绘画的代表，这已是不争的事实。但历史发展到现代的工业 社会、信息社会，在全球经济一体化的大环境下，传统水墨不可避免地受到巨大 冲击。在二十世纪中西两种绘画体系两次大碰撞的基础上，它逐渐转换成新的水 墨表现形态也是自然而然的事了，尽管在转换过程中有多种抵制行为，但最后还 是形成了其多元化的水墨表现形式。计算机技术的迅猛发展为我们实现这两种传 统文化的电子化提供了基础，也为水墨画和书法的进一步继承和发展提供了新的 路径。水墨艺术的数字实现是计算机科学与中国传统艺术相结合的新的研究领 域，无论在技术还是在艺术层面上都有深刻的影响。 1 2 水墨仿真的国内外研究成果 1 9 8 6 年，麻省理工学院媒体实验室的s t r a s s m a n n 口1 发表了学术论文“h a i r y b r u s h ( 毛笔画刷) ，这篇文章介绍了关于模拟日本“烟灰墨画 ( s u m i - e ) 而 设计的一个新型的画刷系统的情况。s t r a s s m a n n 的解决办法是使用了以下这些 模型的集合画刷，笔划，蘸湿和纸张，把整个绘画系统分成逻辑上分离的几 个部分。首先根据收集到的用户的输入信息确定一个笔刷的模型；然后，程序根 据确定的笔刷进行绘制。s t r a s s m a n n 作为第一个提出毛笔笔刷模型的学者，他的 思想为建立毛笔绘画系统起了重要的影响作用。不过s t r a s s m a n n 的绘画过程，离 真正艺术绘画还有很大的距离。因为每一笔必须事先建立一系列指定的点坐标和 压力值参数，由于需要大量的计算，这显然不能满足实时绘画系统或自然的方法 来进行毛笔绘画。 3 海 学硕学位论文 目13 ：t = h 在s t r a s s m a n n 的研究1 3 年后，日本a i z u 大学的j i n t a el e e “，把s t r a s s m a n n 绘画系统框架用水墨扩散进行了研究。l e e 提出的毛笔模型在s t r a s s m a n n 二维模 型的基础上，基于弹性力学的理论，以弹簧的物理性质来计算笔毛的形变，将毛 笔模拟成动态的三维模型。他的3 d 的毛笔模型有三个功能：( 1 ) 它为用户提供了 类似于艺术家的真正的进行创作时所看到的实际效果；( 2 ) 能够捕获画笔的一些 独特特性更接近于模拟毛笔的实际的行为；( 3 ) 通过调节物理参数例如毛笔的硬 度、长度和吸收率等为画家创造不同风格的画笔提供更灵活的框架。l e e 用较少 的毛束( 大约1 0 个) 建立了毛笔模型。每个毛束都附加到一个圆柱形的笔杆上，所 有毛束被合并进一个弹簧聚集物理学模型，当毛笔的参数信息根据用户用鼠标移 动进行输入时，它能以实时的方式利用数值积分计算其状态。但是由于数值积分 方法非常耗时，所以限制了使用的毛束的数量。 l e e 的毛笔模型取得了一定的效果，但是使用有限的毛束的数量导致了映射 毛笔模型到笔划的输出是比较困难的。解决用较少的毛束产生笔划的方法有两种 可用方法：概要定义和毛笔根部绘画。这种概要定义方式非常类似于s t r a s s m a n n 的笔画区域定义模型当毛笔超时移动时，上次毛笔与纸张接触在阵列的边上产 生一个边界区域，笔画的内部然后用复杂的算法为墨水扩散建模。在毛笔根部绘 画模式中，直接通过每根毛联系的纸张区域用来决定在哪里释放墨水。 香港科技大学的朱绍恒( n e l s o ds h c h u ) 和戴秋蕾( c h i e r l a nt a i ) “”提出了一个更为精确3 d 毛笔模型( 图l4 ) ，他们用了物理学里“最省能量” 的原理来摸拟毛笔笔头如何受力弯曲。他们把整个毛笔笔头摸拟成数柬小毛束， 上海大学硕士学位论文 每一小毛束则以屏蔽的方法做出末端披散的效果。他们的毛笔模型可以随意更改 虚拟毛笔的大小、弹性、含水量、与纸张之磨擦力等，以求得到不同的线条效果。 他们的毛笔模型化受至l j b i l lb a x t e r 在西方画笔模型化使用一个弹簧聚集粒子系 统的启发，朱和戴开始将这种模型的方法适用于中国毛笔。朱和戴的模型将毛笔 设为小毛束的集合，在一个笔画在画出之前毛束的数量被预先设定，并且在一到 五之间进行变化，变化的值取决于系统可提供的计算能力。研究控制毛笔变形的 力学模型是系统的关键问题之一。当系统实时运行时，一支毛笔骨架的状态通过 使用二次的顺序编程解决一个强制的能量极小化问题。在这种方法后面的直觉想 法是在每个时间段内，骨架想要让它的最小能量状态达到令人满意的约束效果。 系统使用的力学模型能产生非常实际的毛笔变形，数值的方法解决了他们的能量 极小化问题，不过系统的开销非常大。这么高的系统开销使得他们的系统在以实 时的方式进行运行时，能够塑造的毛笔的数量上限制在较低的程度，这显然限制 他们的毛笔模型能取得的实际的应用能力。 1 苏磊瓦高夏鬲r 戈 4c h u 等人的虚拟毛笔模型 一 朱和戴对虚拟毛笔的另一个主要贡献是创造了一套新颖的输入装置( 如图 1 5 ) 。他们把一支真正的毛笔用一个陀螺仪和一个超声波蜂鸣器捆绑后进行操 作。使用三个放在计算机监视器上的超声波接收器和陀螺仪提供实时倾斜信息， 他们就能经过计算得出毛笔的3 d 位置。这个系统输入工具可以允许一位画家使 用一般习惯上能更自然地移动的真正的毛笔，他们也能使他们的系统能够使用 一个普通的鼠标或者绘图板来产生倾斜和压力等信息。在比较小的风格范围内， 朱和戴的毛笔系统能产生极好的效果。由于绘画风格的范围被规定，毛笔的模 型只能分成较小数量的笔毛的集合，并且在一次笔画被绘画之前，数目必须被 选择，朱和戴的系统产生的大多数笔画看起来象有深浅变化的湿的毛笔， 它还 5 癣大学颤i 学位论文 不能产生数百根毛形成的于煤的毛笔能取得的质地的笔画效果。运套新颖的输 入装置，虽然较便于使用，但也使真正的毛笔失去它的轻巧和自然的特性和感 觉。 香港大学的徐颂掣”1 提出了 种新的基于实体造型技术的虚拟毛笔的模型， 图15c h u 的毛笔输凡装置 井给出了利用该虚拟毛笔模型进行电子书1 丽创作的模拟算法框架。他的系统设计 着眼于模拟毛笔在书写、绘画过程中的自身形变以及在这一过程中毛笔内部墨水 的扩散。就虚拟毛笔的交互方式而目，用户只需对其6 个旋转和平移自由度进 行操作，这一点和传统的利用画笔进行美术创作的操作方式是完全一敛的。为了 真实地对虚拟毛笔的几何形念进行建模，徐颂华提出了“基本绘图雌元” ( w r i t i n gp r i m i t i v e ) 的概念，简称为“基元”。在虚拟毛笔模型中， 个完整 的虚拟毛笔笔头的几何形态由若干个基元的聚合柬表达。因此，利用虚拟毛笔 模拟得到的书写和绘画效果就是其所有隶属基元与虚拟纸张间瞬时相互作用关 于时间的累积效应。基元定义为通过广义扫描操作( g e n e r a ls w e e p i n g0 p e r a t i o n ) 生成的，以n u r b s 曲面所描述的几何模型。在虚拟毛笔模型中，各基兀之问彼 此独立行为，自主决策。在书写和绘画模拟过程中，摹元根据当前的状忐和运动 参数动态地调整自身模型，并在虚拟纸张e 留下墨迹。撮终模拟7 t 成的笔迹就是 这些瞬时墨迹关于时间的累积效应。凼此，毛笔笔头的行为足所有基元独立动作 的综合体现。多数是用软件方法实现的，而用软件生成更富有表现力的效果一般 是比较费时的。本文将利用u 丁编程图形硬件技术，充分发挥g p u 的硬件运算能 上海大学硕士学位论文 力，在现有计算机上对不同层次上的物体用不同的渲染方法进行绘制，以使其快 速高效的达到手工绘制的效果。 除了以上几个典型的研究学者及其研究成果外，2 0 0 2 年，焦景山m 1 等构建 了二维纸纤维结构模型，并初步模拟了水墨画的扩散效果；2 0 0 3 年，齐亚峰m 1 等在二维纸纤维结构模型的基础上，提出了三维纸纤维结构模型的构想。同年， 宓晓峰汹1 等提出了基于经验的虚拟毛笔模型，以克服基于粒子系统的虚拟毛笔的 表达力匮乏和基于实体物理模型的虚拟毛笔的参数调整复杂性，并且避免了传统 模型计算复杂的缺点。石永鑫口2 1 等利用粒子系统模拟水墨画效果，提出了“伪布 朗运动 的概念，从宏观和微观上分析水墨粒子的运动。总的来说，目前的虚拟 毛笔研究可分为基于模型的虚拟毛笔、基于力学的虚拟毛笔、基于实体的虚拟毛 笔和基于物理的虚拟毛笔等几种研究方法。以上多数是用软件方法实现的，而用 软件生成更富有表现力的效果一般是比较费时的。本文将在g p u 的基础上利用可 编程流水线技术，充分发挥g p u 的硬件运算能力，在现有计算机上结合粒子系统 模拟水墨渲染效果，以使其快速高效的达到手工绘制的效果。 1 3 本文的主要研究工作与面临的困难 1 3 1 主要研究工作 通过对水墨画领域深入研究和认真交流，我们认识到真实的水墨画创作对文 房四宝的要求是极其严格的。水墨画抽象的表现方式及变化多端的笔触，给水墨 画的计算机模拟增加了难度，目前虽然有许多关于这方面的研究，但是尚未形成 一个成熟的软件体系。水墨画及书法的上手并不容易，为了熟悉每一笔所能得到 的效果，往往一个笔触就要练习几百次，所需的纸墨量都相当可观，而且辛苦完 成的作品可能因为某一笔的水墨量没有把握准确，或是不小心滴到了水，造成一 片水墨模糊而作废。除此之外，每次作画前需要适当调整墨的浓度，画完之后除 了清理笔砚之外还得小心翼翼的把宣纸晾干，既耗时间又占空间。如果有一个计 算机仿真水墨画的系统，以上问题都可以得到解决。直觉的作画方式能让不熟悉 电脑的人上手起来更加容易。电脑作画还有许多特别的好处，例如可以撤消不满 意的笔触，保存创作一半的作品，以便下次继续完成，或是以其为基础，画出几 7 上海大学硕士学位论文 张不同的作品。这些功能都使创作更加有效率更加方便。正是由于以上原因，促 成了水墨画仿真绘制系统的开发。中国水墨画仿真绘制系统软件有着非常广泛的 应用前景。无论是专业水墨画艺术家还是广告、影视等艺术设计领域的从业人员、 有一定绘画基础的国画业余爱好者、进行国画知识普及的广大青少年等都可以成 为潜在的用户。 本文利用d i r o c x 9 0 在v i s u a ls t u d i o2 0 0 5 平台上开发了一个水墨效果模拟系 统，系统采用可编程流水线技术，基本功能使用h l s l ( h i g h l e v e ls h a d e r l a n g u a g e ) 高级着色语言编写s h a d e r l 1 实现，部分图形特效功能需s h a d e r l 4 以上版本支持。本系统支持所有支持s h a d e r l 1 的g p u 。另外主要采用粒子系统、 分形技术，纹理贴图、虚拟宣纸等技术来模拟水墨效果的绘制。 用户首先在系统配置模块输入所需要的参数，通过这些参数来调整整个系 统，包括视角、笔毛参数、书写手感、墨的浓度、下笔力度等。其次分析采集到 的信息作为参数传给粒子系统。粒子发生器根据上一模块传递来的参数生成新粒 子，同时管理全局的粒子。该模块主要是粒子系统的c p u 运算部分。然后是对 绘制结果边缘的提取，运用分形技术对边缘进行处理使得绘制效果达到更为逼真 的效果。最后是对整个场景和粒子系统的g p u 渲染，同时包括一些程序配置以及 为g p u 渲染做的一些相关准备。 1 3 2 遇到的困难 研究和开发中国传统艺术的数字实现的意义是重大的，也是显而易见的，但 是同时也面临着巨大的困难和挑战。目前存在的主要问题有：( 1 ) 由于对水墨效 果实现的研究是最具有挑战性的课题之一，需要应用的技术涵盖了计算机图形 学、图像处理、动画技术、三维建模等重要的领域，涉及到的范围非常广泛，过 程复杂。同时，目前国内外对它的研究工作都才刚刚起步，能够参考的资料和文 献有限。( 2 ) 艺术( a r t ) 跟手工( c r a f t ) 的关系也是一个议题。艺术指的是绘画 在美学上的一种审美观点，像是一种画派的画风。而手工指的是对于绘画素材的 使用，像颜料、工具、笔法技巧之类的研究，也可以说是一个艺术家将心中的想 法以绘画呈现出来的表现方式。对于一个艺术家而言，艺术跟手工是息息相关、 密不可分的，但近代图学的发展方向都集中在艺术的部份，很少把重点放在手工 8 上海大学硕士学位论文 的部份上。也就是说，着重在最后仿真出的作品的 ( n p r ：n o n p h o t o r e a l i s t i c r e n d e r i n g ) ，而忽略了创作过程的模拟以及画家个人 的风格及表达方式。商业的绘图软件碍于硬件的限制及销售的考虑，亦多半只发 展艺术的部份。( 3 ) 以往多数水墨效果实现的研究是基于固定流水线的，即是 建立在软件实现的基础上的，本论采用可编程流水线，以g p u 为核心，采用h l s l 高级渲染语言来实现不能不说是一个极大挑战。 9 上海大学硕士学位论文 第2 章非真实感渲染概述 对真实感的追求造就了真实感图形领域的历史。然而，伴随着对具有 日益增加的真实感场景模拟能力的提高，出现了一个新问题，即以尽可能 有效的方式描述这些复杂场景并对其进行可视化。因此，过去几年中，一 种新的追求已经出现。这种追求比真实感的追求更加微妙。这一新的、在 某种意义上更高的追求更多地与创造有用的、美得( 而非仅仅是物理上真 实的) 影像有关。这种追求把人们带入了一个新的领域一非真实感领域。非 真实感绘制指的是利用计算机生成不具有照片般真实感，而具有手绘风格 的图形的技术。其目标不在于图形的真实性，而主要在于表现图形的艺术特 质、模拟艺术作品( 甚至包括作品中的缺陷) 或是作为真实感图形的有效补 充。 2 1 非真实感渲染的发展 非真实感绘制最早出现在二十世纪八十年代的早期论文中如：s t r a s s m a n n ( 1 9 8 6 ) 口1 和s a s a d a ( 1 9 8 7 ) 。一九九。年s a i t oa n dt a k a h a s h i 呦3 和h a e b e r li 在 s i g g r a p h 会议上发表了两篇非常有影响力的论文。到了一九九四年，随着几篇 论文在s i g g r a p h 会议的发表( 如w i n k e n b a c ha n ds a l e s i nj s a l i s b u r y ) ，和在 e u r o g r a p h i c s 会议的发表( 如s t r o t h o t t e ) ，这一新领域才逐渐显现出来。到了 一九九七年s i g g r a p h 将非真实感绘制单独作为一个类别，此后非真实感绘制技 术进入了一个稳步发展的时期。 早期的非真实感绘制系统是二维的交互式绘图系统，如：q u a n t e lp a i n t b o x 系统。这类系统提供给用户方便的艺术绘图工具，比如笔刷、铅笔等，用户用 这些工具在画布上创建基于像素的图像。这绘图系统优点是：交互性强，简单方 便。缺点是：表现力差，实现的艺术效果单调。中期出现了基于笔刷的2 d 绘制 系统和2 d 2 5 d 后期处理系统。这一时期的非真实感绘制在基于像素绘制的基 础上，提供了更丰富、更成熟的笔刷、画布和笔划模型。2 d 2 5 d 后期处理系 统将原始的或有附加信息的图片作为基础进行图像处理。它以增强图像为基础， 并利用艺术家对场景的预先绘制定义，自动生成图像。如：用计算机模拟素描、 1 0 上海大学硕士学位论文 水彩、油画等艺术效果。随着图形硬件的不断发展，新近的非真实感绘制领域的 研究主要集中于n p r 在三维空间上的应用。不少研究者都致力于在三维空间上采 用不同的风格实时显示n p r 的绘制算法的研究。这种基于三维数据自动生成图像 的主要优势在于可以生成实时动画与虚拟漫游场景。 非真实感图形绘制技术( n o n p h o t o r e a l i s t i cr e n d e r i n g ，n p r ) 是近年来发 展起来的一种新型图形绘制技术。虽然n p r 这一领域产生时日尚短，但发展速度 很快，已经成为图形学研究的一个热点。 2 2 非真实感渲染的特点和分类 2 2 1 非真实感的特点 非真实感绘制，亦称为风格绘制( s t y l is ti cr e n d e r i n g ) ，并不追求完全的 真实感，主要目的是将某个对象以简洁、含蓄、带有美学特征的方式借助计算机 表现出来也即能在形式上指定一种可展现绘画作品的方式并随之编写生成非真 实感绘画作品的计算机程序。非真实感绘制的目标是使用户能以图形形式用信息 交换引导人机对话，所生成的图像的风格也相当灵活。其特点可概括如下： ( 1 ) 信息传达更简单：用艺术线条和卡通画插图可以简洁有效地传达2 d 和3 d 信 息：虽然有现成的照片，但很多人更喜欢将艺术线条用于科技文章中的插图。 ( 2 ) 更具表现力：卡通和绘画更具表现力，它们允许艺术家将他们的思想和感情 加入其中。卡通老少皆宜，观众可以在观看过程中迅速地了解作者想要表达的主 题。 2 2 2 非真实感分类 非真实感渲染有多种分类方法，按绘制风格大致分为科学可视化，技术绘图， 铅笔、钢笔画插图，艺术绘图，卡通渲染等。按绘制风格进行划分实际上是以非 真实感绘制的不同应用目的来划分。起初非真实感渲染主要应用于艺术领域，但 由于非真实感的一些特性( 比如表现的简明、直观性) 使得它在一些非艺术领域开 始得到研究与应用。 其中的艺术绘图还包括油画渲染、水彩画渲染、素描渲染等( 如图2 1 ) 很 p 海大学硕学位论文 多方向，本文进行的水墨画风格渲染也属于非真实感渲染的艺术绘图渲染这一分 支。 fo 蕾 、 一( 、热 素描 图2 l 非直实感激效果圉抽画 2 3 非真实感渲染的主要研究领域 由于非真实感渲染有多种分类方法，按绘制风格大致分为科学可视化，技术 绘图，铅笔、钢笔画插图，艺术绘图，卡通渲染等。按绘制风格进行划分实际上 是以非真实感绘制的不同应用目的来划分。由于非真实感的写意性，使得其主要 应用于艺术领域，但由于非真实感的一些其他特性( 比如表现的简明、直观性) 使得它在一些非艺术领域开始得到广泛的研究与应用， ( 1 ) 艺术领域。非真实感绘制技术给艺术家提供了艺术创作的工具，允许艺术 家们在强调某些细节的同时，忽略其它细节。它可以生成各种不同风格的图像。 借助非真实感绘制技术，艺术家们可以更快、更好地生成艺术作品。 ( 2 ) 科学医学领域。图像是最简单的传送信息的方式，相比文字它有着许多优 越性。非真实感绘制技术在表达图像时的简洁准确，常常被用来绘制精细程度较 高的科学和医学的插图。 ( 3 ) 工业设计领域。在工业设计中如想要显示一个零件图形，黄心的只是零件 的轮廓尺寸等基本信息，而对其他的信息则不感兴趣。这时就可以使用n p r 技术 上海大学硕上学位论文 来强调突出主要信息，忽略次要信息。 ( 4 ) 娱乐行业。非真实感绘制技术还可以广泛应用于动画、游戏、电影等娱乐 产业。在游戏、电影中可以创造出许多艺术化的效果等，如：卡通风格的实时游 戏等。 总之，由于非真实感本身独特的性质，它已经深入了人们生活中的各个领域， 并且还在不断的扩展和深入。相信在不久的将来，非真实感的应用将会非常普及， 在我们日常生活，工作，学习的过程中也会常遇到非真实感的应用。 2 4 非真实感渲染及其实现技术 模拟水彩画的n p r 技术。石永鑫脚3 等通过分析中国水墨画绘画材料及相互作 用关系，提出了局域粒子系统的仿真模型体系成功地模拟了中国水墨画的典型 艺术效果。c a s s i d yj c u r t i s n 3 1 等通过用户交互地放置画笔成功地在计算机上 模拟了水彩画的效果。s a l i s b u r y 等提出了一个交互的p e n l n d i n k 风格的绘画 系统。于金辉等介绍了一个三维计算机水粉笔笔刷模型，绘出的结果具有手工绘 制水粉画的效果。 由于真实的绘图工具产生的效果是多方面的，因此需要建立综合画布材质、 颜料和特定画笔形状等众多参数的相对复杂的物理模型，由用户交互或半交互控 制笔画路径。计算机自动绘制生成所需的艺术风格图像。颜色传输方法可以通过 学习样本图像颜色基调和统计属性把一幅图像比较自然的改变为具有样图颜色 风格的艺术图像；e f r o s 提出的基于样本的非参数化采样的纹理合成技术，也使 得图像间艺术风格传输成为可能。基于笔划的绘图方法( s t r o k - - b a s e d r e n d e r i n g ) ，该方法通过摆放笔划来创建非真实感图像。这方面的算法主要为生 成油画风格、钢笔画绘图、瓦片马赛克、点画法、张量域可视化、锯齿图像马赛 克等。根据h e r t z m a n n h 7 3 等人s t r o k e m b a s e dn p r 的观点，基于笔划的非真实感绘 制问题可归结为一个代价函数最优化问题。h e r t z m a n n 等人设计了两个算法：其 一为l l o y d 最优化方法它能产生流线型视觉效果的艺术图像：其二为贪婪算法， 它通过贪婪的放置特定形状和不同数量的笔划能模拟不同油画风格的图像 y e s s i o s 用基于笔划的绘图方式提出了一个建筑草图的描绘系统。k l e i n 等提出了 另一种n p r 的绘图系统该系统基于图像空间实现虚拟环境绘制方法。这种系统 1 3 上海大学硕士学位论文 用基于笔划的纹理实时生成建筑内部的雕刻，在运行时重画粗糙模型的几何学 n p r 纹理并在有折缝合轮廓的地方加上深色的线条。 水墨效果的实现是非真实感渲染的一个重要领域，再加上水墨画，书法在中 国传统文化中的代表性，使得水墨效果的数字化成为了时代的要求。再加上今年 来从事这一领域研究的人越来越多，相信水墨效果仿真的实现会更加的成熟和快 速，实时性的提高必然导致更多用户的产生，这对中国传统文化的继承和发展起 到了不可估量的推动作用。目前对水墨效果的仿真多数是基于毛笔物理模型的， 是在软件基础上实现的，随着计算机硬件技术的飞速发展，g p u 的更新换代，可 编程流水线技术的日益成熟，我想水墨仿真系统的实时性和实用性会越来越好。 1 4 上海大学硕士学位论文 第3 章g p u 及可编程流水线 3 1g p u 与可编程流水线及其应用 3 1 1g p u 简介 g p u 英文全称g r a p h i cp r o c e s s i n gu n i t ，中文翻译为“图形处理器 。 g p u 是相对于c p u 的一个概念，由于在现代的计算机中( 特别是家用系统， 游戏的发烧友) 图形的处理变得越来越重要，需要一个专门的图形的核心 处理器。 g p u 是显示卡的“心脏，也就相当于c p u 在电脑中的作用，它决定了 该显卡的档次和大部分性能，同时也是2 d 显示卡和3 d 显示卡的区别依据。 2 d 显示芯片在处理3 d 图像和特效时主要依赖c p u 的处理能力，称为“软加 速 。3 d 显示芯片是将三维图像和特效处理功能集中在显示芯片内，也即 所谓的“硬件加速 功能。显示芯片通常是显示卡上最大的芯片( 也是引 脚最多的) 。现在市场上的显卡大多采用n v i d i a 和a t i 两家公司的图形处理 芯片。 在g p u 出现的以前，这时的显卡仅仅根据各种由c p u 发出的指令和数据进行 着色，材质的填充，渲染，输出等等。由于大部分坐标处理的工作及光影特效需 要由c p u 亲自来执行，占用了c p u 太多的运算时间，从而造成整体画面不能非常 流畅地表现出来。g p u 的出现，尤其是可编程流水线技术的出现，大大的解放了 c p u ，显著提高了效率。近年来，在非真实感渲染领域可编程图形硬件技术已经 被广泛的应用口。 n v i d i a 公司在1 9 9 9 年发布g e f o r c e2 5 6 图形处理芯片时首先提出g p u 的 概念。g p u 使显卡减少了对c p u 的依赖，并进行部分原本c p u 的工作，尤其是 在3 d 图形处理时。g p u 所采用的核心技术有硬体t & l 、立方环境材质贴图和 顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素2 5 6 位渲染引擎等， 而硬体t & l 技术可以说是g p u 的标志。简单说g p u 就是能够从硬件上支持t & l ( t r a n s f o r ma n dl i g h t i n g ，多边形转换与光源处理) 的显示芯片，因为 t & l 是3 d 渲染中的一个重要部分，其作用是计算多边形的3 d 位置和处理动态 1 5 上海大学硕上学位论文 光线效果，也可以称为“几何处理 。一个好的t & l 单元，可以提供细致的 3 d 物体和高级的光线特效；只不过大多数p c 中，t & l 的大部分运算是交由c p u 处理的( 这就也就是所谓的软件t & l ) ，由于c p u 的任务繁多，除了t & l 之外， 还要做内存管理、输入响应等非3 d 图形处理工作，因此在实际运算的时候 性能会大打折扣，常常出现显卡等待c p u 数据的情况，其运算速度远跟不上 今天复杂三维游戏的要求，所以引入g p u 。然而目前来说，只有g p u 是不够 的，还需要c p u 的辅助才能更好的完成工作，所以c p u 和g p u 如何配合默契才 能最大地提高工作效率是各大厂商都在考虑的问题。 3 1 2 可编程流水线 随着现代图形硬件加速技术的不断进步，传统固定功能绘制流水线( f i x e d f u n c t i o n r e n d e r i n gp i p e l i n e ) 正在向可编程绘制流水线( p r o g r a m m a b l e r e n d e r i n gp i p e l i n e ) 转变，在新一代n v i d i a 和a t i a m d 显卡中均提供了以g p u 为核心的可编程顶点着色器( v e r t e xs h a d e r ) 和像素着色器( p i x e ls h a d e r ) ，为 实现复杂模型的实时绘制提供了硬件加速支持，这种硬件支持主要表现在g p u 对图形绘制流水线的并行化处理机制方面。 相对与固定功能的图形处理流水线，能够实现v e r t e xs h a d e r 和p i x e l s h a d e r 的显卡的图形处理流水线就是可编程的。对与固定流水线，你只有使用 或者不使用某些功能的具体执行方法的权利而无法实现自己定制的功能，所以这 样的图形处理流水线被称为固定功能的。相对于固定流水线来说，可编程流水线 的实用性和扩展性都大大增强了，可以定义自己的功能模块去实现特定的效果。 可编程v e r t e xs h a d e r 让程序员能够对特定物体，甚至整个画面的每一个顶 点，指定特别的运算程序，却不需要c p u 介入。每一个顶点都携带相当多的信息， 比如坐标，重量，法线，颜色，纹理坐标，雾和点大小数据。顶点处理器能够以 简短的程序来改变上述这些信息。这些小程序直接由顶点着色引擎本身执行，不 必劳驾c p u 。相似的，p i x e ls h a d e r 提供了对整个画面的每一个象素指定特别的 运算程序的能力。可编程流水线流程如图3 1 所示。 1 6 上海大学硕上学位论文 3 d 图形应用程序或游戏 3 d 应用程序编程接口命令 3 da p i ：0 p e n g l 或d i r e ( 1 x 3 d c p u ，g p u 分界 g p u 命令和数据流 顶脯i 流 萋嚣詈勉形、 像素位置流 像素彳新 g p u 前端li i 图元装配ll - i 光栅化和插值l l j 光栅化操作li - l 帧缓冲 变换后的顶点流光栅化的变换前的片段授换后的片段 可编程顶点处理器可编程片段处理器 图3 1 可编程流水线渲染流程 3 2 高级渲染语言h l s l 介绍 高级着色器语言( h i g hl e v e ls h a d e rl a n g u a g e ，简称h l s l ) 是由微软拥 有及开发的一种语言，只能供微软的d i r e c t 3 d 使用。所谓的s h a d i n gl a n g u a g e 还需要从d i r e c t 3 d 的图形管道说起，d i r e c t 3 d 在d i r e c t 3 d8 以前只能工作在 固定管道( f i x e df u n c t i o np i p e - l i n e ) 模式下，在固定管道模式下，图元从提 交到被转化成可以现实的像素是按照实现好的流程和算法来完成，可以认为是固 化在硬件中的死功能。从d i r e c t3 d8 开始，d i r e c t 3 d 中引入了可编程管道 ( p r o g r a m a b l ef u n c t i o np