敦煌石窟虚拟重现与壁画修复模拟

1、.：.；测绘学报投稿敦煌石窟虚拟重现与壁画修复模拟潘云鹤 鲁东明 陈任(浙江大学计算机科学与工程系 中国杭州310027) HYPERLINK mailto: HYPERLINK mailto: HYPERLINK mailto: 摘 要：由于遭到自然灾祸、经济建立、旅游开发等要素的影响，许多珍贵稀有文物遗址已处于濒危境地，如何有效维护、研讨与开发这些文物资源曾经显得非常的迫切与重要。本文研讨了如何将计算机技术与传统

2、文物维护任务结合起来，对文物实施数字化保管、重现和修复；并以敦煌文物为研讨对象，利用虚拟现实、图像处置与人工智能等技术实现了敦煌石窟虚拟展现、零落壁画复原与演化模拟等系统，极大地提高和改善了文物维护研讨的效率与效果。关键词：虚拟现实；人工智能；文物维护；艺术复原1 引言自然灾祸、经济建立、旅游开发等要素的影响，许多珍贵稀有文物遗址已处于濒危境地，有些甚至正在或将要消逝。抢救性地维护珍贵文物信息，曾经显得非常的迫切与重要。采用信息技术对文物实施数字化保管，可以最大程度地弥补因文物不可抗拒的衰变或消逝而带来的缺憾；同时利用虚拟现实、图像处置与人工智能等技术实现敦煌石窟虚拟展现、零落壁画复原与演化模

3、拟等系统，极大地提高和改善文物维护研讨的效率与效果。敦煌石窟是我国和世界出名的珍贵历史文化遗产之一。由于地理条件的限制，妨碍了敦煌石窟艺术的广泛传播；同时由于地处沙漠之中，年年的风沙侵袭，敦煌壁画曾经遭到了严重的破坏。浙江大学与甘肃省敦煌研讨院协作进展了敦煌石窟虚拟重现与壁画修复模拟的研讨。作为国家自然科学基金重点工程“多媒体与智能技术集成及艺术复原课题的一个部分，其目的是在计算机平台上提供阅读敦煌石窟的虚拟现实界面，为用户提供一个全方位的友好、方便的阅读工具，为考古学家与艺术家提供鉴赏、研讨的平台，并对破损、褪色壁画进展修复。目前，我们已完成基于SGI O2任务站平台与微机平台上的敦煌虚拟遨

4、游系统，其中前者已在德国汉诺威世界博览会EXPO 2000展出；另外，完成了一些具代表性的洞窟壁画图像颜色的数字化复原与历史演化过程模拟。以上研讨任务已被整理并发表在 IEEE Multimedia和EuroGraphics2000等国际和国内学术会议和期刊上 910 。_作者简介：潘云鹤1946，男汉族，浙江杭州人，教授，博导，中国工程院院士，浙江大学校长。目前研讨方向为认知科学、人工智能，计算机美术等。基金工程：国家自然科学基金重点工程69733030本文将详细引见我们的任务。在第二节中我们总结了目前国内外的相关系统，第三节和第四节将详细论述敦煌石窟虚拟重现与遨游系统和壁画颜色虚拟复原与演

5、化模拟系统，最后我们将对我们的任务作一个总结。2 国内外相关运用系统及技术随着计算机科学的不断开展，特别是计算机图形学和数字图像处置等技术的逐渐成熟，为古代珍贵文物的维护、复原与研讨提供了新的手段与方法，计算机辅助的文物维护与开发遭到了广泛的关注，许多国家已开场将信息技术运用于古代文物的搜集、保管、虚拟展现、复原、辅助考古与研讨、旅游宣传等各个方面，并获得了许多成果。另外，随着运用需求的加强，面向古代文物维护与开发的专门信息技术研讨，已引起学术界的普遍关注。近几年一些多媒体、虚拟技术或图形学方面的国际会议开设了文化遗产Culture Heritage专题，并将多媒体与虚拟技术用于文物维护作为会

6、议的主题，如VSMM98, EG99等348。2.1 文物数字化技术文物的数字化是计算机辅助文物维护任务的根底。根据文物对象的特征，文物数字化的研讨分为二维文物数字化获取和三维文物数字化获取两个部分。二维文物数字化获取的对象普通包括文物的平面图案、颜色、文本等，其数字化目前常用的方法是采用数字摄影技术来对文物进展拍照，或采用普通相机拍摄后运用扫描仪记录为数字图像。比如，英国大英博物馆就运用照相机拍摄了馆藏的经书和绢画，以作永久保管。三维文物数字化目前大致有三类方法，即基于丈量的方法、基于计算机视觉的方法和基于三维扫描仪的方法。其中第三类方法是目前数字化方法的主流。这方面典型的任务有：美国斯坦福

7、大学、华盛顿大学与Cyberware公司协作完成的数字化米开朗基罗方案，该方案运用三维扫描仪记录了十座米开朗基罗所塑造的大型塑像，包括著名的大卫像1；日本岐阜大学完成的基于丈量的Shirakawa-go地域的古村落数字化任务等2。2.2 文物虚拟展现技术文物虚拟展现技术主要研讨如何将曾经数字化记录终了的文物照实地展现出来。其运用主要有：为考古专家提供非常逼真详细的文物外观信息；为艺术家们提供图像明晰、照明充足的临摹范本和鉴赏环境；为游客在展览馆或网页上交互地欣赏一些珍贵文物、观看文物开掘过程；展现文物出土时的周围环境、位置，整个开掘现场的整体情况，以及随着开掘任务的进展，整个遗址环境的变化等。

8、文物虚拟展现最典型的运用是虚拟文物遗址遨游系统，这里用到的计算机技术主要是虚拟现实Virtual Reality技术。典型的有意大利罗马大学的Angela Antonicelli等人正在进展的Plinius工程，对庞贝古城进展研讨，建立庞贝城的虚拟现实模型，并实现三维遨游3；中德协作创建的敦煌信息网站，利用VRML和QTVR等技术实现对敦煌洞窟的遨游，使得用户在网络上也可以观赏敦煌石窟，得到相关资料4。为进一步提高文物虚拟展现的真实感和展现系统的效率，根据不同运用系统的要求，文物虚拟展现技术的研讨目前主要集中在加速实时绘制技术，加速实时网络阅读技术和真实感绘制技术等方面。一些计算机图形学最新的

9、研讨成果，例如基于图象的建模Image Based Rendering，IBR技术，多分辨率建模Multiresolution Modeling等等，都曾经在文物虚拟展现系统中获得了运用。2.3 计算机辅助文物复原技术计算机艺术复原是计算机图形学一个分支，近几年的SIGGRAPH会议均设专题进展讨论。1994年7月在美国举行的世界计算机图形学大会上，计算机艺术方面的内容比例很大，专门编印了计算机艺术作品选。近年来，计算机艺术复原在文物修复方面的运用得到了世界各国广泛的关注，延续两年，VSMM98与EuroGraphic99在其会议中开设了这方面的专题讨论组，并出版了专集。如今在文物修复领域常用

10、的，而且曾经成熟的方法主要是单纯的基于计算机图象处置的修复方法。其利用的技术和原理是艺术图象处置的普通技术原理，大多数并不具有针对文物维护这个特定领域的特性。这样，许多在恢复阶段中非常有用的知识例如壁画的变色、褪色知识，以及其他一些具有参考价值的信息都被忽略了。另外，整个修复过程在方式上根本是人机交互，计算机对修复任务不提供启发和指点功能，因此存在很大的局限性。针对以上缺乏，人们开场研讨人工智能、多媒体与传统图象处置的结合。在多媒体技术的根底上，经过嵌入知识表达与推理机制，来提高或改善多媒体系统在媒体制造、组织存储、检索和显示交互方面的性能。3 敦煌石窟虚拟重现与遨游3.1 文物数字化信息获取

11、敦煌石窟艺术中最有艺术价值的是其壁画和彩塑。如何将其完好，无损地记录下来，是我们文物数字化信息获取的主要目的。根据获取对象的不同特点，我们将壁画、石窟构造和彩塑分别采用不同的方法来进展获取任务。 壁画数字化获取我们采用数字相机拍摄来获取壁画的图像数据。为了获得高精度的壁画图像，我们首先把一整幅的壁画划分成假设干个区域进展拍摄，并且使相邻照片有部分重叠以便拼接。拍摄的壁画图像经过预处置后，再合成为整幅壁画图像。 石窟构造数字化获取对于石窟构造，我们从知的丈量数据直接运用三维建模工具如AUTODESK公司的3DS MAX等进展建模，把壁画和地砖纹理采用投射贴图的方法映射到洞壁外表，采用凹凸贴图的方

12、法来模拟洞壁上的浮雕，并根据洞壁原始情况改动其凹凸度以添加真实感。 彩塑模型数字化获取对于彩塑等外形比较复杂，对记录精度要求很高的三维对象，我们采用三维扫描技术来获取其模型。运用专业的三维扫描仪可以容易地获得三维物体的几何模型，其记录精度可以到达毫米数量级。并针对敦煌彩塑的特点研讨了专门的模型拼接算法。另一方面，由于文物大多具有丰富的颜色信息，这些颜色、纹理也是考古专家研讨的重要内容。但是目前大量运用的三维扫描仪只能获得物体的单色几何模型，无法直接获取颜色信息。为了弥补这种缺乏，我们研讨了如何经过三维扫描仪扫描获得的单色模型与围绕着它所拍摄的一系列数字相片来获取物体纹理贴图的方法。该算法经过模

13、型到图象的对准技术、几何投射与变形和拼接等步骤来获取物体圆柱贴图纹理，具有直观、对原始照片质量要求小、允许运转时编辑等优点。该方法曾经在系统中得到了运用，并获得了很好的效果。3.2 莫高窟外景虚拟遨游传统的遨游系统主要运用非常成熟的几何建模和真实感图形绘制技术，经过手工方法建立场景的三维模型，设定光照、纹理，然后根据游览者的察看角度用光线跟踪或纹理映射的方法进展真实感绘制。但这种绘制技术存在着一些明显缺乏：首先，对于复杂的场景，特别是自然景观，较难建立满足真实感要求的模型，所以不得不破费大量时间去建模，并且显示时对硬件的要求也很高。另外，遨游场景是计算机根据一定的光照模型进展绘制的，颜色层次没

14、有实践的自然景观丰富，用户很容易看出是由计算机产生出来的。为了抑制以上缺乏，许多学者探求了基于图象的绘制(IBR)技术，直接利用照片作为输入来实现遨游，在外景虚拟遨游中，我们就采用了基于全景图的IBR方法。这种方法最大的特点和优点是易于实现、效率高、遨游速度快，也可以在普通的计算机上实现实时地遨游而不需求专门的图形、图象的硬件加速设备。根据敦煌外景的特点，我们专门研讨了IBR中的环绕与穿透遨游方法。这样，用户就可以延续遨游整个景区，而不是象传统的基于全景图的IBR方法那样只能在固定几个点上察看景物。3.3 艺术石窟内部虚拟遨游 艺术石窟内部虚拟遨游的设计目的是：具备根本的遨游功能，即自在控制遨

15、游道路；具备部分对象的拾取、放大等处置功能，满足考古任务者和艺术任务者的需求；提供较高真实感的绘制，特别在是壁画的明晰度方面，要保证用户在接近壁画时仍具有一定的分辨率；提供面向游客的石窟遨游等。6由于敦煌石窟彼此之间相互独立。用户在实践观赏中某一时辰所关注的只能够是一个石窟。所以我们将各个石窟分别建模和遨游，并以外景遨游将它们有机地串在一同。这不仅为实现自在式的遨游提供了设计方便，而且在实践运用中，也可以方便研讨人员开展任务。基于上述要求，我们设计了如下系统构造：8图1 艺术石窟内部虚拟遨游系统总体构造多媒体数据库三维模型生成模块壁画，彩塑纹理生成洞窟导游信息获取接口OpenGL API用户界

16、面三维视图导游信息视图视点控制VRML载入模块建模工具与三维扫描输入系统在构造上设计为四个部分。最根本的是多媒体信息的数据库MDB，是包括石窟的三维模型数据构造，彩塑，壁画，关于壁画的文字、声音和视频等信息。它是系统的一切数据来源，并提供数据I/O操作的接口；虚拟场景生成器VSGVirtual Scene Generator是系统的中心部分，包括三个子模块：3D模型表达；石窟彩塑表达和壁画多媒体信息表达；用户界面UI担任管理各种显示场景的窗口，接受用户的各种输入信息等。对于本系统来说，关键技术在于石窟中的塑像的处置，这些人物塑像往往外型复杂，颜色丰富，给建模和渲染上带来了很大困难，我们采用基于

17、morphing的IBR方法和多分辨率模型方法来处理这一问题： 基于Morphing的IBRMorphing是一种图象变形技术，是使一个数字图象到另一个图象的流畅的变化。平滑的变形是利用对两幅图象颜色插值来实现的，通常是先对图象进展warping，提供图象中特征的几何外形转换以保证图象的几何特征的对应关系，然后再对颜色进展插值。图2 艺术石窟遨游系统界面在遨游过程中，我们采用改良的基于特征线段的Morphing方法来对彩塑照片进展插值，以获得中间视点的视图。由于敦煌彩塑的外形非常复杂，为了在遨游中获得较好的视觉效果。我们的Morphing算法在现有基于特征线Morphing算法的根底上，重点研

18、讨了传统方法中不能处理的合成图象中的“空洞问题。我们首先运用基于动态规划的边缘检测方法确定图象的轮廓，先用区域生长法寻觅“空洞，然后运用反向区域生长法填充“空洞。该算法已在遨游系统中运用，并获得了较好的效果。 多分辨率模型多分辨率模型方法是指对一个场景或场景中的物体，经过具有不同细节的描画方法，得到一组模型，以供绘制时选择运用。图3 不同细节程度的佛像三维模型我们采用公认简化后几何特征坚持最好的是基于二次误差度量的简化算法来对扫描得到的精细模型进展简化。并针对敦煌遨游系统的特点，在其根底上作一定改良，根据彩塑特点对简化结果进展约束。为每一尊彩塑建立多个不同细节程度的描画并保管后，我们可以在遨游

19、过程中根据用户的视点与彩塑的间隔 和角度选择不同的描画进展着色，这样就大大降低了场景的复杂度，提高了遨游系统的效率。壁画颜色复原与演化模拟敦煌壁画颜色复原与演化模拟系统可以采用自动和交互手段，对褪色、变色和零落的残破壁画进展复原，并模拟其病害的发生和演化过程。本系统的研讨与开发为维护与研讨敦煌壁画提供了有效的计算机辅助研讨工具，已在敦煌复原任务中运用，并获得了很好的效果。敦煌壁画颜色复原的思绪是：根据图像的主要颜色，自动将壁画图像划分得到几张单色图像；利用壁画的属性检索出与当前壁画类似的完好的壁画作为复原的参考壁画；同时运用敦煌传统用色知识，壁画风格知识、敦煌研讨专家的阅历知识，进展颜色复原推

20、理；最后，利用变色演示技术，能可以产生很多中间图像，逼真地模拟壁画演化的全过程，供敦煌颜色专家和文物维护专家参考。壁画复原演化模拟涉及的主要技术包括：颜色分层、颜色风格表达检索、类比推理、颜色协调映射等方面。4.1 颜色虚拟复原与演化模拟的系统流程颜色虚拟修复的流程为如下几步：9预处置：根据阅历处置图像，使图像质量变好，以便于下面的分层和边缘检测划分对象。划分对象：根据不同的破损情况，用分层或边缘检测的区域提取方法得到修复对象。系统可以最终进展修复的最小单位是修复对象。修复对象：修复对象的过程比较复杂，又可以分为以下几个子步骤：合并对象：假设有些层或区域修复对象可以作一样的修复处置，那么可以把

21、它们合并到一层。最后每个修复对象各占一层。获得对象的描画信息：系统经过提供一个导游引导用户搜集一些修复必需知道的描画信息，如壁画所处朝代，洞窟、壁画主题、内容、风格以及绘画技法、是变色、褪色还是零落破损等等。选择修复方法及知识检索：根据前面得到的描画信息以及对象本身的图像信息，选择适当的修复方法并从知识库中检索相应的方式化阅历知识或类比知识。进展修复：主要是根据知识进展实践图像处置上的颜色交换及图案创作过程。合并对象：定义各个对象的合并顺序，把各个对象与原始图重新合并成一幅整图。后处置：同预处置。预处置图像层划分修复对象区域及对象修复每个对象合并各个对象成一整图分层区域提取修复算法变色、褪色、

22、零落知识库特殊图像处置：如调整、除脏后处置图像层特殊图像处置：如调整、平滑，除脏协调原始图像演示中间关键点的设置变色轨迹的拟合和调整多条变色轨迹的协调合并各层，实现演化过程虚拟演化知识库图4 虚拟修复与演示流程图虚拟颜色演化模拟的两个艰苦问题就是处理颜色过渡曲线的获得和在演化过程中对多种颜色的中间颜色进展协调。而我们得到的颜色过渡曲线通常是某一种颜料原始颜色的规范轨迹，而壁画图像颜色丰富，于是我们要在有限的规范轨迹上推出任一种颜色的变色轨迹并为它做近似颜色演示。4.2 关键技术 基于领域知识的自动颜色分层技术在根本的直方图统计分色方法的根底上，我们引入了领域知识。敦煌专家曾经给出了敦煌各个朝代

23、的运用的规范颜色，根据这些颜色我们重新划分颜色空间，将图像中的颜色加权归类。由于绘画时颜色的空间延续性，在计算颜色类似度时，不仅根据当前像素的颜色值，而且思索到它周围n个点的颜色的平均或加权平均值。这样得到的分层效果比普通的直方图统计要明显好很多。10 颜色风格表达检索和类比推理我们对图像进展了方式化的定义，思索了图像的内容和背景等语义特征，这样就可以防止纯图像处置方法中把图像看成象素点集合的盲目性。我们在图像处置的根底上，引入知识类比，根据专家的阅历知识和实验统计知识作为图像处置的约束条件。领域内的知识约束使得复原效果真实可靠。对一幅艺术图像而言，我们要对其进展分析和处置，不仅仅要思索它的视

24、觉特征颜色和空间分布等物理属性，而且要思索它的语义特征图像内容以及相关背景信息，因此我们对艺术图像的方式化定义如下：图像视觉特征空间=颜色特征 外形特征 纹理特征 我们定义语义特征空间为：其中是洞窟号；是创作朝代；是主题。在这里，知识实践上是图像类比的总体约束条件，所以我们采用知识约束的图像检索作为推理机制。这里的图像检索包括语义特征的检索和视觉特征的检索。普通来说，语义特征的区别也是视觉特征的区别，所以语义特征的检索优先于视觉特征的检索。10 颜色转换规那么修复的过程实践上是一个颜色转换的过程。对一个修复对象，我们在HSV空间统计出此对象的颜色直方图，由此确定当前图像颜色分布主要指直方图的峰

25、值，而修复后图像的颜色分布是从阅历知识或类比图像中提取出来的。我们采用线性变换实现修复对象中象素的颜色转换，其方法是根据修复前后h、s、v两峰值的和作为参数求出所要恢复区域象素的颜色值系统也提供了在RGB空间的这种线性颜色转换。 颜色过渡变色及褪色演化过程是一个颜色过渡过程，我们要求颜色过渡轨迹上的一切颜色都应该是敦煌颜色。颜色过渡轨迹可以由如下步骤得到：对混色模型计算得出的关键颜色进展判别，看能否落于敦煌色集合。假设否那么在敦煌色中取与之类似度最高的颜色替代。判别任两相邻关键颜色的连线上的颜色点能否都是敦煌色，假设否那么产生演示曲线上的断点，将此连线切成几段线段。所以演示有能够颜色直接从某一

26、色跳到下一敦煌颜色。得到一折线的颜色过渡曲线分段函数。这就是某种颜料颜色过渡的规范轨迹。也可以由贝塞尔曲线替代直线拟合。以下是我们得到的结果：图5 基于知识的变色复原。左边的是如今的壁画洞窟实景拍摄的的照片，中间的是用于类比的图，右边的是复原后的结果。研讨总结与展望计算机科学与文物维护的结合，在国内外尚处在实验阶段，但是它具有蓬勃的生命力，并遭到了广泛的关注。本文的探求任务为传统的文物维护开辟了一条新的道路，以敦煌文物维护为例，为古代珍贵文物的维护、复原与研讨提供了新的手段，即计算机辅助的文物维护与开发方法。经过浙江大学与敦煌研讨院双方计算机与文物维护专家们的共同努力，我们曾经根本完成了莫高窟

27、第17、45、85、205、419窟中壁画与彩塑的数字化摄影与保管，并开发了包括莫高窟外景在内的石窟虚拟展现与旅游观赏系统；另外，以第205窟的南墙壁画为重点，完成了壁画图像颜色的数字化复原与历史演化过程模拟。同时，还开发了支持石窟现场调查、病害标志、资料分析、环境监测与壁画修复等全过程的计算机辅助石窟维护修复辅助系统、能临摹创作敦煌风格图案的智能图案辅助设计系统。目前，我们正进一步加深对面向濒危文物维护的信息数字化关键技术研讨开发，完善各个运用软件系统，并拟推行运用到其他遗址、文物的维护研讨与开发。本文任务得到国家自然科学基金重点工程“多媒体与智能技术集成及艺术复原No.69733030的资

28、助。参 考 文 献LEVOY M, PULLI K, CURLESS B, HYPERLINK /document/SIGGRAPH/2000/proceeding/papers/levoy/levoy.pdf The Digital Michelangelo Project: 3D Scanning of Large Statues CD, Siggraph2000, ACM Press, 2000HIRAYU H, OJIKA T, KIJIMA R, Construction the Historic Villages of Shirakawa-go in Virt

29、ual Reality J, IEEE Multimedia, 2000(4-6): 61-63ANTONICELLI A, SCISCIO G, ROSICARELLI R, et al, Exploiting Pompei Cultural Heritage: The Plinius Project CD, Eurographics99, Eurographics Association, 2000HAMBACH S, How To Visit Dunhuang Without Travelling To Central Asia CD Eurographics99, Eurographi

30、cs Association, 2000PAN Yunhe, Dunhuang Art Cave Rebuilding & Navigation C, Proceeding of the Fourth Conference of Computer Aided Architectural Design Research in Asia, Shanghai Scientific and Technological Literature Publishing House, 1-20LU Dongming, PAN Yunhe, Image-Based Modeling & Rendering for

31、 Dunhuang Art Cave C, Proceeding of the 6th International Conference of CAD/CG, WenHui Publishers, 1172-1176LU Dongming, PAN Yunhe, Image-Based Virtual Navigation Systerm for Art Caves, the International Journal of Virtual Reality J, 2000, 4(4): 40-45GONG Zhi, LU Dongming, PAN Yunhe, Dunhuang Art Ca

32、ve Presentation and preserve based on VE C, VSMM98, IOS Press, 612-618LI Xiangyang, LU Dongming, PAN Yunhe, HUA Zhong, Virtual Dunhuang Mural Restoration System in Collaborative Network EnvironmentCD, Eurographics 2000, Eurographics Association, 2000 LI Xiangyang, LU Dongming, PAN Yunhe, Color Restoration and Image Retrieval for Dunhuang Fresco