复杂工程建模和模拟的验证与确认

1、复杂工程建模和模拟的验证与确认引言 在科学和工程设计过程中，理论、实验和数值模拟是 3 种 基本研究手段，现代计算机硬件和软件能力的飞速发展为强 化高性能、大规模数值模拟研究提供前所未有的条件，数值 模拟的重要性愈加显著数值模拟中建模和模拟 ( Modeling and Simulation ， MS) 本身的可信度评估是高置信度数值 模拟的核心，直接影响基于数值模拟和少量试验支撑的复杂 系统的可靠性认证 验证和确认 ( Verification and Validation ，V V) 是复杂工程系统可靠性认证中 M S 置信度评估的重要手段 近年来，随着数值模拟系统日益 广泛应用， V V

2、 的重要性愈来愈为数值模拟系统开发者和 使用者所重视，对 VV 概念、 理论、 标准和相关方法的研 究已成为复杂工程 MS 可信度评估的重要内容 1.复杂工 程 M&S 的 V&V 现状 1 1 国外研究现状和发展趋势 数值模拟在工业设计、产品性能分析和优化设计中的地位日 显重要，国外尤其是美国非常重视 M S 的 VV 的概念、 术语、规范、可信度评估方法和应用等的研究。 1 1 1 概念、术语和规范 早在 20 世纪六七十年代，美国计算机仿真学会 ( Society for Computer Simulation ，SCS) 成立模型可信性 技 术 委 员 会 ( Technical Co

3、mmittee on Model Credibility ， TCMC) ，专门进行与 M S 置信度评估相关的 V V 方 法的概念、术语和规范的研究 在 20 世纪 90 年代确定 的 V V 哲学观点无法对工程和技术领域的仿真结果进行 可信性评估 20 世纪 90 年代以后，由于 M S 置信度 评估在国家重大工程的研发和设计中的重要性越来越强，国 外许多政府、民间部门和学术研究机构先后成立相应的组织 或协会，以制定各自的 M S 置信度评估及 VV 的概念、 术语和规范 美国几大工程协会不断组织人力、投入资金 开展 M S 置信度评估概念、 术语和规范的研究 自 1984 年美国电器与

4、电子工程师协会 ( Institute of Electrical and Electronics Engineers ， IEEE) 出版 V V 相关术语至今， VV 相关概念、 术语、 规范一直都在完善 这些术语随后 被美国核科学协会 ( American Nuclear Society ， ANS ) 和 国 际 标 准 化 组 织 ( International Organization for Standardization ，ISO) 采用，建 立 各 自 领 域 的 标 准， 美 国 航 空 航 天 学 会 ( American Institute of Aeronautics

5、 and Astronautics ， AIAA) 组织各个不同行业 的代表进行研究， 于 1998 年起草计算流体动力学验证和确 认的指南；2010年以来在此领域一直很活跃的 OBE R KAMPF 等1对此进行系统总结，综述机械工程领域现代数值模拟中 MS 的 VV 的发展， 详细全面论述 M S 的 VV 的基本概念、原理、步骤和系统的发展过 程 1996 年，美国国防部 ( Department of Defense ，DoD) 的国 防 建 模 与 仿 真 办 公 室 ( Defense Modeling Simulation Office ，DMSO) 成立军用仿真 V V 工作技

6、术 支 持 小 组，专 门 制 定 验 证、确 认 和 认 证 ( Verification ， Validation and Accreditation ， VV A) 技术 发展的政策与规范，并逐渐形成系统仿真领域的 VV A 体 系 21998 年，美国能源部 ( Department of Energy ，DoE) 的 3 大实验室逐渐将 V V 引入武器库存管理计划，给出 M S 中准确度、误差、不确定度和确认域的概念内涵、MS 的 V V 涉及的几个重要模型 ( 客观世界、概念模型、 物理模型和计算模型等 ) 以及 M S 的 VV 活动的关系， 其目的是通过 V V 量化物理建模

7、中模型的不确定度和程 序研制中数值算法的误差，增强高置信度的数值模拟能力 1998 年，美国机械工程师协会 ( American Society of Mechanical Engineers ，ASME ) Journal of Fluids Engineering 杂志成立协调小组 该小组的工作重点是推动 对数值模拟中误差估计，不确定度量化、验证和确认以及置 信度评估方法的讨论 该小组组织一系列 ASME 论坛和研 讨会讨论上述主题，并逐步编写和颁布系列VV 标准 : 2006 年颁布关于“计算固体力学 V V 的指南”，即 ASMEV V 10-2006 Guide for Verifi

8、cation and Validation inComputational Solid Mechanics; 2009 年颁布“计算流体力 学和传热学的 V&V标准”，即ASME V &V 20-2009 Standard for Verification and Validation in ComputationalFluid Dynamics and Heat Transfer; 2012 年颁布“计算固体 力学 V&V 概念的案例说明”， 即 ASME V &V 10 12012 An Illustration of the Concepts of Verification andVal

9、idation in Computational Solid Mechanics ASME 经 过二十几年的发展，在复杂工程 M&S 的 V&V 的概念和 方法上取得显著成果，但仍将 M & S 的 V& V 涉及的概念 在不同领域的本地化作为研究核心，至今仍在结合实际应用 研究完善相关概念、术语和规范1 1 2 M & S 置信度评估方法 迫于核武器禁止试验的压力，美国核武器认证工作的基础由 以核试验为主转移到以计算仿真为主，提出核武器储存管理 计划 ( Stockpile Stewardship Program ， SSP) ，并由此产生 武器认证新方法裕度和不确定性量化( Quantif

10、ication of Margins and Uncertainties ， QMU) 方 法 1998 年美国提出的加速战略计算创新计划( Accelerated Strategic Computing Initiative ， ASCI) 和 随 后 提 出 的 先 进 模 拟 和 计 算 ( AdvancedSimulation and Computing ， ASC) 计划一直强调 M& S 置 信度评估方法和数值模拟中误差估计，将不确定度量化方法作为成功实施计划的关键之一 对于数值模拟中的误差和 不确定度，在 1986年，R OACHE 等3就意识到数值 计算中不确定度对数值模拟结果

11、评估的重要性，要求论文对 计算结果的精度必须给出必要的量化信息 虽然该要求顺 应数值模拟发展的需求，但在执行过程中仍遇到极大阻 力 1993 年 9 月， ASME Journal of Fluids Engineering 杂志再次就数值模拟准确度的控制明确提出 10 条要求4: ( 1 ) 必须描述计算方法的基本特点 ; ( 2 ) 计算方法空间至 少为 2 阶精度 ; ( 3 ) 必须评估固有的或显式的人为黏性， 使 之最小化 ; ( 4 ) 必须有网格独立性或收敛性说明 ; ( 5 ) 必须 给出适当的迭代收敛性信息 ; ( 6 ) 在瞬态计算中必须评估相 对误差并使之最小化 ; (

12、7 ) 必须详细说明初边值的数值实现 和精度; ( 8 ) 已有程序的引述必须全面 ; ( 9 ) 对特殊问题可 采用标准算例进行确认 ; ( 10 ) 可采用可靠的试验结果确认 数值解 这些要求被认为是数值计算类论文发表广泛采用 的规则，基本涵盖验证、确认和文档等方面内容51993年美国航空航天局戈兰研究中心负责执行面向应用的计算 流体力学研究国家项目 ( National Project for Application oriented R esearch in CFD ， NPA R C) ，开展军事背景很 强的航天和航空领域相关M S 置信度评估研究 该项目给出数值计算的不确定度采用网

13、格收敛指数方法，确认活动采用不同的层级 : 单元层级 ( Unit Case) 、标准算例层级 ( Benchmark Case) 、子系统层级 ( Subsystem Case) 以及 全系统层级 ( Complete System Case) 20 世纪 90 年代 末，基于 M S 的特点、近似 ( 方程、求解和程序等 ) 和效 果( 误差、 量化和范围等 ) 等，将 VV 引入复杂工程 M S可信性和数值模拟预测能力评估中.NPA R C每年召开为期 2 天的学术研讨会，交流、评估 V V 的最新进展， 所有信息均在专门网站公开发布 2000 年以来，美国 3 大 国家实验室在软件质量

14、保证 ( Software Quality Assurance ， SQA) 、精确解方法 ( Exact Solution Methods ，ESM) 、 人工构造解 ( Method of Manufactured Solution ， MMS) 、 程序对比 ( Code-toCode Comparisons ，CCC) 和网格收敛 指数方法 ( Grid Convergence Index ， GCI) 等 MS 可信 性评估验证技术方面取得很好的效果 6-7 2005 年，美 国 3 大国家实验室在 M S 置信度评估的验证技术方面 实现某些自动化，如误差分析的自动化、不对称检测自动

15、化 和自适应加密网格情形下的分析检测自动化等 2009 年 HELTON 基于 R ichardson 外推法与 GCI 方法，采用双 层概率抽样方法，对误差的累积分布函数 ( Cumulative Distribution Function ， CDF) 和互补累积分 布 函 数 ( Complementary Cumulative Distribution Function，CCDF) 进行统计分析，给出 M S 误差和不确定性敏感度的评估方法 此方法为独立因素或独立参数影响M S 置信度的评估提供较好的方法 为了解多因素耦合对 M S 置信度 的评估， 2006 年美国将多项式混沌 (

16、Polynomial Chaos ， PC) 方法 8引入 MS 不确定度评估中，发展多因素耦 合影响 M S 置信度、数值模拟中误差估计以及不确定度 量化和传播的评估方法 至今，发展 M S 不确定度量化 和多因素敏感性分析方法仍是 M S 置信度评估研究的核 心。1 1 3 MS 置信度评估体系的应用 近几年，美国核武器 3 大实验室针对一些 ASC 多物理过 程 MS 的应用程序，继续实施V V 的过程，以评估程序的预测能力.如美国劳伦斯利弗莫尔国家实验室 ( Lawrence Livermore National Laboratory， LLNL) 开发通用有限元软件 ParaDyn;

17、 桑迪亚国家实验室 ( Sandia National Laboratories ，SNL) 研制的氦气流的时间过滤N-S闭合方程的简单湍流模型计算软件SIE RRRA/Fuego ,首先用氦气流的试验作为SIE RRR A/Fuego 确认的问题， 用侧风试验装置 ( Cross-wind Test Facility ， CTF) 上电偶热响应试验对预测模拟 Fuego 程序进行不确定性量 化和确认过程 SNL 开发多物理、海量并行计算环境中的 用于设计优化、参数估算、不确定性量化和灵敏度分析的多 级并行目标定制工作框架 DAKOTA 9，气体动力学激波反射问题模拟程序 ALEG R A和封

18、闭流模型 GOMA等，开展程序 V V 活动，取得很好的成果 2006 年 LLNL 完 成第一个多物理机理内爆反应程序的置信度评估活动应用 程序，其中单物理过程的测试算例来自美国核武器 3 大实 验室共同开发的标准算例库 Benchmark Problems 10 ， 多物理机理耦合算例源自于 JOWOG 42 测试算例库 M S 可信度评估体系的完善和发展仍然是其应用研究的瓶 颈，并且在基准解程序库建设方面提出更多更复杂的测试问 题，希望能提高美国模拟程序中MS 的质量和置信度。从几个公开的网站看， 针对 NASA 湍流模型及 CFD 在线、 流体、湍流和燃烧数据库，欧洲研究团体都在建立公

19、开模型 测试库。SNL 于 2006 年 12 月完成核弹头 W76 和 W80 火烧实 验模型的确认工作，并给出安全裕量和不确定度 项目评 审委员会认为 : 这是历史上第一次将 QMU 分析方法用于 核战斗部的评估，而早先的评估主要是基于专家判断和少量 的试验数据 ; 可以通过 QMU 过程为武器系统认证提供额 外的量化证据，有能力根据核武器安全要求认证不确定度和 安全裕量 2006 年在 SNL 召开的会议上提出模型确认的 3 个挑战问题 11 ，包括热传导、静力学和动力学等，用 以集中探讨模型确认的各种解决方法。 值得关注的是建立测试、考核和评估应用程序的标准模型( Benchmark

20、Problems) 库和开展校准应用程序的基准试验( Benchmark Experiment) 研究是未来实施 M S 的 VV 的关键。1 2 国内研究发展状况 国内在应用软件 MS 领域也开展大量关于软件的 VV A 的工作，并取得一系列成果 哈尔滨工业大学院士王子 才等 12 和杨明等 13 在复杂仿真系统建模 -算法 -评估 方面开展大量研究，提出 VV A 发展的关键问题 西安 空军工程大学导弹学院在军事仿真系统VV A 的概念、术语和原则、可信度评估及模型验证方法等方面取得很好的成 果14-15 这些软件大多为控制软件，即在算法和软件实 现正确的情况下给定输入就会产生准确可知的确

21、定性输出， 而基于微分控制方程组物理建模的科学和工程数值计算，因 M S 本身存在不确定性，无法知道复杂工程领域的准确计 算结果 西安第六三一研究所在航空动力学 CFD 的验证、 确认和置信度分析等方面开展大量工作，并在外流问题数据 库建立方面取得可喜的成果 16-19 中国空气动力研究与 发展中心对计算流体力学的验证、确认和实践应用软件的不 确定度与真值估算方面进行研究 20 中国航空工业航空 气动力数值模拟重点实验室和中国航空研究院数值模拟技 术研究应用中心在 CFD 模拟置信度评估和 V V 涉及的 相关概念、 术语以及 VV 在航空气动力数值模拟置信度评估方法研究方面开展大量工作，包括

22、SQA ，MMS ，误差分析和不确定度量化等方法 21-22 中国船舶科学研究中心 在船舶动力学 CFD 不确定度分析方法方面展开大量工作， 并将 V V 技术应用到船舶水动力学数值模拟置信度评估 中，取得较好的结果 23 华北电力大学在 CFD 误差分 析及网格收敛性方面开展研究工作 24 2005 年，中国工 程物理研究院总体工程研究所及北京应用物理与计算数学 研究所展开对 V V 的概念和知识体系的研究，在 V V 基本框架和用于测试程序的基准模块库等方面开展工 作 25在一些高校和研究所也有一些零散的工作 26-27 总体来说，我国对 MS 置信度评估及 V V 的研究仍处 于起步阶段

23、，表现为研究工作比较分散、缺乏规模，大量工 作都是结合调研开展的前期研究，尚未建立关于M S 置信度评估及 VV 的概念体系， 对可信度评估理论和方法也 没有形成统一的标准在 M S 的开发过程中对置信度评 估及 V V 工作的重要性和必要性缺乏认识 特别是国内 还没有类似于美国 TCMC 这样的专门机构负责协调，更没 有组织国家级团队对 M S 置信度评估及 VV 技术进行 专门研究，使得这方面的研究工作进展缓慢 我国至今还 没有 MS 的 VV 的标准 /规范，使得 MS 的开发者、 应用者和管理者在进行 M S 置信度评估工作过程中无章 可循、无法可依，例如对于 MS 的 VV A 的中

24、文解释 就有“校核、验证与确认”“校核、验证与验收”“验证、证实和 认可”“确认、验证和认可”和“验证、确认与认证”等多种不同 的提法 在复杂武器系统，国内仅基于过去的一些做法， 尝试一些置信度评估方法， 真正应用于实际模型 V V 的工 作研究甚少，M & S置信度评估体系几乎是“零状态”。2.M&S 的验证与确认进展21 M&S 可信度评估与 V&V 的关系复杂工程数值模拟 涉及两大重要过程 : 一是建模， 二是模拟 复杂工程系统可 靠性认证中 M& S， V& V 及评估和认证的过程见图1图 1 复杂工程 M& S， V& V 及评估和认证过程 Fig 1 Process in M &S

25、， V&V and evaluation and accreditation in complex engineering图 1 非常恰当地描述复杂工程系统可靠性认证 3 大手段 理论、实验和数值模拟之间的关系及其涉及的 M&S， V&V 及评估和系统可靠性认证之间的关系 系统由内到外分为3 个层次 : 可靠性认证、分层评估和 M& S 其核心层 M & S 中的左列重点关注物理模型和开展确认试验， 获取试验 结果以及量化不确定度信息 ; 右列重点关注数学模型和开展 数值模拟，进行代码验证和解法验证的验证，以判断程序是 否能正确地求解数学模型，获取模拟结果及其量化数值结果 不确定度的信息 然后

26、，将量化的试验结果与数值结果进 行对比，开展确认活动，最终判断物理模型是否准确地反映相应的客观世界，以建立高置信度的分级M&S，最终形成全系统级的高置信度 MS 及软件平台以支撑可靠性认 证 另外，在核心层中往往需要通过计算程序的预计算为 试验装置设计提供参考信息。2 2 M & S 的 V& V由上述 M & S 置信度评估与 V& V 的关系可以看出， V& V 是复杂工程 M&S 置信度评估的核心 M&S 的 V&V 研 究涉及的基本内容见图 2图 2 M&S 的 V&V 研究涉及的基本内容 Fig 2 Fundamental contents in research on V& V o

27、f M & SM&S 的 V&V 涉及 3 个方面的内容 : 一是术语和概念 ; 二是原则、标准 /规范 ; 三是方法活动 /过程模型，包括验证、 确认和基准数据库等 3 个方面2 2 1 术语和概念对术语和概念的理解是开展 V& V 的关键问题初步编 写 复 杂 工 程 M & S 的 V & V 术 语 表，包 括 M & S ， V &V 及认证与量化的一般术语和定义，以及 M& S 的 V& V过程模型 /技术方法的概念与内涵2 2 2 原则、标准 /规范制定相关标准 /规范对开展 V& V 有重要指导作用 研究编 写复杂工程 M& S 的 V& V 涉及的原则、 标准/规范非常重 要

28、 复杂工程 M&S 的 V&V 涉及标准 /规范技术框架见 图 3 ，包括 4 个方面 : ( 1) 相关概念、定义和术语规范 ; ( 2) 过程模型规范 ; ( 3) 文档规范 ; ( 4) 技术规范 目前正开展 相关内容的研究图 3 MS 的 VV 标准 /规范技术 Fig 3 Criterions/specifications for V V of M S 2 2 3 验证 验证是通过将数值解与解析解或高精度解 ( 经验解 ) 进行比 较，对数值误差进行量化，以确定计算软件是否正确求解方 程，是一种数值分析活动 验证包括程序验证与解法 /方法 验证程序验证分为 SQA 和数值算法验证 解

29、法 /方法验证分为 GCI 验证和计算敏感性分析 SQA 的关键任务是建立合理 的 M S 及程序研制的流程、标准 /规范，以控制、监督、 约束和指导程序的研制过程，提高程序的质量和编码的正确 率; 采取若干有效方法，检测、辨别和消除程序中的缺陷和 错误，确定程序能按要求正确运行，没有编码错误 在复 杂工程应用软件中，软件质量保证主要关注作为软件产品的 程序应具有计算机科学和软件工程意义上的可靠性和健壮 性，常采用静态分析、动态检验 ( 回归测试、黑盒测试和白 盒测试等 ) 和正式分析等方法对软件质量进行分析和测 试 数值算法验证是对实施算法的流程 ( 伪代码或显示求解 公式 ) 和基本特性的

30、正确性检查，主要关注如何正确地程序化数值算法以及实施数值算法本身能否保持算法基本理论（ 时空离散形式、精度、对称性、守恒性和收敛性等 ） 的正 确性数值算法验证的目的主要是提供充足的证据证明程 序化的数值算法执行正确且有预期的功能，常采用精确解方 法、人为解方法 28-29 和高精度程序解比较等方法或手 段解法/方法验证主要是用数值模拟结果与精确解、人为构造解和高精度数值解进行比较， 量化其数值误差和不确定度 其 核心是进行网格收敛指标验证以确定实际的收敛阶，通过分 析对比实际收敛阶与理论收敛阶判断程序是否存在错误或 缺陷另一方面是对数值模拟影响因素进行敏感性分析， 以辨识和量化误差、不确定度

31、和置信度 数值模拟验证包 括方法理论 /网格收敛指标验证与计算敏感性分析 基本理论 验证技术主要是分析方法的特性，量化各种误差和不确定度， 常采用GCI方法.GCI主要采用R ichardson 外推法建立 估算网格误差 常用的做法是针对计算问题建立多套计算 网格，原则上要求多套网格自相似，即体现 t和x为逐 渐缩小的趋势，然后通过计算 L1 , L2和范数进行网格 收敛性分析以确定实际的收敛阶. 该方法需要知道问题的 精确解或采用固定不变的网格，对定常问题或单独考核格式 的精度行之有效. 计算敏感性分析利用典型物理问题作为 分析模型，结合已有的实验信息，分析论证数值模拟计算结 果中由计算模型

32、、计算参数和数值方法等引入的不确定度， 以及数值计算中网格参数 （ 网格类型、尺寸和规模等 ） 、计 算格式和参数 （ 时间步长、黏性等 ） 、计算过程中的误差时 空演化特征分析等 一般用概率和非概率方法辨识与量化 误差、不确定度和置信度 在一般情况下，将计算敏感性 分析和网格收敛指标相结合，采用在计算条件变化的情形下 对同一被模拟量进行多次抽样即复现性数值模拟分析方法 辨识和量化误差、不确定度和置信度 目前，用 CDF 方 法可以量化数值计算的误差和置信度，该方法的优点是既能 综合分析所有误差源，又能通过概率分布函数给出数值计算 误差的不确定度 2 2 4 确认 确认是对数值模拟结果、试验数

33、据和真实行为三者之间进行 相互比较，进而量化物理模型的精度其计算结果用于确定 模型与其试验之间是否存在可接受的吻合度 确定可接受 吻合度的关键在于试验结果与模拟结果的一致程度，即数值 模拟在多大范围内可接受地再现建模人员对感兴趣世界的 真实过程， 其结果在多大范围内可接受地再现试验结果 确 认是将数值模拟结果与试验结果进行比较，对模型的不确定 度进行量化以确定计算模型是否能正确描述客观世界，是一 种建模活动 （ 简单地说就是是否正确求解正确方程 ） 。 因 其主要采用对比方式，所以要求对试验和数值模拟的结构、 条件等输入 /输出描述清楚，主要包括 :：( 1 ) 针对具体物理 模型，构建验证层次图； ( 2 ) 确认试验 ( 单一试验、基准 试验、子系统试验和全系统试验等 ) ; ；( 3 ) 数值模拟结果与 试验数据对比，以确定模型的适应性。2 2 5 基准数据库在 V V 活动中产生大量数据资源和文档， 包括验证涉及的 文档、需要的基准模型