（管理科学与工程专业论文）非参数响应曲面方法研究及应用.pdf

中文摘要 响应曲面方法( r s m ) 用于解决未知响应曲砸的最优值问题。能否得到好的 未知曲面近似，是寻找最优解条件的前提。然而，响应曲面是复杂的，我们使用 传统的响应曲面方法很容易落入局部极值点当中，它受到初始中心点的影响比较 大，而且通常所采用的一阶和二阶多项式不足以完全反映出实际影响因素本身及 其交互作用。非参数响应曲面方法是一个好的选择，它能够应付足够复杂的情况， 并得到了广泛应用。 本文分析了响应曲面方法的三个阶段，然后采用了多阶段的思路来考虑非参 数响应曲面方法。首先是可以利用非参数回归的强大的拟合捶值能力对整个可行 域进行拟合，将试验点均匀分布到整个试验可行域上，这样就能够把整个可行域 的响应曲面表示出来，然后对这个曲面的形状进行判断，找出其最优值的可能位 置。其次，发展了一种利用回归方程插值的神经网络方法来拟合最优值附近曲面， 它既具有回归方程光滑稳定的特点，又具备神经网络很高的回归精度的优点，能 够适应各种复杂的曲面，而且不会有过拟合的的缺点。本文针对响应曲面方法的 不同阶段，利用非参数方法的工具来分析和计算，形成了多阶段的非参数响应曲 面方法，根据实际需要来在响应曲面方法的各个阶段使用传统的试验设计、快速 搜索、多项式拟合或者非参数搜索和拟合。最后本文利用了两个例子来说明了多 阶段非参数响应曲面方法的求解过程和应用方法，表明该方法是有效的。 关键词：响应曲面方法非参数回归神经网络非参数响应曲面方法 a b s t r a c t r e s p o n s e s u r f a c e m e t h o d o l o g yc a s m ) i su s e d t o g e t t h e o p t i m a l v a l u eo f 如妇。蚴r e s p o n s es u r f a c e ，t og e tag o o dr e s p o n s es u r f a c ei sv e r yi m p o r t a n tt of i n d t h eo p t i m a lv a l u e b u tt h es u r f a c ei so f t e nm o r ec o m p l e xt h a nt h a tw ec a ni m a g i n e t h ec l a s s i c a lr s mw i l ly i e l dal o c a lo p t i m a lr e s u l t ，f o rt h es a k eo ft h el o c a t i o no ft h e o r g i n a lc e n t e rp o i n t s o m e t i m e st h ep o l y n o m i a lf i t t i n gc a n n o tr e f l e c tt h eh i 曲o r d e r i n t e r a c t i o nb e t w e e nt h ei n f l e u n c e f a c t o r s n o n p a r a m e t r i cr e s p o n s e s u r f a c e m e t h o d o l o g y ( n p r s m ) i sag o o dt o o l t od e a lw i mt h ec o m p l e xp r o b l e ma n dc a n c o n q u e r t h es h o r t c o m i n g so f c l a s s i c a lr s mm e t i o n e da b o v e t h et h e s i sd e s t r i b e st h et h r e ep h a s e so fr s m ，w h i c hi sd o e ，d a t af i t t i n ga n d s e a r c h i n gf o rt h eo p t i m a lv a l u e ，a n dt r i e st om a k en p r s m a n a l y s i si nt h es a m ew a y f i r s t l y , t h ed e s i g no fs p a c e f i l l i n g 鲥di s f i tf o rt h en o n p a r a m e t r i er e g r e s s i o n t h e n o n p a r a m e t r i cr e g r e s s i o nf i t st h es u l m a e ew e l lb yu s i n gt h es p a c e - f i l l i n gg r i da n d c a l l e a s i l yf i n dt h eo p t i m a la r e a s e c o n d l gar e g r e s s i o n - b a s e di n t e p o l a t i o na r t i f i c i a ln e u r a l n e t w o r ki s d e v e l o p e dt o f i tt h e o p t i m u ma r e a ，t h er e g r e s s i o n b a s e di n t e p o l a t i o n a r t i f i c i a ln e u r a ln e t w o r ki ss t e a d y , p r e c i s e ，a n df i t sc o m p l e xu n k n o w ns u r f a c ew i t h o u t o v e r f i t t i n gl i k ea n yo t h e ru s u a ln e u r a ln e t w o r k s t h et h e s i sp r e s e n t sam u l t i p h a s e n p r s m ，w h i c hc a l l b s ed o e ，p o l y n o m i a lf i t t i n g ，n o n p a r a m e t r i cr e g r e s s i o n ，a n d n e u r a ln e t w o r ki nd i f f e r e mc o n d i t i o n sw h e n i ti sn e e d a tt h ee n do ft h et h e s i s ，t w o e x a m p l e sa r ea n a l y z e db y t h em u l i t p h a s en p r s ma n dt h e yp r o v et h a tt h em e t h o di s v e r y e f f e c f i v e k e yw o r d s ：r e s o p o n s es u r f a c em e t h o d o l o g y , n o n p a r a m e t r i cr e g r e s s i o n ， a r t i f i c i a ln e u r a ln e t w o r k s ，n p r s m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果。除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁洼盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名 搠签字嘲护m ，歹日 学位论文版权使用授权书 本学位论文作者完全了解叁壅盘茎有关保留、使用学位论文的规定。 特授权鑫注基鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 导师签名： 签字日期：a 吧殍i a 月琴日 签字日期： d ，年，2 ，月f r 日 第一章绪论 第一章绪论 响应曲面方法( r e s p o n s e s u r f a c em e t h o d o l o g y , r s m ) 是数学方法和统计方法 的产物，是用来对所感兴趣的问题进行建模和分析的，其目的是为了优化这个响 应【l l 。在产品全生命周期的各个阶段，响应曲面方法都提供了有效的试验方法， 寻找出最优试验条件以大幅度降低开发的时间和成本，使产品具有更高可靠度， 提高产出率和减少不良品。响应曲面能够提供一个可靠、可遵循的程序，以达到 突破制造过程的瓶颈或者达到设计目标。 响应曲面方法通常使用一阶或者二阶的多项式回归方程拟合曲面，并且假定 试验方差符合正态分布。试验设计通常是采用正交设计或者最优设计。在试验设 计阶段，设计的方案是以一阶或二阶多项式回归为基础的，有的时候实际因素的 范围比较宽广，而且响应曲面的真实形状是比较复杂的，这样的试验设计只在能 够局部的小范围内满足需要，求出来的极值是局部的极值，而我们所需要的全局 意义上的极值，所以有必要在这方面做出研究。从另一方面来讲，在曲面拟合阶 段，因为针对低阶多项式的试验设计和拟合曲面的低阶多项式的精度存在局限 性，它有时候不能体现影响因素本身和交互的更高阶的作用，使用神经网络能在 不知道未知函数的形式前提下做出有效的拟合。 1 1 研究背景与现状 响应曲面方法的领域在近十年中一直在增长，并且其他领域中的统计学的进 步也使它受益匪浅。对响应曲面方法感兴趣的实践者们的范围一直在扩大，当然， 我们知道，没有实际的应用响应曲面方法是无法生存的。使用响应曲面方法的范 围已经扩展了许多。已经不再是仅有化学、食品和其他制造过程需要响应曲面方 法工具。生物学、生物医药和快速发展的生物分子学领域的教授们都对响应曲面 领域产生了浓厚的兴趣。 当然对于我们在工业生产中所起的作用来说，响应曲面方法同样非常重要。 在实际应用方面，无论在产品设计或者制造发展过程，响应曲面方法提供了一个 有效的试验方法；在产品全生命周期的前期，寻找出最优试验条件以大幅度降低 开发的时间和成本，使产品具有更高可靠度；在制造过程中，也可以找出制造过 第一章绪论 程中的最优条件以提高产出率和减少不良品。响应曲面能够提供一个可靠、可遵 循的程序，以达到突破制造过程的瓶颈或者达到设计目标，如缩短生产周期、提 高产能或减少不良品，以达到最佳生产管理或经济效益。 通常认为响应曲面方法中包括试验设计，模型拟合和过程优化。近来，稳健 性方法、非参数方法和贝叶斯设计已经成为它的一部分。然而无论如何，响应曲 面方法的目标对于实践者们来说，仍然保持在b o x 和w i l s o n 的文章所描述的范 围之内。也就是说，一个人打算基于一些定量的过程因素( 或者是定性和定量的 混合因素) 来设计一个试验，然后根据能够提供过程改进以至于过程优化的设计 变量的目标来分析结果数据。在对响应曲面方法的回顾和对新实践者的建议中， 不提到b o x ( 2 1 3 的一阶设计和b o x 与h t m e t e r 4 1 的富有创造性的可旋转性是不完 整的。在本文中从头到尾贯穿了多阶段试验设计的思想，在b o x 的许多著作中 都讨论了对第一阶段设计的增强。当然这里没那么多地方来写b o x 的贡献，但 是，很明显我们在2 1 世纪中对任何复杂的响应曲面方法问题提出的解决方案都 会受到他的影响。已经有多响应、更复杂的模型和一些根本就不适用于用多项式 逼近的情况都开始使用响应曲面方法，而计算机技术的提高使得这些问题的解决 成为可能。 一般的来说，响应曲面方法包括两阶段设计。第一阶段设计包括进行因子试 验设计( 析因设计和全因子试验) ，拟合一阶数学模型，确定模型及最速上升( 或 下降) 方向并求取该阶段最优值。根据最速上升或下降方向，可以确定下次试验 各控制变量的变化范围。其中，在因子试验中要增加试验中心点，它用于估计模 型拟合误差，并有助于估计二次项系数。第二阶段设计主要工作是当发现模型拟 合误差显著时，拟合二次回归方程，绘制出响应曲面与等值线图。响应曲面方法 的具体设计方法很多，其中最常用的方法是中心复合设计( c e n t r a lc o m p o s i t e d e s i g n ) ，即在因子试验的基础上增加中点与轴心点，轴心点用于估计二次项系 数。 然而，在响应曲面方法中，人们总是假定回归函数具有某种特定的形状，一 般是线性的或者可以化为线性的形式，其中包含若干未知参数。对于随机误差的 分布，则往往假定为正态的。在参数判别分析中，则常常假定哪些作为判别依据 的、随机取值的指标在各个可能的类别中都服从正态分布。在这个基础上发展的 方法到现在仍然常用，但是理论和经验都显示这种方法在使用是并非总是能提供 好的结果。这主要是因为在不少情况下，关于参数模型的基本假定与实际情况有 较大的差距。 这种情况促进了分析中的非参数方法的发展。其特点是对模型的要求很松： 回归函数的形式可以任意，随机误差也不必服从任何分布。 第章绪论 核函数估计方法是最为流行的非参数回归方法之一。n a d a r a y a - w a s t o n 估计 胪】【6 j 和l g a s s e r - m u l e r 估计【7 是最为常用的核函数估计。周志丹用n a d a r a y a w a s t o n 估计，通过一个财政收支的实例，与最小二乘法进行了比较圈。张守一等用应用 最小二乘法参数回归模型和核回归模型对1 9 9 1 年至1 9 9 2 年第四季度城镇居民消 费数据c u h 进行事后预测 9 】。薄志鹏等在g p s 相对定位和几何水准测算【1 0 】，q i a n 在可靠性理论方面的应用【1 1 1 ，表明在各个方面非参数回归都得到了广泛应用。 人工神经网络( a n n ) 近年来成为描述非线性的函数的种重要工具。它通 过模仿神经元的学习能力来学习一个特定系统中的自变量和因变量之间的隐含 的内在关系，并且能够以很高的精度逼近未知的曲面。 近年来有许多神经网络在响应曲面方法中的成功应用，他们还比较了神经网 络方法和传统的响应曲面方法对实验模拟优化的结果。s v a i t h i y a l i n g a m 等【1 2 】在 制药中用响应曲面方法和神经网络同时对三变量和反应分解外形进行了成功的 模拟。j 。b o u r q u i n 等【l3 】讨论了响应曲面方法和神经网络进行数据拟合以及在出现 离群值的时候二者的稳健性分析，在文献【h l 中的试验比较中表明神经网络的数据 拟合性能和预测性能较好，在非线性关系方面是传统模拟的一种有效替代方法， 在文献【l5 l 中，随机的试验计划中神经网络表现良好而响应曲面方法较差，在实验 计划组织良好时响应曲面方法则效果较之神经网络好一些。在一个关于褪黑激素 的皮肤穿透载体组合成分的实验中，其试验结裂“1 用神经网络和多项式分别设计 了模型，同时利用两种方法进行了分析，并且比较了二者的泛化能力，预测结果 表明，神经网络的表现好于响应曲面方法。在文献i l 中，r m 。g a t e ：a - g i m e n o 等利用遗传算法和剪枝方法对神经网络进行了优化，应用于食品中的微生物增长 预测，取得良好的效果。对于曲面拟合和寻找最优解的两个阶段，文献 i8 】分别根 据其特性用h o p f i e l d 网络来求得高阶多项式的参数，用b p 网络求曲面的梯度进 而判断网络的最优值。 神经网络方法虽然在一些应用中取得了成功，但是仍然存在的一个主要问题 是要求实验样本点较多。当遇到实验成本昂贵或者条件限制而导致试验次数少的 情况时，由于神经网络的参数远远多于试验点，因此由之带来的过拟合问题也是 令人难以解决的。通常规模过小的网络很难给定问题的输入和输出之间的关系， 即完成对训练样本的学习较为困难，但它却具有一定的泛化能力；规模过大的网 络只能表示训练样本的输入和输出之间的关系，能很好的学习训练样本，输出误 差小，却无法表示出未知样本的关系，即网络的泛化能力差。所以神经网络的结 构要不断的进行调整，使它尽量在符合拟合水平的要求下能够做到结构最简单， 但是这始终是个大问题，一直在探讨中而无法真正解决，甚至无法从定性的角度 去得到泛化能力与结构的关系。 第一章绪论 1 2 研究目的和意义 本文针对经典的响应曲面方法过程的三个主要的组成阶段，试验点的选取、 在曲面上的试验点中间插值和寻求最优解做出分析。探讨了多阶段非参数响应曲 面方法的整个过程，并给出实例分析。 在试验点的选取方面，非参数响应曲面方法使用非参数回归拟合整个试验的 可行域，与拟合密切相关的试验设计方案要从传统的一阶、二阶设计转变为空间 网格设计。这种设计的优势明显，因为非参数回归是假设没有校正的多项式模型， 这样在特定区域产生的预测值是非常独立于近似的数据点的。而且，这样的设计 变量范围是相当宽的，要宽过标准响应曲面方法工具所允许的范围。用一个全局 的观点实施过程，而不是局部的范围。 在接近试验的最优点的附近区域的曲面拟合上，对于原有的多项式拟合方法 不能反映高阶作用的缺陷和常用的神经网络虽然能够很好拟合但是往往过拟合 的情况，研究解决这两种问题的办法，将两种方法结合起来，同时利用了多项式 光滑的内插和外延特性，神经网络对曲面的精确拟合的能力，达到理想的拟合水 平和预测能力。 本课题的主要理论意义体现在响应曲面方法作为逐步改进的重要工具之一， 作为统计工具和数学工具的结合体，不断在其研究中加强的拟合能力是非常重要 的，使响应曲面方法能够适应更复杂的响应函数。响应曲面方法作为在全局上搜 索最优值的个重要的方法，本身却由于搜索方法和拟合能力的限制，往往陷入 局部最小值，尽管有不少方法来试图解决这个问题，如贝页斯设计、计算机产生 的试验方法、多阶段试验设计等等，增强了找到最优值的概率，可是毕竟不能确 保目标达到。用非参数回归拟合全可行域，是利用非参数回归的极强的插值拟合 能力，能够充分表现出曲面的形象特征。而对于非参数回归的误差，用多阶段试 验设计的方法又从实际的曲面上去找到真实的最优值及其所在区域，最后用插值 的神经网络来拟合可以取得非常好的拟合与预测结果。充分的使用多阶段，非参 数和传统的试验设计与分析，对于结合统计与数学方法的响应曲面方法，是一个 富有想象力和应用意义的提高。 本课题的主要实用意义体现在。中国的市场竞争日趋激烈，为了提升企业的 竞争力，需要从质量水平、生产工艺、资源投入等多个方面来进行改进。 从产品的质量方面来看，企业的产品和服务质量不仅仅要达到市场越来越高 的要求，而且要能够不断的做出改进，并且维持这样的质量水平，同时达到低成 本的目的。加强响应曲面方法的改进研究，能够在最经济的条件下实现满足企业 要求的生产结果，达到寻找出最优试验条件以大幅度降低开发的时间和成本，使 第一章绪论 产品具有更高可靠度，找出制造过程中的最优条件以提高产出率和减少不良品， 以达到最佳生产管理或经济效益，满足顾客需求的目的。 从生产工艺水平的提高上来看，响应曲面方法是有效分析最优生产条件的方 法，同时能够在更多实践经验和新的试验设计的基础之上找出更好的生产条件和 质量水平，结合企业的实际能力和资源，得到适合企业自身的生产工艺。 对于企业的资源投入来说，使用响应曲面方法找到的生产条件和结果是在企 业现有条件下的最佳结果，可以节省投入，优化产出。 1 3 论文的研究内容和技术路线 本论文的研究内容主要是通过研究响应曲面方法的一般流程，包括试验设 计、曲面拟合和寻优的不同阶段，阐述传统响应曲面方法存在的缺陷和问题，由 于这些问题可以通过非参数方法来得到某种程度的解决，因此对非参数回归和神 经网络进行了适当阐述，然后分成不同的阶段和过程对非参数回归和神经网络与 传统响应曲面方法结合，包括非参数回归的全局搜索过程，插值神经网络的研究 与使用。 本文共分为五章，第一章为绪论，说明文章的研究背景与现状，阐述本文的 目的和意义，包括了理论上的意义和实际意义，以及研究内容和技术路线；第二 章为响应曲面方法的一般性描述，从多个阶段阐述了所使用的试验设计方案和拟 合结果的求解过程与分析；第三章概要讲述了非参数回归，特别是核光滑回归， 与神经网络的一般特点和优势，以及最常用的b p 神经网络方法；第四章阐述了 多阶段非参数响应曲面方法的过程，从多阶段的角度，合并了非参数回归与神经 网络，并详述了改进的插值神经网络过程；第五章使用两个例子，一个是构造出 来的，另一个是实际的，将非参数神经网络应用在上面，得到了满意的结果。第 六章总结了整篇文章，并给出了今后的研究方向。 本文的技术路线见图1 - 1 。 第一章绪论 图1 - 1 文章的技术路线图 6 第二章响应曲面方法概述 第二章响应曲面方法概述 在响应曲面方法的发展历程中，由1 9 5 1 年b o x 和w i l l s o n 数学模式的建立与 推导开始，到1 9 6 6 年h i l l 和h u n t e r 的相关研究，其理论模式的建立和研究已经 趋于完整，在1 9 6 6 年到1 9 8 8 年期间，相关的研究延伸到探讨模式的稳健性、可 旋转的因予试验等等方面。这时响应曲面方法已经成为实际中用于求解最佳试验 或者作业条件的有利工具，普遍应用于电子、机械、农业、化学工业和工业流程 改进等研究领域中。 2 1 响应曲面方法概述 2 1 1 响应曲面方法基本概念 响应曲面方法( r e s p o n s e s u r f a c em e t h o d o l o g y , r s m ) ，是数学方法和统计方 法结合的产物，是用来对所感兴趣的响应受多个变量的影响的问题进行建模和分 析的，其目的是优化这个响t 直【”。 响应曲面方法是最早由b o x 和w i u s o n 提出理论基础，经过h i l l 和h u n t e r 整理发展，于1 9 6 6 年建立更广泛的响应曲面定义和最优化模式。响应眭面方法 是一种结合数学应用、统计分析和试验设计的技术探讨影响因素与响应输出之间 的数学模式关系，经由试验设计者在所关心的试验区域内以有系统的方式进行试 验，取得所希望的响应值和因素水平。响应曲面方法是一系列有效的发展、提高 和优化过程的统计和数学方法技术的集合。它不但在设计和发展新产品方面有重 要作用，而且对于现有产品设计的改进方面也很有效。 响应曲面方法最广泛的应用还是在工业领域，特别是针对那种产品或过程的 质量特性和性能指标同时存在多个输入变量的情况。这种性能指标或者质量特性 被称为响应。这些指标大部分是连续的，尽管也会偶尔有一些离散的变量。r s m 的大部分实际应用包含的响应都超过一个。而这种输入变量有时候就叫做自变 量，它们是工程师和科学家在做测试或试验的时候所考虑的主要影响因素。 第二章响应曲面方法概述 2 1 2 响应曲面方法的过程 通常，假设科学家或者工程师( 统称试验者) 关心的是某个产晶、过程或者 系统的响应y ，与响应y 对应的是一系列的输入变量，我们称之为因素，设某一 过程有k 个因素，点，受，氕。建立输入与输出响应之间的函数关系 y = 厂( 点，手2 ，孝) + ( 2 - 1 ) 其中真实响应函数f 的形式未知，也许非常复杂，e 表示系统误差，表示由其它 变异来源造成的f 所无法解释的方差。e 包括了各种影响，如响应的测量误差， 系统或者过程自身的其它的变异来源( 背景噪声，统计过程控制中的一般因素变 异) ，其它变量的作用，等等。我们认为e 是一种统计意义上的误差，通常假设 均值为0 ，方差为盯2 。如果e 均值为0 ，那么 e ( y ) = v = e 厂l ，善2 ，彘) 】+ e ( 8 ) ，。 ：厂( 卣，岛，磊) 在式( 2 2 ) m 的变量眚，彘，彘，通常被成为自然变量，因为它们是测量值的 自然单位，如温度，压力或浓度，等等。在许多响应曲面方法问题中，很容易把 这些自然变量转化为规范变量而，如。，砩，这些规范变量通常都是没有量纲的， 均值为0 和具有标准方差。在规范变量的情况下，真实响应函数( 2 2 ) 可以写为 玎= f ( x l ，x 2 ，x t ) ( 2 3 ) 因为真实响应函数f 是未知的，我们必须对它求一个近似。事实上，r s m 的 成功运用主要得靠试验者对f 的逼近能力。 通常认为响应曲面方法中包括试验设计，模型拟合和过程优化。近年来，稳 健性方法、非参数方法、贝叶斯设计和一般线性模型( g e n e r a l i z e d l i n e a rm o d e l s ， g l m s ) 已经成为它的一部分。响应曲面方法在这些年中发生了实质上的变化， 并且其中的大部分是有积极意义的和激动人心的。但是无论如何，响应盐面方法 的目标对于实践者们来说，仍然保持在b o x 和w i l s o n 【1 9 l 的那篇具有开创性的文 章所描述的范围之内。也就是说，个人打算基于一些定量的过程因素( 或者是 定性和定量的混合因素) 来设计一个试验，然后根据能够提供过程改进以至于过 程优化的设计变量的目标来分析结果数据。 在大多数响应曲面方法的问题中，响应和自变量之间的关系形式是未知的。 这样一来，响应曲面方法的第一个步骤就是寻求因变量和自变量集合之间的真实 函数关系的一个合适的逼近式。通常，在自变量的某一区域内的一个低阶的多项 式是可用的。 如果响应适用于用自变量的线性函数建模，则近似函数是一阶模型 y = 芦o + 芦l x l + 展x ，+ + 履x i + g ( 2 - 4 ) 如果系统有弯曲，则必须用更高阶的多项式。例如二阶模型 第二章响应曲面方法概述 y = 磊+ 聃+ 岛x 。o + 鼬。2 + s ( 2 5 ) ，= li = l 1 = 1 t j 忙l 几乎所有的响应曲面方法问题都用这些近似多项式中的一个或多个。当然， 个多项式模型在自变量的整个空间上是真实函数关系的合理的近似式是不可 能的，但在一个相对小的区域内通常做的很好。 最小二乘方法可以用来估计近似多项式的参数，然后在拟合曲面上做响应曲 面分析。如果拟合曲面是真实响应函数的一个合适的近似式，则拟合曲面的分析 就近似的等价于实际系统的分析。如果能够适当地利用试验设计来收集数据，就 能够最有效地估计模型参数。关于拟合响应曲面的设计叫做响应曲面设计。 响应曲面方法是一个序贯方法。首先是确定哪些变量或者因素是重要的。这 一步里面要把那些不重要的删除掉。一旦重要的变量确定下来，试验者的目的就 是判断自变量现有的水平下，响应值离最优点到底是近还是远。如果现有的自变 量的水平下，响应值不是最优的，那么试验者就将通过一系列的调整来把这些过 程变量向着最优值的方向移动。通常，当我们是在响应曲面相应的自变量区域内 的某个点时，在此点处系统只有微小的弯曲，从而用一阶模型是恰当的。那么我 们就要快速而有效的到达最优点所在的邻近区域，一般使用最速上升法。一旦最 优点的区域被找到，就可以利用更精细的模型，例如二阶模型。当取得了一个合 适的近似模型，试验者会对它进行分析以便确定最优点的位置，即过程的最优条 件，以及进一步的分析。 2 1 3 响应曲面方法的应用和质量改进 响应曲面方法在解决工业问题上很有效，一般而言，可以将其应用分成三个 主要方面： ( 1 1 在感兴趣的区域上确定响应曲面的形状。如果未知的响应函数在当前的 可行域上被成功的拟合出来，那么试验者就可以预测当条件改变的时候 响应能够发生的变化； ( 2 1 优化响应。在工业应用中，一个很重要的问题就是决定优化过程的条件。 试验者能够通过r s m 确定最优条件的水平和最优的响应； ( 3 1 按照顾客的特殊要求选择操作的条件。大多数响应曲面问题都会要求几 个响应同时达到要求。 在最近的二十年中，美国和欧洲的工业组织变得很关心质量改进了。各种统 计方法，包括控制图( s t a t i s t i c a lp r o c e s sc o n t r o l ，s p c ) 和试验设计( d e s i g no f e x p e r i m e n t d o e ) 都在其中扮演了很重要的角色。响应曲面方法作为试验设计 第二章响应曲面方法概述 的一个分支是很受重视的。它是发展新过程的关键技术，能够优化过程的性能， 改进新产品的规划和设计。响应曲面方法也常常是个并行的工程工具。在产品 设计和过程改进中，质量工程师、制造工程师和运作团队通常会组成团队实施响 应曲面方法。目标就是质量改进，包括有减少变异，提高产品和过程性能，等等。 2 2 拟合响应曲面的试验设计 只有通过良好的试验设计获得有效、可靠的数据，并进行适当的拟合，才有 可能得到响应曲面的近似函数y = 厂( 鼻) + g 。从解析几何的角度考虑， y = f ( x ) + s 是坐标空间( 一，x ：，札) 上的一个曲面。对y = f ( x ) + s 进行分析， 寻找使响应输出变量y 最优的各因素水平的组合，并对各因素是如何影响响应变 量的过程获得了解，这就是r s m 所研究的主要内容。 在选择响应曲面的设计时，理想的设计的一些特点如下【2 0 】： ( 1 ) 所研究的整个区域内能够提供数据点的合理的分布； ( 2 ) 容许研究模型的适合性，包括对拟合不足； f 3 ) 容许分区组进行试验； ( 4 ) 容许逐步建立较高阶的设计： ( 5 ) 提供内部的误差估计量； ( 6 ) 不需要大量的试验； ( 7 ) 不需要自变量太多的水平； f 8 ) 确保模型参数计算的简单性。 这些特点有时候是相互矛盾的，所以应用到设计选择中去时，必须经常加以 判断。 在试验设计方面，不提到b o x 2 1 3 1 的一阶设计以及b o x 和d r a p e r t 4 的, g 有创 造性的可旋转性是不完整的。然而已经发生的变化反映了这样一个事实实践 者们更加乐观和雄心勃勃地向更复杂和艰难的问题动手了。举例来说，我们已经 有多响应、更复杂的模型和一些根本就不适用于用多项式逼近的情况。我们有难 以想象的变量个数，以及很明显的非正态响应，这甚至向经典设计的适用性提出 了质疑。但是在通常情况下，传统的试验设计仍然是有效的，近优的和最为广泛 使用的。 第二章响应曲面方法概述 2 2 1 拟合一阶模型的设计 设要拟合k 个变量的一阶模型，响应为y ，模型同犯- 4 ) ，如下 土 y = p o + ? 。p t x i + s 百 有一类独特的设计，它使得回归系数 夕j 的方差极小化。这就是正交的一阶 设计。一个一阶设计时正交的，如果( x x ) 矩阵的非对角线元素全为零。这 一点意味着盖矩阵的列的交叉乘积之和为零。 正交的一阶设计类包括了2 析因设计和2 分式析因设计系列。在使用这些 设计时，我们假定k 个因素都规范为标准化的水平1 。作为个例子，设我们 用2 3 设计来拟合一阶模型 y = p o + p , x l 十屈x 2 + 岛x 3 + 8 拟合此模型的z 矩阵是 容易证明，此设计的( x x ) 矩阵的非对角线元素全为零。 屯 f ( a ) k = 2 个变量 图2 - 1 单纯形设计 ( b ) k = 3 个变量 黾。一o o， 屯一以，o o ， l 1 第二章响应曲面方法概述 另一种正交一阶设计是单纯形设计。单纯形设计对于一阶设计来说是饱和 的，即假设对于交互作用的信息我们一无所知。对于有k 个变量的一阶模型，单 纯型设计仅仅需要n = k + 1 个观察值，这是单纯型设计的主要特点。从几何上 来讲，单纯型设计点就是等边图形的顶点。 这样一来，k = 2 的单纯形设计是一个等边三角形，1 = - 3 时是正四面体。二维 和三维的单纯型设计如图2 1 所示。 2 2 2 拟合二阶模型的设计 二阶模型设计的主要目的就是要令试验者能够拟合二阶模型( 2 5 ) ，如下 y = p o + 髓+ p o x 。x ，+ 统一2 + s i # lf = lj = l ，i 七个观察值，令表示变量t 的第j 个观察值或第j 个水平。数据的 表现形式如表2 1 ； 表2 - 1 多元线性回归的数据 第二章响应曲面方法概述 可以将模型用数据写为 y i = p o + p l x 、i + p 2 x 2 i + + pk x q + j = 风+ ，b + 勺 ，- 1 用矩阵表示为 v = x 8 s 其中 y = 疗= m y 2 反 届 ； 9 i z = t ( 芹l l 一墨) ( x 2 1 一- 2 ) ( x 女l 一耳) 1 ( x 1 2 一墨) ( x 2 2 一而) ( x t 2 一覃 ) 1 ( 而。一墨) ( x ：。一夏) 。( x h 一瓦) 蜀 2 ： 占” 要求最小二乘估计量的向量b ，只要使 三= 巧= 占，占= ( y 一邶) ( y 一郧) ( 2 _ 7 ) = l 取极小值。l 可表示为 l = y i y 一8 x y y j x p + 母j x j x 0 = y t y 一2 p l x t y 七毋t x l x p 可得 分= ( x j ) 。z y ( 2 - 8 ) 2 3 2 二阶回归 = 阶模型在r s m 中得到了广泛的应用，主要是有以下的几个优点： ( 1 1 二阶模型本身已经比较复杂。它能够胜任拟合很广泛的函数形式，所以 常常能够逼近真实的响应曲面； ( 2 1 它的参数也很容易估计。用最小二乘法能够计算其参数值； ( 3 ) 在解决响应曲面问题的实际应用中，二阶模型的确也做的很好，有大量 成功的例子。 设某一过程的影响因素为x = “，x ，h ) ，响应变量为y 。r s m 二阶模型 的一般形式为； 第二章响应曲面方法概述 用矩阵表示为 其中 x = 五 x 2 ，b kkkk y = 属+ 屈t + 岛v ，+ 属 2 + 占 i = l i m ，= l ，j i = 1 届 b ： ： ： 8 。 y = z o + x f l + x b x + 占 ，b = 届。届：2 觑： 运用最小二乘法，可得到式( 2 9 ) 中各系数的值，计算方法如下。 设拟合的二阶模型为： 歹= b o + z 吾+ x t x 令x ”= 【l ，而，x p ，x 1 2 , x 2 2 ，扎2 ，_ x 2 ，墨码，x 坼】， b ”= b o , b l ，b k ，b l l ，6 2 2 ，b ，b 1 2 ，b l3 ，b k _ 1 女 则 ， b ”= ( x ”x “) 1 x ”y 2 4 最速上升法 ( 2 9 ) r 2 一l o ) ( 2 - 1 1 ) 系统的最优运行条件的初步估计常常远离实际的最优点。在这种情况下试验 者的目的是要快速地进入到最优点的附近区域。我们希望利用又简单又经济有效 的试验方法。当原理最优点时，通常假定在x 的一个小区域范围内一阶模型是真 实曲面的合适近似。 最速上升法是沿着最速上升的路径，即响应有最大增量的方向逐步移动的方 法。当然，如果求的是最小值，则叫做最速下降法。拟合的一阶模型是 上 多= p o + 届一 i = i 与一阶响应曲面相应的多的等高线，是一系列平行的直线，如图2 5 所示 2 2 2 刖剐刖 2 2 刚纠凡 第二章响应曲面方法概述 工i 图2 - 5 一阶响应曲面的等高线与最速上升路径 最速上升的方向就是多增加最快的方向。这一方向平行于拟合响应曲面等高 线的法线方向。通常取所感兴趣的区域的中心并且垂直与拟合曲面等高线的直线 为最速上升路径。 2 4 1 最速上升法的基本步骤 我们将最速上升法的步骤列出如下： ( 1 1 用个正交设计拟合一个平面的( 一阶) 模型。两水平设计就足够了， 通常还建议加上中心点： ( 2 1 如果是需要最大值的话，就计算最速上升路径；如果需要的是最小值， 那么计算最快下降路径。最快上升路径的计算是为了找到响应值增加最 快的方向，而最快下降路径则是响应值减少最快的方向； ( 3 ) 沿着这个选定的方向做试验，在上面做单次或者重复次数的试验，观察 其响应值。这个结果会显示出响应值的变化情况。在这个路径上的某些 区域，这种增长会逐步减少到甚至消失。这种情况往往发生在当试验点 远离初始试验设计位置的时候造成简单的一阶模型退化。通常第一次的 试验设计位于设计范围的周边上，或者是在一些重要的变量位置，如值 为1 的地方； f 4 ) 在某些位置，当最大值或者最小值位于路径上的时候，就要选择一个二 第二章响应曲面方法概述 阶试验设计。这个设计还是要从一阶设计开始。它通常比较像检验曲率 的中心设计，并且在这个点上，用于检验交互作用的拟合不足的自由度 也是很重要的； ( 5 ) 在这里要傲一个二阶试验设计，并再次拟合一个一阶模型。然后检测拟 合不足。如果拟合不足不显著，那么在这里就要对新的模型再求一次上 升路径。在这第二条路径上继续做单次或者重复的试验。一般来说，在 第二条路径上的增长通常没有第一条路径上面的来得显著。当响应值的 增加停止之后，就应该做一个更加精致的试验设计方案和一个更复杂的 优化过程了。 2 4 2 最速上升法路径的计算 最速上升路径上的坐标是依靠一阶模型的系数来决定的。变量x ，沿着最速上 升路径的移动跟回归系数b ，是成比例的，而且正负号相同；如果是最速下降，则 取相反的符号了。例如，对于一个等式多= 2 + 3 x ，一1 5 x ：，最速上升法的路径就 会是一每向正方向移动两个单位，而就向负方向移动一个单位的距离。 我们考虑一个拟合好的一阶模型 多= + 6 l z l + b 2 x ，+ + b k x t 在最邃上升路径上，我们期望得到最大响应，并且存在约束x ? = r 2 。换 句话说，对于所有的点，在远离初始中心点的步长都是相同的。当然这里的x ，都 是规范变量，这个约束表明是在中心点的周围以一个r 为半径的球。 为了求得最大值，使用拉格朗日算子，分别对每一个x ，( j ；1 , 2 ，k ) 求偏 导 多= b o + b l x i + 6 2 x ；+ - 一+ b k x 一五( x ? 一，2 ) ( 2 1 2 ) i = l 于是求得对每个x 的偏导如下 兰：6 ，一2 砒，( ，= 1 2 。j ) ( 2 1 3 ) c j 令对每一个偏导都为0 ，于是给出x ，在最速上升路径上的值 = 吾 ( ，= 1 2 。i )( 2 - 1 4 ) 我们把1 2 l 看成一个比例常数，于是将上式改写为 x 1 = 砘x 2 = 加2 ，= , o h ( 2 - 1 5 ) 第二章响应曲面方法概述 这里的p 是跟九相关的一个数，由试验者决定它的大小。 2 5 二阶模型的分析 当实验者相对接近最优点时，因为真实响应曲面的弯曲性的原因，通常用二 阶曲面模型来逼近响应。二阶模型 _ y = 屈+ 屈x ，+ 岛一x j + 反一2 是合适的。 设想要求出五，x ：，屯的水平使之能够最优化预测的响应。这个点 ( m x ：，以) 存在的话，它应该使偏导数詈= 瓦o y 一一毒= 。这个点就叫做 稳定点。 将二阶模型写为矩阵形式，有 y = f l o + x b + x b x ( 2 1 6 ) 其中 x = x l x 2 b =，b 2 p np 1 2 2p 1 3 2 p l k | 2 ；b n8 n | 2 p x k i 2 ；b np n 2 s y m b 是一阶回归系数的一个( k x1 ) 向量，b 是( k x k ) 对称矩阵，其主对角线元 素是纯二次系数( 矗。) ，非对角线元素是混合二次系数( 磊，f ，) 的二分之一。 p 关于向量x 的元素的导数等于0 就是 旦：b + 2 b x ：0( 2 1 7 ) 斛 稳定点是它的解 1 五= 一去b 4 b ( 2 - i s ) 二 将式( 2 1 8 ) 代入式( 2 1 6 ) ，求得在稳定点处的预测响应为 允= 巍+ 妻x ( 2 - 1 9 ) 一旦求出稳定点，通常必须表示出响应曲面在这一点的最临近的区域的特 征，所谓表示特征，意思是要确定稳定点究竟是否响应的最大值点或是最小值点， 还是鞍点。 第二章响应曲面方法概述 首先要将坐标变换将模型进入一个新的坐标系，它的原点在稳定点工。处， 然后将坐标系的轴旋转，直至它们与拟合响应曲面的主轴平行为止。可以证明这 样得出的拟合模型是 多= 豌十五w ；+ 如谚+ + 嵋 ( 2 2 0 ) 其中 ) 是变换后的自变量，( ) 是常数。式( 2 2 0 ) q 做模型的正则形式。 丑) 是 矩阵b 的特征根。 如果乩) 都是负的，则稳定点鼻。是响应的最大值点；如果 丑) 都是正的，则 稳定点墨、是响应的最小值点；如果地) 有正有负，则稳定点是响应的鞍点。 2 6 响应曲面方法流程 前面讨论了响应曲面方法的一般执行步骤。主要包括的是试验设计，模型拟 合，过程优化等几个步骤，它们紧密结合，相互对下一步都造成影响。 下面将这些步骤及其顺序关系用流程图的形式描绘出来，见图2 - 6 。 第二章响应曲面方法概述 图2 - 6 响应曲面一般流程 第三章非参数回归和神经网络 第三章非参数回归和神经网络 非参数回归和人工神经网络方法同为非参数方法中的重要方法，下面是对非 参数回归和神经网络方法的简要介绍。 3 1 非参数回归 在参数回归分析中，人们假定回归函数有某种特定的形状，一般是线性的或 者可化为线性的形式，其中包含若干未知参数。对随机误差的分布，则往往假定 为正态的。在这个基础上发展的方法到