（应用数学专业论文）模糊线性回归模型的参数估计.pdf

摘要 自从z a d e h 提出模糊集后，模糊数据分析就被众多学者所关注，广泛应用于国民 经济、科学技术等众多领域，尤其是模糊回归分析模糊回归分析的首要任务是模糊回 归参数的估计近年来这方面的研究颇多，但未能形成一个完善的理论及应用体系， 且大部分方法只考虑三角模糊数这种特殊情况 本文针对l r - 型模糊数建立模糊线性回归模型并给出相应模型性能评价方法，从 不同角度讨论了模糊回归参数的估计方法，主要有最小二乘法、加权最小二乘法、线 性规划法、二次规划法和支撑向量机法，并通过数值模拟分析各种方法的拟合性能 最小二乘法是经典最小二乘法在模糊线性回归中的自然扩张；加权最小二乘法充分考 虑决策者对洲练数据的置信度，对观测数据设置中心、左、右权重，通过逐步迭代更 新求解模糊回归参数；线性规划法将已有的方法推广到更一般的l r 一型模糊数，具有 一定的预测能力，但遗憾的是模型的模糊宽随着数据的增多而变宽；二次规划法采用 二次函数作为目标函数，弥补了线性规划法的不足，尤其是q p 2 通过设置权重来平 衡模型中心误差和模糊宽，再结合置信度，可以满足不同工作者对模型的要求，具有 很好的应用性；支撑向量机法利用支撑向量机理论求解模糊阿师参数，虽然拟合效果 不是很理想，但对于求解模糊线性回归模型的参数来讲，还是有其可取之处的 另外，考虑到试验数据中经常会混入异常值，此时上述方法将不够稳健本文针 对这种情况提出一种基于指数型距离最小二乘法以及中心稳健线性规划法前者首先 定义了一个指数型距离，然后将回归参数的估计转化为求解一个无约束最优化问题， 其稳健性取决于指数型距离中常数b 的选择，数值试验表明，当b 在0 1 与0 3 之 间取值时，所得模型稳健性较好；后者利用稳健回归的思想，将参数估计分为两步： 第一步，利用稳健回归方法得到模糊回归参数的中心估计，第二步，利用上一步的结 果极小化参数的总含糊度，从而得到模糊回归参数的左宽和右宽，数值试验表明，这 种方法的稳健性也是不错的 关键词：l r - 型模糊数；模糊回归分析；最小二乘；数学规划；支撑向量机( s v m ) 异常值；稳健性 a b s t r a c t f u z z yd a t aa n a l y s i sh a sb e e nl o o k e dr e g a r db ym a n ys c h o l a r sa f t e rz e d e hp r o p o s e df u z z ys e t s ，i t h a sb e e nu s e di nm a n ya r e a ss u c ha sn a t i o n a le c o n o m ya n dt e c h n o l o g y ，e s p e c i a l l yt h ef u z z yr e g r e s s i o n a n a l y s i s t h ep r i m a lt a s ko ff u z z yr e g r e s s i o na n a l y s i si sf o re s t i m a t i n gt h ef u z z yr e g r e s s i o np a r a m e t e r s i tt m sb e e ns t u d i e dm o r ei nr e c e n ty e a r s ，b u th u n tf o r m e dac o n s u m m a t es y s t e mo ft h e o r ya n d a p p l i c a t i o n ，a n dm o s tm e t h o d so n l yc o n s i d e r e dt h es p e c i a lc a s eo ft r i a n g u l a rf u z z yd a t a i n t h i st h e s i s lt h em o d e lo ff u z z yl i n e a rr e g r e s s i o nf o rl r - t y p ef u z z yd a t ai se s t a b l i s h e da n dt h e e v a l u a t i o nm e t h o do f t h em o d e l sp e r f o r m a n c ea r ep r o p o s e ds e v e r a lm e t h o d st ne s t i m a t et h em o d e l s f u z z yp a r a m e t e r si sd i s c u s s e di nd i f f e r e n ta n g l e s ，s u c ha 8l e a s t s q u a r e s ，w e i g h t e dl e a s t s q u a r e s ，l i n e a r p r o g r a m m i n g ，q u a d r a t i cp r o g r a m m i n ga n ds u p p o r tv e c t o rm a c h i n e s t h ef i t n e s sp e r f o r m a n c eo f e v e r ym e t h o di sa n a l y z e db yd a t as i m u l a t i o n t h el e a s t - s q u a r e sm e t h o di st h en a t u r a le x p a n s i o no f c l a s s i c a ll e a s t s q u a r e si nf u z z yl i n e a rr e g r e s s i o n ；t h ew e i g h t e dl e a s t t s q u a r e sm e t h o dg e t st h ef u z z y r e g r e s s i o np a r a m e t e r sb yi t e r a t e i nw h i c ht h ed e c i s i o nm a k e r sc o n f i d e n c et ot h et r a i n i n gd a t ai s c o n s i d e r e de n o u g h t h ec e n t e rw e i g h t ，l e f tw e i g h ta n dr i g h tw e i g h ta r eu p d a t e di ne v e r ys t e p ；l i n e a r p r o g r a m m i n gm e t h o de x t e n d st h ee x i s t e n tm e t h o dt ol r t y p ef u z z yn u m b e r s b u ti th a sad e f e c tt h a t t h em o d e l sw i d t hb e c o m ew i d e ra n dw i d e ra st h ei n c r e a s i n go ft h ed a t a ；q u a d r a t i cp r o g r a m m i n g m e t h o dc a no v e r c o m et h ed e f e c tb ya d o p t i n gt h eq u a d r a t i cf u n c t i o na st h eo b j e c tf u n c t i o n 、e s p e c i a l l y t h eq p 2 ，i tb a l a n c e st h ec e n t e re r r o r sa n dt h ef u z z yw i d t hb ys e t t i n gd i f f e r e n tw e i g h tt ot h e m ，s oi t h a sag o o da p p l i c a t i o na n dc a as a r i s f yd i f f e r e n te r g o n o m i s t sd e m a n dt ot h em o d e l ；s u p p o r tv e c t o r m e t h o do b t a i n st h ep a r a m e t e r sb yu s i n gt h et h e o r yo fs u p p o r tv e c t o rm a c h i n e s ，i th a ss o m er e d e e m i n g f e a t u r ea l t h o u g hi t sf i t t i n ge f f e c t si sn o tg o o d i na d d i t i o n ，t h o s em e t h o d sa b o v ew i l lb el e s sr o b u s t n e s sw h e nt h et r a i n i n gd a t am i x i n go u t l i e r s f o rt h i sc a s e ，al e a s t s q u a r e sm e t h o db a s e do nt h ee x p o n e n t i a l t y p ed i s t a n c ea n dal i n e a rp r o g r a m m i n g m e t h o dw i t hc e n t r a lr o u s t e da r ep r o p o s e d t h ef o r m e rm e t h o dd e f i n e sa ne x p o n e n t i a l t y p ed i s t a n c e f i r s t l y , t h e nc o n v e r t st h ee s t i m a t i o no ft h ep a r a m e t e r st oan o n r e s t r i a n to p t i m i z a t i o n t h i sm e t h o d s r o b u s t n e s sl i e so nt h es e l e c t i o no ft h ec o n s t a n tbi nt h ee x p o n e n t i a l t y p ed i s t a n c e ，t h ee x p e r i m e n t a l r e s u l t ss h o wt h a ti th a v eag o o dr o b u s t n e s sw h e nbi si n 【01 ，03 ；t h el a t t e rm e t h o dg e t st h ee s t i - m a r i o nb yt w os t e p sw i t ht h ei d e a lo fr o b u s tr e g r e s s i o n ：f i r s t ，g e t t i n gt h ec e n t e re s t i m a t i o no ft h e f u z z yl i n e a rr e g r e s s i o np a r a n r s t e r su s i n gr o b u s tr e g r e s s i o nm e t h o d ；s e c o n d ，g e t t i n gl e f ts p r e a d sa n d r i g h ts p r e a d sb ym i n i m i z i n gt h et o t a lf u z z i n e s so ft h ep a r a m e t e r su s i n gt h er e s u l t si nt h ef i r s ts t e p ， t h ee x p e r i m e n t a lr e s u l t ss h o wt h a ti t sr o b u s t n e s si sb e t t e r ，t o o i i i ：e y 狮r d 8 ：l r - t y p ef u z z yn u m b e r s f u z 2 yf e g r e 龉1 0 na n a i y s i s ；l e a s t ，s q u 缸e s ；m a t h e m a t i c a jp r 0 - g r a m m i n g ；s u p p o r tv e c t o rm a c h i n e ( s v m ) io u t l i e r s ；r o b u s t n e s s i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得宁夏大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 研究生签名：牙l 托 时间：砌f 年月2 同 关于论文使用授权的说明 本人完全了解宁夏大学有关保留、使用学位论文的规定，即：学校有权保留送交论 文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。同意宁夏大学可以用不同方式在不同媒体上发表、传播学位论文的 全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名： 粜艳 时间：，砘z 年月1 开 导师签名 耗立矽 时间：如舌年否月乙同 第一章引言 回归分析是统计学中应用最广瑟的一个分支 医学，工程技术和社会科学等领域，是分析数据、 是线性回归分析，它的理论已经相当完善 它的应用遍及工业、农业经济、保险、生物、 寻求变量关系的一种有力工具其中最简单的 1 1 线性r a , ) 3 分析 在实际问题中我们常常会遇到这样的情况：虽然变量l 与变量x 之间有一定的关系， 旦这种 关系与通常的函数关系不同，变量y 的值不能够完全由变量x 的值所确定这种关系通常称为相 关关系x 与y 之间的这种相关关系可以表示为 y = ( x ) + e ，( 1 1 1 ) 其中i ( x 1 称为y 对x 的回归函数，e 称为随机误差，表示y 与f ( x ) 的偏差，如果自变量不止 一个而是p 个：x l ，此时( 1 1 1 ) 变为 y = ，( x 】，x 2 ，x p ) + e( 1 12 ) 称为y 对x l ，x 2 ，的回归函敷， 回归函数，( ) 可以是线性也可以是非线性的当f ) 是线性函数时，( 11 2 ) 可以表示为 p y = 岛、x 。盈+ ， ( 1 13 ) t ：l 称此模型为多元线性回归模型，其中p o 为常数项，伪，岛为回归系数对于线性回归模型 ( 1 13 ) ，我们的首要任务是估计其中的未知参数p = ( 岛，芦1 ，岛) ，最基本并且使用最多的方法 是最小二乘法 1 2 模糊线性回归分析 在经典的回归分析中，观测是确定数据，并且通常假设服从某个概率分布如正态分布然而， 在许多实际问题中，观测本身是模糊的，不能用概率分布来描述( 例如观测是用一些语言来描述： 优秀、很好、好、一般等等) ，此时，如果还用经典回归分折来处理，我们只能这样做：用4 表示“优 秀”，3 表示“很好”。2 表示“好”，1 表示。一般”但是，用这样过于简单化的数据处理语言 变量，将会遗漏对回归模型而言的重要信息那么如何在这类模糊情形下估计参数称成为经典回 归分析所面l 临的一大挑战对于这类用语言形式描述的数据，z a d e h 的模糊集理论对此类语言变 量建模提供了方法自此，模糊数据分析在许多领域迅速发展 模糊线性回归模型是由t a n a k a 等人【1 】1 于1 9 8 2 年首先提出的，在他的方法中，回归系数是模 糊的，可以表示为有隶属值的区间数随后，l e e 和c h e n 2 以可能性( p o s s i b i l i s t i c ) 理论为基础 1 宁夏大学硕士学位论文 粱艳：模糊线性回归模型的参数求解 2 研究了不同的模糊回归方法c h a n g 3 、dj t f r s o 和g m g t a l dj 4 ，5 】、h o g n k a o 7 】等人以模 糊集理论为基础，结合最小二乘法提出了模糊最小二乘回归模型这些都完全不同于以概率论为 基础的经典回归分析，所有这些模糊回归模型都是用来处理语言变世这类模糊数据的 c h a n g 8 从模型拟合准则的角度将模糊回归分析方法总结为三种，即最小化模糊性准则，最 小二乘拟合准则和区间回归分析方法，同时指出模糊回归与经典回归之间的主要区别在于模糊回 归视残差为模糊变量，而传统回归视残差为随机变量如果从模糊回归模型参数的求解方法来看， 主要有两种方法。即线性规划法和最小二乘法下面我们就从这个角度对模糊回归的发展状况作 一简单介绍 线性规划是最早用来确定模糊回归系数的方法1 9 8 2 年，t a n a k a 等人f 1 1 首先用最小化模 糊性准则提出了模糊线性回归模型，并用线性规划( h n e m rp r o g r a m m i n g ) 法确定模糊回归系数接 着t a n a k a 和l e e 9 】、k a o 1 0 】，l e e 和c h e n 2 】w a n g 和t s a u r 1 l 】、s o h m a n 等人f 1 2 】在此 基础上提出了几个模糊回归的改进版本在这些改进的方法中，最小化模糊性仍然被用做拟合准 则，参数求解依然采用线性规划法 作为回归分析在模糊情形的扩张，能否将最小二乘估计的概念应用到模糊回归分析中呢? 这个 问题很快成为人们研究的一个焦点y a n g 和l m i l 3 、w u s c h e 和n 6 t t h e r 1 4 】w a n g 和t s a u r 1 5 、 y a n g 和l m 1 6 1 研究了不同的模糊最小二乘法y a n g 和l m 1 3 】定义了一个模糊数据和模型之间 的相容性度量，用该度量作为模型拟合准则，根据这种方法，数据拟台的目的是建苞一个模型使 得数据和拟合模型之间的整体相容性达到最大 w d s c h e 和n a t h e r 1 4 1 叉提出了一个模糊最小二 乘方法，他把h a u s d o r f f 度量运用到o t 一强截集上得到了一个在模糊数集合上的度量，用废度量确一 定最小二乘准则函数，使其达到最小w a n g 和t s a u r 1 5 】以整合最小模糊性准则和经典最小二乘 回归为目的提出了模糊最小二乘回归分析c h a n g 3 1 以整合模糊性和随机性为目的，提出了混合 ( h y b r i d ) 回归分析模型，利用加权模糊算术( w e i g h t e df u z z ya r i t h m e t i c ) 和最小二乘拟合准则，对 三角模糊回归系数给出了最小二乘估计该方法有以下几个优点：一是当数据的模糊性下降时， 由该模型得到的结果接近于经典回归的结果，当所有数据退化为确定数据时，其结果与经典回归 一样；二是经典回归中的可靠性度量是混合回归的可靠性的杵殊情形；三是混合回归比其他模糊 回归有更好的预测能力；四是对于回归涉及的模糊数而言，混合模糊最小二乘回归分析和混合可 靠性分析是一个完整的方法；五是该方法可以推广到非线性模糊回归情形x u l l 7 1 利用模糊数空 间上的某中距离对正态模糊数回归系数给出了最小二乘估计魏 l8 l 用非对称指数型模糊数之间 的某种距离和的最小二乘法研究了模糊多元线性回归模型 n g , t h e r 1 9 ，1 4 1 等人建立了模糊随机 变量的线性回归模型并讨论了该模型的最小二乘估计 上述方法有一些共同的缺陷，那就是：( 1 ) 回归系数是模糊敬( 多数为三角模糊数) ，结果是 估预测值的宽( s p r e a d ) 在很大程度上随着观测值数量的增加而变宽( 即使当观测值的宽下降时， 它仍会变宽) ；( 2 ) 当试验数据中混入异常值时，这些方法的稳健性较差，导致预测能力下降基于 此，k a o 和c h y u 7 ，w u 2 0 1 以扩张原理为基础，在c h e m k l e i n 2 1 】的秩模糊数( r a n k i n gf u z z y n u m b e r s ) 方法上，构造了残差平方和的隶属函数( 是回归系数的函数) ，并通过非线性规划方法使 其达到最小他提出的方法克服了以上缺陷，而且更为重要的一点是，当所有模糊观测值退化为 1 时( o n ep o m t ) ，现有的模糊最小二乘回归方法仍产生的是模糊回归系数，而他的方法就退化为经 典最b - - 乘法 k a o 和l m 2 2 ) 将模糊数分解为位置和用模糊熵度量的模糊性两部分，建立了基 宁夏大学硕士学位论文 梁艳：模糊线性回归模型的参数求解 3 于熵的模糊线性回归模型，该模型可以克服上述第一个缺陷c h a n g 和l e e 【2 3 l 建立了模糊加权 最b - - 乘回归模型，其中输入值是精确的，回归系数和输出值是l r 型模糊数，模糊参数的估计 是通过对模型中心和宽分别进行加权最b - 乘而得到的该方法的优点是建立模型时考虑了决策 者对数据的置信度从而减小了异常值的影响c h e n 2 4 1 还讨论了模糊线性回归模型中的异常值检 测问题 i ! 上是求解模糊回归模型参数的两种主要方法除此以外，还有遗传算法、二次规划法、支撑 向量机法和非参数方法等等例如，w a t a d a 和y a b u u c h i 2 5 利用超椭圆函数建立了稳健模糊线 性回归模型，考虑精确输入与模糊输出，采用遗传算法求解模糊参数n a s r a b a d i 2 6 利用d u b o i s 和p r a d e 2 7 提出的两个模糊数相等的可能性概念定义模糊线性回归模型的拟合度并提出了求解模 糊参数的二次规划方法，其中模糊参数为对称模糊数c h e n 2 8 】提出了基于秩的二次模糊回归模 型，也采用二次规划法求解模糊参数c h e n g 和l e e 2 9 利用k - n n 光滑和核光滑技术建立了非 参数模糊回归模型，其中模糊参数为对称三角模糊数，该模型不受回归函数形式的限锎，可以有 效地解决非线性模糊回归模型中的参数估计问题h o n g 和h w a n g 3 0 ，3 1 ，3 2 】利用支撑向量机理 论建立了模糊支撑向量回归模型，其中模糊数为三角模糊数 综上所述，我们可以得出以下几点结论：( 1 ) 模糊回归方法较多，但是没能形成一个完善的 理论及应用体系；( 2 ) 多数模糊回归方法只考愆精确输入，模糊输出的情况，未能考虑模糊输入、 模朔输出及模糊系数的情况；( 3 ) 大部分模糊回归模型只考虑三角模糊数这种特殊情况，( 4 ) 模 型的稳老眭问题仍然未能较好地解决 1 3本文主要工作及安排 本文主要针对l r 一型模糊数讨论模糊线性回归模型的参数求解方法以及模型的稳健性问题 文章首先分析了模糊回归分析的发展现状，然后针对l r - 型模糊数建立模糊线性回归模型并给出 相应模型性能评价方法接着讨论了该模型的参数求镪问题，提出了最小二乘法、加权最小二乘 法、线性规划法二次规划法以及支撑向量机法 最小二乘法是经典最小二乘法在模糊线性回归中的自然扩张，当观测模糊数据退化为精确数 据时，模糊线性回归模型的最小二乘估计就退化为经典的最小二乘估计；加权最小二乘法充分考 虑决策者对训练数据的置信度，通过对观测数据设置中心、左右权重，逐步迭代更新来弥补最小 二乘法对观测数据同等对待这一缺陷，从而提高模型的性能，减小异常值的影响；线性规划法将已 有的方法推广到更一般的l i t - 型模糊数，采用极小模糊性作为拟合准则，具有一定的顼测能力， 但遗憾的是模型的模糊宽随着数据的增多而变宽；二次规划法采用二次函数作为目标函数，弥补 了线性规划法的不足，尤其是q p 2 ，通过设置权重来平衡模型中心误差和模糊宽，再结合置信度， 可以满足不同工作者对模型的要求，具有很好的应用性；支撑向量机法利用支撑向量机理沦来求 解模糊回归参数，虽然拟合效果不是很理想，但对于求解模糊线性回归模型的参致来讲，还是有 其可取之趾的； 另外，考虑到试验数据中经常会混入异常值，此时，上述方法将不够稳健针对这种情况， 本文提出基于指数型距离的最j 、- - 乘法以及中心稳健线性规期法前者首先定义了一个指数型距 宁夏大学硕士学位论文采艳：模糊线性回归模型的参数求解4 离，然后将回归参数的估计转化为求解一个无约束最优化问题，其稳健性取决于指数型距离中常 数b 的选择，数值试验表明，当b 在0 1 与0 3 之间取值时，所得模型稳健性较好i 当b 趋近于 零时，由该方法求得的模糊回归参数将退化为d i a m o n d 等人提出的最小二乘估计后者利用稳健 统计中稳健回归的思想，将参数估计分为两步：第_ 步，利用稳健回归方法，得到模糊回归参数的 中心估计；第二步，利用上一步得到的结果，极小化参数的总含糊度，从而得到模糊回归参数的左 宽和右宽数值试验表明，这种方法的稳健性也是不错的， 本文第二章针对l r - 型模糊数建立模期线性回归模型并给出相应模型性能评价方法；第三章 讨论模糊线性回归模型参数估计的最小二乘法；第四章讨论模糊线性回归模型参数估计的数学规 划法；第五章讨论模糊线性回归模型参数估计的支撵向量机法；第六章讨论模糊线性回归模型的 稳健化方法；第七章总结全文 第二章模糊线性回归模型 模糊数是进行模糊回归理论研究的基本工具之一根据隶属函数的不同。模糊数可以分为三 角型模糊数、梯形模糊数，指数型模糊数等等其中大多数模糊数都可以用l r - 型模糊数来表 示它是一种比较方便实用的模糊数据类型1 3 3 】因此，本交只考虑l r - 型模糊数并以此为基础 建立模糊线性回归模型 2 1l i ：l - 型模糊数 模糊数是进行模糊数据分析的基础令留= ( 一0 0 ，o o ) ，刃+ = 0 ，o o ) 定义2 1 1 1 3 4 ，3 5 实数域留上的模糊集j 称为一个模糊数，a 具有隶属函数t ：夕- 【0 ，l 】 若磺足； ( 1 ) 存在x 0 席，使p ( ：v o ) = 1 ， ( 2 ) 任意口【0 ，l 】，l 。= p ( z ) n 是一个闭区间 一个模糊数a 的隶属函数可以描述为 弘( z ) 0 ，z d 1 ， ，扫：o l z c ，卢 0 ， 则称又是l r - 墅模糊数其中c 叫做贾的中心( 或均值) ，和8 分别叫做贾的左、右宽( 或散 布) 并约定n = 卢= 0 时，l r 型模糊数退化为普通实数，即( c ，0 ，0 ) = c 为行文方便，我f f l i b 戈= ( z ，x ，x 8 ) l r 其中，z 表示嘉的中心，x l 表示j 的左宽，x r 表示盅的右宽记多上所有l r - 型模糊数的集合为玩r ( 通常l r - 型模糊数的运算如下： 设丘= 扣，x ，x r ) l 丑，矿= ( ”，y l ，y r ) l 月y l 凡( 刀) ，则 ( 1 )一贾= ( 一z ，x 工，x 只) l r ； 2 ) 爻4 - 覃= b + v ，x l + y l ，x r + y r ) l a f 3 ) 戈p = ( z 一分，x 。+ y 。，x 8 + y 8 ) c 只； ( 4 ) ，x = ( ，i t l x ，i , i x 8 ) l r ，t 印 1 5 ) 戈p = ( 2 ，川l 。4 - m x ，l “4 - l y l x 8 ) l 月 定义2 1 3 1 3 7 定义l r - 型模糊数贾的2 范数| | 贾1 1 2 ： | | 膏惦= 2 + 1 2 ( x 。) 2 十r 2 ( x r ) 2 2 1 1 x x l + 2 r l x r ， 其中1 2 = j 1 詹j 五一1 ( a ) 1 2d 。，j - = 詹il - i ( n ) fd a ，r 2 = ；詹jr t ( n ) l ：d a ，r 。= 詹ir - 1 ( m ) i d a ， 例2 若贾是一个对称三角模糊数，则i i = n = i i ，f 2 = n = ；若贾是一个对称指数型模糊 数，则z l = n = 字，f 2 = r 2 = ；， 定义2 1 4 1 3 7 定义两个l r - 型模糊数之间的距离如下：设贾= f 。，x 。，x 8 ) l r ，p = ( 玑y ，y 8 ) l r 玩r ( 驴) ，则 d i r ( 霄，p ) =( z 一妒) 2 十如( x l y ) 2 + r 2 ( x r y r ) 2 2 h ( z y ) ( x l y ) + 2 r l ( 一y ) ( x r y 8 ) ( 2 1 1 ) 定义2 1 5 定义两个l i t - 型模糊数 = ( 口，a ，a 8 ) l 片，亩= ( 6 ，b ，b “) l r 的内积为 五，亩) = ( a b ，l a l b + f b l a 二，f n b r + i6 f r ) l 片 定义2 1 6 称 五= ( 五一，五。) 宁夏大学硕士学位论文粱艳：模糊线性回归模型的参数隶解 7 为模糊向量其中 “= 1 ，n 为模糊数特别地，若石。= ( 口i ，且，一? ) l r 玩r ( 留) ，z = 1 ，n ， 则称a 为l r - 型模糊向量，记作 a = ( 直，j 。) - ( a ，a ，a 8 ) l r ， 其中a = ( 口i ，一，a n ) 7 ，a = ( ，a 鲁) ，a 8 = ( a f ，a 嚣) 定义2 1 7 定义l r - 型模糊向量a = ( 五l ，五。) = ( a ，a 。，a 8 ) l 和直= ( 啻l ，亩。) = ( b ，日o ，b 8 ) r 的内积为 ( ，后) = l ，亩1 ) + - + a 。，雪。)( 2 1 2 ) = ( a 1 3 ，1 a f 。b + f b r a 。，i a i b 8 十j b l a 8 ) l r ， 其中i a i ：( 陋i ，一一，i o 。i b i = ( 1 6 l i ，1 6 。i ) 7 定义2 1 8 定义l r - 型模糊向量a 的2 范数 l ；五i | ；= a a + f 2 a 上) a + r 2 ( a 8 ) a r 一2 f l a a 。+ 2 r 1 a a 尺( 2 13 ) 2 2 模糊线性回归模型 模糊回归模型可以表示为 p = f ( k m ( 22 1 ) 其中贾是模糊输入( 也可以是精确输入x ) ，p 是模糊输出( 也可以是精确输出y ) ，a 是模糊回归 参数，f ( ) 是一个回归函数如果f 是x 的线性函数，则称( 221 ) 为模糊线性回归模型；如 果f 是非线性的，则称( 2 2 1 1 为模糊非线性回归模型 模糊线性回归模型形式比较简单，根据输入向量或输出向量是模糊数季是精确效- 可以分为 以下三种：( 1 ) 模糊输入x 和模糊输出y ，( 2 ) 精确输入x 和模糊输出y ：( 3 ) 精确输入x 和精确 输出l ， 下面我们针对这三种情况，分别建立模糊线性回归模型( 以下如无特殊说明，总假设所有模糊 数的( 和r ) 函数均相同且模糊数的中心均大于或等于零) 情形1 假定( 爻，重) 的一个训练数据集为 ( 贾：，只) ； = l ，2 ，n ) ，其中定= ( 贾n 贾m ，j 。，) ，毛= ( ，x j ，砑) r ，e = ( 扎平，妒) l r 可建立如下模糊线性回归模 型 其中丑，= o ，1 ，一- ，m 是回归参数记丑= ( d j ，鹫，a 笋) l a ，= 0 ，1 ，m ，则冯的隶属函数为 b ，= il ( ( a j - x , ) a j ) , ，圣三笔魏 童圣查兰堡圭兰堡垒塞篓丝；丝塑垡丝堡塑堡皇篁垄墼童堡8 记置= ( 置，x ，x i r ) ，五= ( a ，a 。，a 8 ) ，其中 j = ( i ，黾1 如2 ，t m ) ， 砰= ( o ，x ，工矗，一，x 岛) 砑= ( o ，爿是，瑚，x 曼) a = ( a o ，a i ，a 。) ， a = 肖，a ， 量) ， a “= ( 且g ，4 7 ，a 景) 应用扩张原理，估计输出+ 的隶属函数可以表示为 fl ( 再可牟青手尚口毕) t a x z 一 ( a ) i x t i + i 4 i x 一玑兰x t ， p o ( 玑) = r ( 布可节云) ， a k 玑a 墨+ 【( 4 冠) i x - i + i a i x 0 1 ， 【0 ， 其它i = 1 ，2 ，m 其中a x ；是z 的中心，( a 。) i x ，l + i a i x 和( 8 ) i x ，f + i a i x ，分别是口的左宽和右宽 f x ：i = ( 1 ，k l l ，h 2 i ，b 。i a = ( i d o i ，| 4 。f ，i a 。旷此时估计方程为 其中 露= a o + 囊j 丘1 + - + l m 膏，仇 = ( 。，a ，a 孑) 十( 。l ，j 4 ， # ) ( z 。- x 鼻，x 等) + r + ( n 胤，a 幺，a 景) ( m ，x ，x 磊) = ( a ：，( 4 上) i x 。i + i a i 工产，f 4 “) x ，i + i a i x ，) l r ，i = 1 ，2 ，n 将( 2 2 2 ) 用矩阵形式表示，则有 t = ( x a ，i x l 4 + x 。i a i ， x l a 8 + x 8 i a i ) 叠= ( y ，y 。，y “) y = ( 虮y ，“，y = ( 砰，吁，埒) ，y “= ( y r ，垮，l 管) x = x l ： 1 2 z 2 2 7 l m z 2 m 1 n l z n 2 z n m 0 x 矗x 是 0 磁x 易 x x 矗 0x x x i m xj = x 丑= l t l 2 i z 2 2 忙l 仇 i z 2 m l i 。l if 。2 i k 。 0 x 是x 是 0 x 墨磷 0 x 矗x r 2 x r m x 磊 q 现 l l 宁夏大学硕士学位论文粱艳：模糊线性回归模型的参数隶解 9 情形2 假定( x ，t ) 的一个训练数据集为“五，或) ，i = 1 ，2 ，n ) ，其中t = ( 玑，k ，妒) l r 可建立如下模糊线性回归模型( 假定x 。20 ) z = 盂+ 五l 孔i + rr + 五仉? ，m ，f = l ，2 ，n ( 2 2 3 ) 此时估计输出曰的隶属函数为 f 工( ( j 4 k 一玑) ( a l ) i x ；i ) ， a 。k 一( 4 工) i x ；is 玑a 。l ， 肛e ( 玑) = r ( ( 玑一x ；) ( a 冠) i x 。f ) ， a x 。 玑x 。+ ( a r ) i x ，i ， 【0 ， 其它 f ：l ，一，n ， 其中a 五是口的中心，( a ) i x , | 和8 ) i x , 1 分别是印的左宽和右宽估计方程为 露= o + 五l 茹。l + + 五m z ；m = ( o o ，a * o ，a o r ) l r + ( 1 ，a ，a i r ) l r x 。l + + ( 口m ，a 墨，a r m ) l r z 。t ，l =( a 置，( a l ) f x ；f ，( a 月) i x 。i ) r 将( 223 ) 用矩阵形式表示，则有： t = ( x a ，：x ( a 2 ，f x f 4 8 ， 情形3 假定( x ，y ) 的一个训练数据集为( ( 五，玑) ，t = 1 ，2 ，n 1 可建立如f 模糊线性回归 模型( 假定z 。0 ) k = 五o + l z ，l + _ m z ，= t ，2 ，几( 224 ) 虽然观删输出是精确的，但由于系统结构是模糊的，所以估计输出也是模糊的此时估计输出及 估计方程和第二种情况的估计输出及估计方程相同 显然，( 2 2 3 ) 和( 2 2 4 ) 是( 2 2 2 ) 的特殊情况此外，如果输入向量、输出向量以及回归系 数都是精确数，则( 2 2 2 ) 、( 2 。23 ) ( 22 4 ) 就遏化为经典线陛回归模型 2 3模糊线性回归模型的性能评价 模糊回归模型的性能评价主要有以f 三种； ( 1 ) 各观测值玑对模型的隶属度p t ( 玑) ，一般认为各p 克( 9 t ) 的值如果都大于0 5 ，就认为是 比较好的拟合 ( 2 ) 各估计值的中心值和观测值玑的相对偏差 。：堕! 二蛆 t ( 3 ) 模糊幅度对观测值玑的比 。：盥望! 宁夏大学硕士学位论文粱艳：模糊线性回归模型的参数求解 1 0 后两个比值如果都在3 0 以内，一般认为拟合是可以接受的 以上评价指标主要适用于模型( 2 2 3 ) 和( 2 2 4 ) 对模型( 2 2 2 ) 将无法度量 下评价指标 也= 急j s 9 , 黜糕，) p e t 2 j 0 2 十j 酬幺) p 幺l o j 吡 为此我们提出如 ( 23 1 ) 矿= 以， ( 2 3 2 ) 1 = i 其中或是观测值，幺是估计值，s ( e ) 和s ( 冀) 是e 和t 的支撑向表示p r ( z ) 和不重 合部分的面积与p 只( ) 和的面积之和的比因此，0 口t 1 ，0 兰咖sn 越小，说明拟合 越好一般来说，如果，则拟合是可以接受的 模糊回归分析的主要问题是参数估计问题在下面的章节中，我们将用不同的方法来讨论模 型( 2 2 2 ) 、( 2 2 3 ) 和( 2 2 4 ) 的参数估计问题并分析其性能 第三章模糊线性回9 三i 模型参数估计的最小二乘法 在经典回归分析中，估计回归参数的最基本方法是最小二乘法这个方法不仅仅在统计学 中，就是在数学的其它分支，如运筹学、计算数学、逼近论和控制论等，都是很重要的求解方 法本章第一节首先回顾经典线性回归的最小二乘估计，第二节讨论模糊线性回归模型( 22 2 ) 及 ( 2 23 ) 的最小二乘估计。第三节讨论加权最小二乘估计，第四节通过数值模拟说明本章所提方法 的特点， 3 1 线性回归模型的最小二乘估计 经典的线性回归模型为 m y = 廓+ 巧岛= x 卢 j 2 l 其中x = ( 。，z ”，r 。) 是m 维输入向鼍， 7 是预测输出，b o ，历，口。，是待估计的未知参 数给定( x ， 7 ) t 拘- 4 - i ；l l数据集 ( x ，玑) ，t = 1 ，2 ，n ) 其中置= ( l ， 2 ， ，。) 它们 满足 肌= 岛+ z t l 卢l + + zm 卢，。+ e ” z = 1 ， ，n ，( 3 1 1 ) 误差项e 。，4 = 1 ，n 满足g s s - m a r k o v 假设： e ( e 。) = o ，c o v ( e ；) = 口2 ， 若用矩阵形式表示，则有： y = x p + e ，e ( e ) = 0 ，c o v ( e ) = 0 - 2 i 。 其中x 2 z 1 2 z 2 2 z 1 m z 2 m y = ( 1 耽 p = ( 风口l e = ( e l 旬 ) 如) e 。) 为了用模型( 3 1 1 ) 拟合训练数据，首先要对未知参数卢和c r 2 进行估计，估计参数芦的一个 重要方法是最小二乘法， 定义3 1 t a s 对于线性模型