（应用数学专业论文）关于模糊算子的研究.pdf

四川大学博十学位论文 摘要 关于模糊算子的研究 应用数学专业 研究生 胡世凯 指导教师 刘应明 院士/ 教授 李中夫 教授 本文主题是研究三角模的神经网络模型， 以及三角模的推广形式一 统一模 及其相关蕴含算子的性质和结构， 为模糊聚合算子在理论研究和应用方面提供 新的方法. 本文设计了一种连续三角模的神经网络模型， 它能用来实施所有的连续三 角模运算， 给出了可以用来调整连续三角模的神经网络学习算法， 并证明了关于 该算法的收敛性定理. 我们还提出了连续三角模的一种使用较少参数的近似表 示 给出了利用它来调整三角模的学习算法. 这些方法有助于模糊逻辑与神经网 络方法的融合， 以及模糊算子选取问题的解决， 对统 一 和推广三角模和几角余模的重要模糊算子一 统一模的性质和结构 进行了系 统研究. 特别是 证明了 在o , 1 2 上连续的 统一 模只能是 三角 模或 三角 余 模、 以及( o . 1 ) 2 内的连续统一模都可以用一个一元严格单调函数和一个三角模 来表示， 并给出了具体表达式， 从而得到了连续统一模结构的相当完整的刻划， 此外， 还证明了严格单调的统一模都可以用一个一元的严格单调连续函数和加 法来表示， 同时证明了阿基米德统一模与严格统一模的等价性. 对基于统一模构建的模糊蕴含算子的性质和结构进行了系统研究. 给出了 基于连续统一模的r蕴含算子和s蕴含算子的结构表达式， 得到了它们的公理 化定义， 以及它们具有相同表达式的充要条件. 关键词 三角模， 统一模， 蕴含算子， 模糊算子， 神经网络 -i - 四川人学博士学位论文 ab s t r a c t t h e s t u d y o f f u z z y a g g r e g a t i o n o p e r a t o r s ma j o r : a p p l ie d m a th e m a t i c wr i t e r : s h i - k a i h u s u p e r v i s o r : y i n g - mi n g l i u 把三角模作为一些自 然函数方程的解， 产生了很多含参三角模簇 3 4 .4 4 关于三角模的发展， 己经有很好的综述文章， 如 d u b o i s 和p r a d e 在文献 2 6 中综述总结了1 9 9 1 年前的成就， k l e m e n t 在书 4 4 中 对三角模的研究情况作了详细的介绍. 在处理具体应用问题时， 如何从无穷多个连续的三角模或三角余模中选取 与经验数据相匹配的算子， 是一个十分重要但又非常困难的问题. 在应用中选取 不同的算子往往会导致很不相同的结果 6 6 1 . 很多学者对如何选取适当的三角模 一 1 一 四川人学博十学位论文 的问题作过研究， 如e s k i l 等人 1 4 . 2 8 . 2 9 , 9 1 讨论过在某些特定的含参三角模簇中 根据经验数据来选取三角模算子的方法， 李中夫教授 9 5 针对一般连续三角模提 出了 一 种选取模糊集并交算子的方法， b e l l a k o v 等人 1 2 , 13 . 5 9 1 研究了阿基米德三 角模的选取方法等等. 模糊逻辑与神经网络的结合作为实现机器智能的关键技术之一， 是 一 个重 要的研究方向、 其中如何建立可实施模糊逻辑运算的人工神经网络是一个重要 研究内容. 共角模在模糊逻辑运算中具有特殊重要的地位， 现在文献中普遍使用 的是对应于固定任角模的模糊神经元 3 5 , 3 8 1 ， 无法对运算进行调整. 设计一个能 用来实施通用的连续三角模运算的神经网络并给出其调整算法， 无疑是一个很 有意义的研究课题. 这正是本文第二章的研究内容. 本文第三章提出一 种用较少参数近似表示连续三角模的方法， 并给出利用 它来调整连续三角模的学习算法 为了满足应用需要， 很多学者考虑到削弱三角模的条件来推广它们 例 如 ，m i z u m o t o 在文 5 6 中去掉结合性的条件， 引入了 准三角模的 概念;y a g e r 在 他的一系列文章 7 9 , 8 2 , 8 5 1 中讨论了袋映射及其特例如ma m,mo m和mi c a 等等 . 在这些推广中 ， 特别值得注意的是1 9 %年y a g e r 8 3 1 提出的统一模 ( u n i n o r m ) 概念.它把 t 模和 t 余模统一了起来， 吸引了很多学者对它进 行研究. 例如在理论方面， m e s i a r 5 5 讨论它作为交换半群在代数方面的性 质， 在基于t 模的积分中f o d o r 3 3 1 证明了统一模起着一个“ 乘积” 运算的作 用 ，b a e t s ,m o n s e r r a t ,c a l v o 和m a s 等 讨论了 满足 某种 特殊条件下的 统 一模的 性 质 与 结 构x7 .9 , 18 ,井 4 6 , 5 0 , 5 1 , 5 2 , 5 7 , 6 1. 7 3 .8 4 1 ， 李 永明 教 授 等还 研究了 统一 模的 更 广 泛 形 式 一弱统一模 4 5 , 8 6 j . 在应用方面，y a g e : 等讨论了 在模糊系统建模和多因素决策过 程中的应用 6 2 , 8 0 , 8 1 , 8 8 1 , a t h a n a s i o s 等 (4 ,6 证明了七十年代中期斯坦福大学建立 的第一个成功处理不确定或不完整信息推理的医疗专家系统my c i n中使用的 确定性因子处理函数即为统一模. 在模糊逻辑理论与应用中， 连续性是一个很重要的特性 深入研究连续统一 模的性质和结构， 显然是很有意义的课题. 这正是本文的第四章的研究内容. 一2一 四川人学博十学位论文 模糊蕴含算子是模糊逻辑推理的核心内容. 现在研究最多的模糊蕴含算子 是基于t 模的r蕴含算子和基于t 余模的s蕴含算子 2 1 ,2 4 , 3 2 , 7 0 , 7 7 1 . 由于统一模 是t 模和t 余模的自然推广， 可以构建基于统一模的r蕴含算子和s蕴含算子 15 1 ， 将为模糊推理和模糊逻辑等领域的研究提供新的思路. 另一方面， 在不同的应用中， r蕴含算子和s蕴含算子的效果往往差异较大 3 0 1 . 如果算子既是r蕴含算子又是5蕴含算子就可以避免这一问题. 对于连续 狡角模， 仅当: 几 角模同构 于l u k a s i e w i c z 三角模时， r蕴含算子和 .s 蕴含算子在形 式上 一 致 16 5 1后来,f o d o r l? 1 1 提出一类新的左连续 二 角模， 使得二者具有相同表 达式. 我们将本文第五章中研究基 于 统一 模的r蕴含算子和s蕴含算子的性质和 结构以及这两类蕴含算子具有相同表达式的条件. 具体而言， 全文内容安排如下 : 第 一 章， 三角模的概念及其性质 作为全文的预备知识. 我们将在本章给出三角模的概念及其一些重要性质， 特别是连续三角模的有关性质. 第二章， 连续三角模神经网络模型 本章我们设计了一种连续三角模的神经网络模型， 它能用来实施所有的连 续三角模运算 给出了可以用来调整连续三角模的神经网络学习算法， 并证明了 关于该算法的收敛性定理. 这有助于模糊逻辑与神经网络方法的融合， 以及模糊 算子选取问题的解决. 第三章，用分段线性函数近似表示连续三角模 本章我们提出了连续三角模的一种使用较少参数的近似表示方法. 在要求 精度较高的情形下， 第二章给出的神经网络模型可能涉及到较多参数 我们证明 了由单调分段线性函数生成的阿基米德三角模是连续三角模的一类通用逼近器. 在此基础上将确定三角模的问题转化为一个混合不等式组， 并设计了一个神经 元及其学习算法来解这一不等式组. 一3_ 四川人学博十学位论文 第四章， 统一模性质和结构研究 本章对统 一 和推广三角模和三角余模的重要模糊算子一 统一模的性质和 结构进行了系统研究. 本文证明了 在0 , 1 2 上连续的统一模只能是t 模或t 余模， 在( 。1 ) 2 内连续的统一模都可以用一个一元严格单调函数和一个三角模表示， 并给出了 具体表达式， 从而得到了连续统一模结构的相当完整的刻划. 此外， 还 证明了 严格单调的统一模都可以用一个一元严格单调函数和加法来表示 同时 证明了阿基米德统 一 模与严格统 一 模的等价性. 第五章， 基于统一模的蕴含算子的性质和结构研究 本章对基于统 一 模构建的模糊蕴含算子的性质和结构进行了系统研究， 给 出了基于连续统一模的r蕴含算子和s蕴含算子的结构表达式， 对这两类新蕴 含算子进行了公理化刻划， 在此基础上得到了一个它们具有相同表达式的充要 条件， 并且给出了这 一 表达式的构造方法. 一4_ 四 川 大 一鉴 a上 全(fi c c一一一一一一一一一一一 第一章三角模 _ 角模通常是指t 模及其对偶的t 余模， 它们分别是区间 0 , 1 上满足交换 性， 单调性， 结合性和有单 位元1 与。 的二元映射. 它最初是1 9 4 2 年m e n g e r 5 4 1 在研究统计度量时引入数学领域的， 后来 s c h w e i z e r 和 s k l a r 在研究概率度量空 间时加以发展 6 3 , 6 4 1随着其应用领域的扩大， 许多学者对三角模的性质与结构 进行了进一步研究， 主要沿着函数方程和交换半群两个相当独立的方向进行. 在 函数方程方面, 1 9 6 2 年a c z e l 的单行本 i l l 对三角模的发展产生过重要影响.l i n g 在1 9 6 5 年使用可加生成元对连续阿基米德( a r c h i m e d e a n ) 三角模进行了 完全刻 划14 7 1 . 把三角模作为一些自 然函数方程的解， 产生了很多含参三角模簇. 其中， 最出名的是f r a n k t 模和t 余模是f r a n k 方程的唯一 解 3 4 1 . 在交换半群方面， 借 助于半群理论中有序和( o r d i n a l s u m ) 的概念 6 3 1 ， 可以由几个简单的三角模“ 原 型” 构造出所有连续三角模( 连续t 模由tm, t r 和t l 产生;非连续t 模如t d , 其分类现在并未清楚) . 此外， 李中夫和刘应明教授证明了连续三角模可以用单 个一元单调函数与加法的复合函数来近似表示 9 4 1 . 关于三角模的发展， 已经 有很好的综述文章， 如d u b o i s 和p r a d e 在文献 2 6 中综述总结了1 9 9 1 年前的成 就;k l e m e n t 在书 4 4 1 中对三角模的研究情况作了详细的介绍. 现在， 三角模在分 布函数， 聚合算子， 模糊集理论， 模糊逻辑理论和一般量度与积分等领域中都占 有重要的地位 1 7 . 4 4 . 5 3 . 7 5 本章内容作为全文的预备知识， 分为两小节. 第一小节给出了三角模的定义 及其相关概念， 列举了四对三角模 原 型” 及其性质; 第二小节讨论了连续三角 模的性质， 给出了儿类常见的含参三角模簇以及连续三角模近似表示方面的一 些结论. 1 . 1三角模的概念 定义1 . 1 . 1二 元函数(p ; 0 , 1 1 2 、0 , 1 1 称为t 模， 如果它满足: () 交换性: ,p ( a , b ) = p ( b , 。 ) ， h a , b 0 , 1 1 一5一 v 9 1 ii 1 , 5 w -+ l 竺生乞一一一一一一一一一一一 ( 2 ) 单 调 性: ,p ( a . b ) ,p ( c , b ) , v a , b , c 0 , 1 , a s ( 1 : 1 , -1 7 2 , 二 。 )= t ( x i , t ( x 2 , t ( 二， t ( x- 1 , x . ) ) ) ) .: 二 )= s ( x i , s ( x 2 , s ( . . . ， s ( x ， 一 1 ， 二 。 ) ) ) ) 结合单位元， 交换性和单调性， 可以得到: t ( 1 , 0 )=t ( 0 , 1 ) =t ( 0 , 0 ) 二0 , t ( 1 , 1 ) =1 s ( 1 , 1 )=s ( 0 , 1 ) =s ( 1 , 0 ) =1 , s ( 0 , 0 ) =0 它们说明t 模和 t 余模分别是经典集合中a nd和 o r运算的推广. 定 义1 . 1 .2否定算子。 是 指映 射。 : 0 , 1 。 0 , 1 ， 它单调减少且满足n ( 0 ) =1 和n ( 1 ) =0 . 否定 算子n 称为 是强否定 算子 ， 如果n ( n ( x ) ) 二x , h x e 0 , 1 . 易 证， 强 否定 算子是严格减少函数， 特别地， 我们称否定算子峨x ) =1 一 x 为标准否定算子. 若无特别说明， 后面 使用的否定算子均采用标准否定算子. 一6一 四川大学博十学位论文 定义 1 . 1 .3对 t 模 t ,t 余模 s和强否定算子n ， 如果 s ( x , y ) =r t ( t ( n ( :r ) . n ( y ) ) ) , t ( x , y ) =n ( s ( n ( x ) , n ( y ) ) ) 称 t和 s关于强否定算子 ， ， 对偶 如果， ; 是标准否定算子， 我们就简称表达式中的t和 s相互对偶 下面是四对最基本的t 模与t 余模及其简单性质: 1 . 取小取大算子二 t iv ( x , 妇二二 : 城x , 功与s m ( 二 ， 妇二二 a 以二 ， 妇 t ， 和s ti , 是唯- 一对 满足t ( x , x ) = x 和s ( x , x ) = x ( h x e 0 , 1 ) 的 三角 模 算子， 同时， t a ， 是最强的艺 模， s .1 f 是最弱的t 余模， 即 t ( x , y ) 7 n z n ( 二 ， y ) ; m a x ( x , y ) s ( x , y ) 2概率积与概率 和算子: t r, ( x , y ) = x y 和s p ( x , y ) = x + y 一 x y t p 和s p具有连续的( 偏) 导函数， 具有很好的“ 光滑性” ， 是严格阿基米德 ( a r c h i m e d e a n ) = . 角模的 。 原型 ， ， 、 或者说， 任何严格阿基米德三角模都与概率积 ( 和) 算子同构. 3 . l u k a s i e w i c z 算子:几( x , 1l ) =m a x ( x +y 一1 , 0 ) 和s l ( 二 ， y ) =m i n ( x +y , 1 ) 几和s : 分别满足经典逻辑的无矛盾律( n o n - c o n t r a d i c t i o n ) t ( 二 ， 0 ) =0 和排 中 律( e x c l u d e d m i d d le ) s ( x , 1 、 二1 ， 是非严格阿 基米德三角模的“ 原型 ” ， 或者 说， 任何非严格阿基米德三角模都与l u k a s i e w i c z 算子同构. 勺.， 日n曰 4 .d r a s t i c 算子: t d ( x , i f y=1 i f x =1 ,; 与( x , y ) o t h e r wi s e i f y = i f x= x百11 了.j、.、 一- 几 和s d是按公理要求使其取值只能为0 或 1 ， 它们不连续， o t h e r wi s e . 并且 t d是最 了岁0 了!.! 一一 、lr 夕 一7_ 四川人学博士学位论文 弱的t 模，, s d是最强的t 余模， 即 t ( 二 ， y ) ? t d ( x , y ) , s ( x , y ) s s d ( x , y ) 综合上述算子及其相关性质， 叮以得到: t d ( 二!/)g t l ( x , y ) g t p ( 二 ， y ) - t m ( x , y ) s a l ( x , ， ) s p ( x , y ) _ s l ( x , y ) _ s d ( x , ， ) 1 .2连续三角模 如果二元函数f关于每个变量都单调增加， 根据数学分析中的结论， 函数尸 连 续的 充 要条 件是 对 任意的二 。 . 。 。 e 0 , 1 ， 一 元函 数f ( - o , y ) 和f ( x , y o ) 在0 , 1 上连续. 结合到交换性， 三角模的连续性等价于它们关于第一变元的连续性. 1 . 2， 阿基米德三角模 定义 定义 ( 0 , i ) 1 .2 . 1 阿基米德t 模是指一个t 模t ， 它是连续的 ， 且t ( x , x ) x , b x e ( 0 , 1 ) . 1 .2 .2严格t 模是指一 个t 模t ， 它是连续的， 且t ( x , y ) t ( x , z ) , h x e ， y 乙 显然， 所有严格t 模都满足阿基米德条件， 定义1 .2 .3幂零( n i l p o t e n t ) t 模是指非严格的阿基米德t 模 阿基米德t 模是一类特殊的 连续t 模， l i n g 给出了 阿基米德t 模的表示定理， 证明了它可以表示为一个单调函数和加法的复合函数， 提供了一个构造大量阿 基米德t 模的方法. 定理 1 .2 . 1 使得f ( 1 ) 14 7 1 对于阿基米德t 模t ， 存在连续的 严格减函数f : 0 , 1 * 0 ， 十 cc , =0和 t ( 二 、 ) = f 一 i ( f ( - ) + f ( y ) )( 1 . 2 . 1 ) 一8一 四川人学博士学位论文 这里尸 一 1 ( x ) 是函 数f ( x ) 的 伪逆 ， 定 义为 t ( 二 . y 二 f ( y ) ) i f f ( x ) +f ( y ) f ( 0 ) , o t h e r wi s e . + t l ，广 了j甲0 廿!奇飞、 进 一 步 .t是严格的当 且仅当f ( o ) = + 0 o ， 即f i- 1 1 = f - 1 ; t是幂零的当fl 仅 当f ( 0 ) x ; 一 个t 余模s 称作是 严格的 ， 如果它是连 续的 ， 一且 对任意x e ( 0 , 1 ) 和y z 有s ( 二 ， y ) s ( x: ) . 显然， 所有严格t 余模都满足阿基米德条件， 如果 阿基米德t 余模是非严格的， 我们称它是幂零 t 余模. 定理 1 . 2 .2 使得9 ( 0 ) 对于阿基米德t 余模s ， 存在连续的严格增函数9 : 0 , 1 1 。 0 , + o o , = 0和 s ( 二 、 1l ) = 、 一 i ( 9 m + y ( y ) )( 1 . 2 . 2 ) 这里护 一 1 ( x ) 是a 数9 ( x ) 的 伪 逆， 定 义为 s ( 二 ， g ) g - t ( g ( - ) + g ( y ) ) 1 i f g ( x ) 十g ( y ) 0 ) ， 对 应的t 模 和t 余 模为 t p - ( :d . 。 ) s p ( 二 . 。 ) rraa x ( 1 一 ( 1 一 x )p + ( 1 一 。 ) p 岩 ， 0 ) n ai t? q x p + y p l 告 ， 1 ) 4 .s u g e n o - w e b e r 算子 : 生 成元为f p ( x ) = 1 - ( p一 1 , p h 0 ) ， 对 1 0一 四川人学博十学位论文 应的丈 模和 t 余模为: t s rrv ( :r s vs w ( 二 二max( x + y - 上pxy 1+ p = 二 二( x 十y + 那， ， 1 ) 洲川 5 .s c h w e i z e r - s k l a r 算 子生 成 元 为f v ( x ) = 告 ( 1 - x p ) , 对 应 的t 模 和t 余 模 为 s ( x , y )二 s ( 二 ， ! )= n aa j : (x v + y v 一 1 , 0 ) p, 1 一 m a x ( ( 1 一 二 )” + ( 1 一 。 ) ， 一 1 , 0 ) a 猎嗽 注 m i n 和m a x 算子不具有阿基米德性， 但是它们可以看成含参阿基米德三角模 的 特殊情况， 例如可以 看成p 、二的y a g e r 算子 1 . 2 .2一般的连续三角模 对 于 一 般的 连 续三角 模 ， 根 据m o s te r t 与s h ie ld s 的 结 果 ， 使用f r a n k s a t 给出 的有序和( o r d i n a l s u m s ) 的记 号， 下面定理成立 定理1 .2 .3 - i t为连续t 模的充要条件是存在 0 , 1 上的唯一一簇互不相交的 可数开 子区间集 ( n k , 瓜 ) i k e k 和一 簇 连续的 阿基 米德t 模 及j k e k 使得t为 有 序和 ( a k , o k , t o ) k e k ， 即 。 、 +( k n c i n ( x , y )- k ) t i ( 护ak 毛 ak. )dk - t n k - u k i f x , y e a k , o t h e r wi s e . 0 k , ( 1 .2 .3 ) 了.少、.、 一一 万 t 我们称这些开子区ih j ( a k , 3 k ) 是连续t 模t的生成区间，t k 称为t的与生成 区间( a k ,o k ) 对应的生成模. 如果存在以1 为右端点的生成区间， 记 为i 0 = ( a , i ) , 相应的生成模记为t o 对偶地， 可以得到与亡 模完全类似的结果 一1 1一 四川人学博 卜 学位论文 定理 1 .2 .4 s为连续t 余模的充要条件是存在 0 , 1 上的唯一簇互不相交的可 数开子区 间集 ( 。 * ， ， 钊) k e k 和 一 簇连续的 阿基米 德t 余模 s k j k e k 使得s 为 有 序和 ( 。 、 ， y k , s o i k e k ， 即 : 了.j.、.、 - 5 ( 二 ， y ) a k +( q k 一a k ) s k ( re l a x ( 二 ， ?/ ) i 一 ak 无一 ak i f 二 ， y 钊a k , 剐， o t h e r wi s e . ( 1 . 2 .4 ) 我们称这此? f r 区间( a k . 热) 为连续t 余模s的生成区间， 凡称为s的与 ( a k , d k ) 对应的生成模. 如果存在以0 为左端点的生成区间， 记 为j 0 二( o , /j ) ， 相 应的生成模记为.s o . 根据上述结论， 任意连续t ( 余) 模都可以用一簇阿基米德t ( 余) 模和取小( 大 ) 算子表示出来. 在这种意义上， 阿基米德三角模应当是最简单的连续三角模. 例1 .2 . 1 有序和t= ( 0 .2 , 0 .5 , 几) ， ( 0 .6 , 0 . 8 , 外) 对应的 连续t 模为: t ( x , y ) 0 .2 + m a x ( 二 + y 一 0 - 7 , 0 ) i f ( x , y ) e 0 . 2 , 0 .5 2 , 0 . 6 +5 ( 二 一0 .6 ) ( y 一 0 .6 ) i f ( x , y ) e 0 .6 , 0 . 8 2 , mi n ( x , y ) o t h e r w i s e . 了.j、.、 - 1 . 2 . 3连续三角模的近似表示 一般连续三角模可以用一簇连续阿基米德三角模的有序和来表示 但在实 际使用中并不方便， 因为要确定这簇区间和相应的生成模都很困难. 事实上， 在 模糊信息处理方面， 我们并不一定需要三角模的具体解析表达式， 李中夫和刘应 明教授证明了这一类多维问题可以经过近似归结为相当简单的一维问题， 定 理1 .2 .5 9 0 1 设t是 一个连续t 模， a二 a o , a , , . 二 ， a p , b= b , , ， 外 ， 。 ! a o b , a , b 2 b r, b i 件 f ( b a ) f ( b .i ) ( 1 .2 . 5 ) tt 了.，、.、 对 所 有的x ; a ( ; 二1 二， in ) , b ; e b (j =1 , . . . , 川成 立. 对偶地， 可以得到与t 模完全类似的结果: 定理1 .2 .6设s是一 个连续t 余模，,a二 a o , a l , . . . , a y , b二 b , , . . ， 外 0= a o b i a l b 2 . 二b y b , 件 x - ) g ( b ; ) , 夕 ( x i ) 夕 ( ， ) . ( 1 .2 . 6 ) 爪兄斋艺闺 s ( 二 ， ， 二 2 对 所有的二 ， e 州， 二1 . . . . . n t ) , b ; e b ( j =1 ， 川成立. 上述定理告诉我们: 如果在应用中， 隶属函数的值只须取到一定的精度. 因 而计算结果可以应用一个一元单调函数和加法来替代， 这将带来极大的便利， 因 为 不 仅 运算 简单 ， 而 且 数 据 存储 量小( 只 须 存 贮a o , a , , , . . , ，和 1 ,. ， 怖的 函 数 值) . 推论 1 .2 . 1 9 a 设t是一 个连续t 模， 格减函数f : 0 , 1 *0 , 1 ， 使得f ( 1 ) 那么， 对任意的正数: 都存在一个连续的严 =0 ， 且 it ( x , 、 ) 一 f 一 i ( f ( - ) +f ( y ) ) i : 对 所 有的x , y e 0 , 1 成立， 其中f l一 是f 的 伪 逆. 一 1 3一 四川大学博十学位论文 对偶地。 关于亡 余模有类似结论 推论 1 .2 . 2设s是一个连续t 余模， 那么， 对任意的正数 都存在一个连续的严 格增a ( 数9 : 0 , 1 、0 , 1 ， 使得g ( 0 ) =0 ， 且 is ( 二 ， 、 ) 一 。 i- 1 ( 9 ( . ) + 9 ( y ) ) i 2 为正整数， 二元函 数s : 0 , 1 - r 0 , 1 递归 1 5一 四川人学博士学位论文 地定义为 s ( x 1 , x 2 ， x, ) 二s ( s ( x l , , x 。 一 1 ) , x . ) 这里， n函数s与t 余模 s采用了同一记号当不至于引起混淆. 本章研究的主要对象是y = s ( x l , x 2 , . . . i x 司， 而t 余模s是此函数当 m=2 时的特例. 我们注意到， 对于应用而言， 如文 9 5 所述， 总可以合理地假 定x 1 , x 2 , . . , x ，和y 的取值范围限制在 , 1 i 的某一有限子集合a中. 这是因 为在实际应用中要求绝对精确往往是办不到的， 也是不必要的. 隶属函数值从 理论上可以取到单位区间上的任意值. 但是在实际应用中， 往往将其限制在单位 区间的某一有限子集上 例如， 只取到小数点后若干位.不失一般性， 不妨假设 a 二 a o , a , , . . . , a p ) ， 且。 =a o a , . . . a y =1 ， 其次 ， 我 们 还可以 合 理 地 假 定函数值y 的运算结果是用诸如四舍五入之类的方法取得近似值. 确切地说 ， 我 们假设 存在p 个数b l , . . . b p ， 满足条 件a o b 1 a 1 b 1 b y a p . 函 数 y =s ( x 1 , x 2 , . . . , x, ) 可以看成按下 式取近似值的结果: i f s ( x l , . . . ， x - ) b 1 , i f 鸟三别二 ， ，. . x 司外 0，jp aaa 了.夕、. -一 夕 利用李中夫和刘应明教授在文 9 4 中的结果( 见定理1 .2 .6 ) ， 对于连续t 余模 s ， 存在严格增加的一元函数9 ( 川， 使得 s ( x 1 , ， x , ) b , ae9 ( x + ) 9 ( b 1 ) , 9 ( - d ) 9 ( b i + i ) , 9 = 1 , ， 二 ， u 一1 , 爪艺1=1 i = t b , 、 ( 怖 ) 一 】 6一 四川大学博士学位论文 ( 2 . 1 . 1 ) 式等价于: i f艺9 ( x i ) 9 ( b i ) , 之 二 i i f 9 ( 鸟 ) 0 o t h e r wi s e . 廿.， ，且0 子1.eet 其中， 4 i =又 y a k 第五层l s : 神经元凡 的输入y 4 1 , y 4 2 , . . . , y 4 ; 与输出y 之间关系为 y =m a x a i y a 1 , a 2 y a 2 , . 二 ， a v y a p 在神经网络t s n e t 中， l , 和l : 只与输入变量和集合a有关， 可以看成对输 入 变 量的 预处 理; 可 调参 数出 现 在l : 与l 3 的 连 接 权重上 ， 它 们与9 ( a i ) 和或 叼 有关; l 3 到l s 用于计算网 络的输出， 也只和集合a相关. 定 理2 . 1 . 1 令.9 ( a o ) =0 . ， ， ， = 9 ( a i ) . a wi = 9 ( a j ) - 9 ( a , - 1 ) , ( j =2 , 3 , . ， ， , p ) ; w+ 1 = 9 ( b i ) , w p + i = 9 鸣) 一 9 鸣- 1 ) , ( .1 = 2 , 3 , . . , p ) . 那 么 ， 使用 神经网 络t s n e t 进行 计 算得到的结果与和使用( 2 . 1 .2 ) 式的计算结果完全一致. 证 明 设 q0c i = y z _ 忍 y 1。 表 示 集 合 1 x 1, x 2 , . . . , x m 中 不 小 于 % 的 元 素 个 数 因为9 ( a o ) = 0 , 那么， 、 3 。一艺，。 ， 。 、 j 之1 一艺( g (a 7 ) 一 ， ( a j 一 ， ) ) c j 一 1 9一 四川人学博士学位论文 一艺(9 (a j ) c j( 9 ( a j - , ) 几 9 ( a j ) c j9 ( a j ) q+ 1 刀艺月洲艺州 9 ( a j ) ( c j 一 c j 十 1 ) + 9 ( a n ) c a j=l艺月p-1艺j= 注意剑c ， 一 c ,1 + 1 表示集合 x 1 , x 2 , .， 二 。 中等于a ; 的元素个数( := 1 , . . . , p 一 1 ) , 几表 示集 合 x i - -r,2 , . 二 ， .2 m 中 等于a ， 的 元素 个数 . 因 此， 0 -1 y 3 a 二 yg ( a j ) ( c ， 一 c j + l ) + g ( a p ) c , 一 e 9 (二 ， ) 而 了 =1 .y 3 j= 一w p j =1 + ， =- 9 ( b j ) +9 ( b j - 1 ) , ，少; ， 一 l .1 y 3 * 一 。 3 0 + l r y 3 k 一 y s ( x i ) 一 。 ( b j ) k=0 k=1i - 1 j 4 j= i f v 4 , 0 ， o t h e r w i s e . 工q .y=m a x a l y 4 1 , a 2 y 4 2 , ， a p y 4 d l m a :c a j 。 a l 艺9 ( x i ) 一 。 ( bj ) 0 它 = 1 上式显然和( 2 . 1 .2 ) 等价. 一2 0一 一一一一一一一一些些 5 tl-q 土ly = f v .ir 3 c 2 . 1 . 3学习算法 神经网络t s n e t 具有多层前传结构， 其中大多数连接权重都是固定的， 唯一 需要调整的 是第二层l 2 j第三 层场之fb i 的 连接权重w i , . . , w n , w n + i , ， 二 ， w 2 n . 我们将使用类似于多层感知器的误差反向传播算法对其进行调整 3 7 假设第n 次训 练使用的 样本为( x i ( 71 ) ， 二、 x , ( 71 ) ; d ( n ) ) ， 其目 标输出 值为d ( n ) = a j . 反向传播算法包括两个计算过程: 前向通过和后向通过. 在前向通过中， 经过网络时突触权值保持不变， 而网络的函数信号在一个神 经元接一个神经元基础上计算. 反向通过从输出层开始， 误差信息向左经过网络一层一层传播. 在神经网络 模型t s n e t 中， 具体实施步骤如 卜 : 计算第五层神经元从 开始， 计算输出误差:e ( n ) =d ( n ) 一y ( - ) =a ， 一 y ( - ) . 下面分三种情况讨论: ( 1 ) 如果。 ( n ) =0 ， 则不调整突触权重. ( z ) 若 。 ( n ) 0 ， 因为神经元 执，的期望输出d 4 ; ( 二 )二 1 , y = n aa x a i y 4 1 , a 2 y 4 2 ，一 a p j 4v , 所 以 实 际 输 出 、 4j ( n ) = 0 . 需 要 调 整 与 神 经 元从 : 相关的突触权重. 注意到 v 4 1 (n ) 一 艺y 3 k (n ) 一 * o ( n ) + 又y 3 k ( n ) 二 艺w i (n )y 2i (n ) 一 又、 + ; (二 ) 从， 4 7 ( n ) =0 知。 4 ， ( 7 1 ) 0 . 这 就 需 要 w p , w p 十 ， ， , w 2 n ) , wt 表示向 量w 的 转置， z t ( n )= ( y 2 i ( n ) ,y e n ( n ) ， 一 1 , 一1 1 0 , v 4 7 ( n ) 一w t (n ) z ( n ) 一 艺- k ( n ) y 2 k (n ) 一 艺w v + k (二 ) ， 一21 _ 四川大学博士学位论文 对神 经元从， 而 言 ， 我 们定 义 其 相 对输出 误差 为 八叼一丫川 m7 1 ) =: 一: 4 i ( n ) : 一wt ( nz ( n ) iv( n ) i iz ( n 其中， 为任意一个小正数 定义神经元n 4 j 导得到: 的 瞬间 能 量 函 数 为e ( n ) =去 叮 ( n ) ， 把e ( n ) 对 权向 量w求 8 e ( n ) a w : 一。 ; ， ( 。 ) 。 、 =一， 节 二 ; 丁不了g妙 勺 i l 6l nl l l 这样， 利用最速下降 法， 调整与l 4 j 相 关权重 如下: i f k= 1 , , p !、.、 一- 、 、 ( ， +i ) wk (n)+ 一 e y2k(n)z (n)iie - n i(n) w wi ， 一 加 丽 z 面下 丁 w k ( n ) if k = p + 1 , . . , p + 7 ( 2 . 1 .3 ) i f k二p +j +1 , . 二， 2 p 这里,7 1,: 为学习率参数. 图2 . 1 . 2 是在这种情形f 的误差信号反向通过图: 脚。夕 了一 +le04 - o4-eofeij,.1 图 2 . 1 . 2 日 a, v 4 ) 误差信号反向通过图 ( 3 ) 若。 ( 司0 . 而 一2 2一 四川大学博十学位论文 成 ， 十 ， ( n ) = 0 ， 意 味 着 期 望v a ,j + l 。 . 需 要 减 少v a ,j + ， 的 值 . 令 : z ( n )= ( x/ 2 1 ( n )7j 2 p ( n ) ， 一 1 , ， 二， 一 1 , 0 , , 0 p 一 一1 v q ,j + 1 ( n )一w t ( n ) z ( n ) 一 又w k (n ) 7j 2 k ( n ) - gy p + k ( n ) , 川艺目 对神 经元n4,+1而言 ， 相对输出 误差定 义为: b .7 + 1 ( n 卜 一 : 一 。 9 ,j + 1 ( n ) _ 日 z ( n 川 : + w r ( 二 ) t ( n ) iiz ( n ) ii 其中，: 为( 2 ) 中选取的小正数. 定 义 神 经 元n 4 ,j + 、 的 瞬间 能 量 函 数 为e ( n ) =告 兮 + 1 ( n ) ， 把e ( n ) 对 权向 量 w求导得到: o e( 7 1 ) a h 厂 : + v a ,j + l ( n ) 。 ，、 一 布下 不二 丫 下 几 不 厂 一乙 v i ) i i 乙 k n) u - 利用最速下降 法， 调整与a , ,j + ， 相关 权重如 下 w k ( n ) 一7 1n w k ( 二 ) +77 n 、 ; ( 。 ) : +u q ; + ， ( ， * ) iiz ( n ) ii e+7 ) 9 ,j + 1 ii z ( n ) ii 7j 2 k ( n )i f k=1 ， 二 ， p w k ( n +1 ) ( 二 ) i f k二 i f k= p 十1 , , p +7 +1 p 十了 +2 , . . . ， 2 p ( 2 . 1 .4 ) ! 一一 这里177 。 为学习率参数. 总结上述情况， 当e ( n ) :f- 0 时可以 将学习算法合并为下面的向 量形式 一w