（概率论与数理统计专业论文）基于非参数统计方法的人工神经网络研究与讨论.pdf

m a s t e rt h e s i so fy e a r2 0 1 0 u n i v e r s i t yi d ：1 0 2 6 9 s t u d e n ti d ：5 1 0 7 0 6 0 5 0 0 8 r e s e a r c ha n dd i s c u s s i o no fa r ti f i c i a ln e u r a l r t e s e a r c t la n1 s c u s s l o no tr ti t ie u r a l n e t w o r kb a s e do n n o n - p a r a m e t r i cr e g r e s s i o nm e t h o d d e p a r t m e n td e p a r t m e n to fs t a t i s t i c s m a j o rp r o b a b i l i t ya n dm a t h e m a t i c a ls t a t i s t i c s r e s e a r c hd i r e c t i o n a p p l i e ds t a t i s t i c s s u p e r v i s o rp r o f e s s o r z h a n gr i q u a n a u t h o rs h e nt i n g ji e d a t e m a y , 2 0 1 0 华东师范大学学位论文原创性声明 郑重声明：本人呈交的学位论文基于非参数统计方法的人工神经网络研究与 讨论，是在华东师范大学攻读硕壬博士( 请勾选) 学位期间，在导师的指导下 进行的研究工作及取得的研究成果。除文中已经注明引用的内容外，本论文不包含 其他个人已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集 体，均已在文中作了明确说明并表示谢意。 作者签名： 日期：f 。对月彩日 华东师范大学学位论文著作权使用声明 基于非参数统计方法的人工神经网络研究与讨论系本人在华东师范大学 攻读学位期间在导师指导下完成的聊博士( 请勾选) 学位论文，本论文的研 究成果归华东师范大学所有。本人同意华东师范大学根据相关规定保留和使用此 学位论文，并向主管部门和相关机构如国家图书馆、中信所和”知网”送交学位论 文的印刷版和电子版；允许学位论文进入华东师范大学图书馆及数据库被查阅、 借阅；同意学校将学位论文加入全国博士、硕士学位论文共建单位数据库进行检 索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制 学位论文。 本学位论文属于( 请勾选) ( ) 1 经华东师范大学相关部门审查核定的”内部”或”涉密”学位论文丰， 于年月日解密，解密后适用上述授权。 ( 、) 2 不保密，适用上述授权。 作者签名：j 毖菌近 日 期： 垫l 旦：立2 3 导师签名：丝塑拯 日 期：圣班：立竭 木“涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定过的学位论文( 需 附获批的华东师范大学研究生申请学位论文“涉密”审批表方为有效) ，未经上述部门审定的学位 论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述授权) 。 硕士学位论文答辩委员会成员名单 姓名职称单位备注 汤银才教授华东师范大学统计系主席 曾林蕊副教授华东师范大学统计系 程依明副教授华东师范大学统计系 摘要 a b s t r a c t 目录 第一章背景知识和问题提出 1 1 人工神经网络有关背景知识 1 1 1 感知器模型及其算法 1 1 2 模糊感知器和非线性权感知器 1 1 3 前馈多层神经网络及b p 算法， 1 2 变系数部分线性模型有关背景知识 1 2 1 变系数部分线性模型概述 1 2 2 局部线性估计 1 3 问题提出及其解决 第二章变系数部分线性模型的感知器估计方法 2 1 多元线性回归模型的感知器估计方法 2 1 1 学习算法 2 1 2 算法收敛性证明 2 2 变系数部分线性模型的感知器估计学习算法 2 2 1 函数项3 0 ( ) 的感知器估计学习算法 2 2 2 系数函数岛( ) o = 1 ，p ) 的感知器估计学习算法 2 3 变系数部分线性模型系数函数的感知器估计方法与局部线性估计方法的 比较 2 3 1 感知器估计方法的模拟 2 3 2 局部线性估计方法的模拟 2 3 3 感知器估计和局部线性估计两种方法的比较 第三章变系数部分线性模型的非参数估计方法在非线性感知器上的应 用 1 8 3 1 基于局部线性方法估计的非线性感知器1 8 3 1 1 构造非线性权感知器1 8 3 1 2 非线性权感知器的学习目标1 8 3 1 3 基于局部线性方法非线性权感知器的学习算法1 9 3 1 4 学习算法的收敛性证明2 0 3 2 基于局部线性估计的非线性感知器的性质研究2 1 3 2 1 线性可分性研究2 1 3 2 2 复杂度分析2 3 3 3 基于局部线性方法的非线性权感知器和传统感知器的比较2 5 1 2 3 3 3 4 6 7 7 7 8 o 0 0 1 3 3 4 5 5 6 7 l 1 1 1 1 1 1 1 1 1 1 第四章非线性权感知器的推广 4 1 非线性权感知器的算法推广 4 1 1 连续型非线性权感知器的学习算法 4 1 2 基于梯度下降法的连续型非线性权感知器的学习算法 4 2 非线性权感知器输出状态变量的推广 4 2 1l o g i s t i c 非参数回归模型 4 3 基于非线性权感知器的神经网络 5 4 3 1 因子分析背景知识介绍 4 3 2 公式推导与算法提出 参考文献 致谢 8 8 8 0 1 2 4 4 5 9 l 勰弱勰缸驼弘弘踮 姐 摘要 华东师范大学硕士论文1 摘要 本文提出了变系数部分线性模型估计和非线性感知器估计的新方法。 人工神经网络是一种机器语言算法，可以在没有任何假设条件的情形下处 理大规模数据，这也是传统的统计方法所没有的优点。变系数部分线性模 型的估计渐近性证明的假设条件太多，现实条件是很难满足地。但是，人 工神经网络也有其不足，对于有关预测的问题人们往往想对现有方法进行 控制，从而得到更精确的预测。而神经网络的隐层结构就象一个暗箱，它 决定了我们无法得知神经网络的运作原理，从而带来了许多不便。本文通 过两种方法的相互结合相互应用，综合神经网络和变系数部分线性模型的 优点，为变系数模型和神经网络的应用提供进一步的理论依据。论文主要 由四章组成： 第一章是引言部分，主要介绍人工神经网络和变系数部分线性模型的 背景知识，详细介绍了模糊感知器和非线性权感知器的基本模型、学习目 标和学习算法，并指出这两种模型在实际应用中存在的优点和不足。 第二章主要介绍变系数部分线性模型的感知器估计方法。首先给出 多元线性回归模型的感知器估计方法，并在此基础上运用人工神经网 络( 见f 2 1 ) 中的模糊感知器模型及其算法来解决非参数回归问题的系数函数估 计问题。接着，对变系数部分线性模型的系数函数感知器估计方法和局部 线性估计方法通过模拟结果进行比较，从而总结出这种新的估计方法的优 点和不足之处。 第三章主要介绍基于局部线性方法的非线性权感知器。在前人关于非 线性权函数感知器的研究当中( 见 3 1 ) ，并没有给出非线性权函数的具体表达 形式。因此，非线性权函数感知器在实际中无法得到运用。在本章中，运 用非参数回归中的局部线性方法具体地给出了感知器非线性权函数的逐点 估计，提出基于局部线性方法的非线性权感知器模型。为神经网络感知器 在实际中的应用研究提供更进一步的理论依据。并通过模拟发现在一般情 况下，对于解决现实生活中的非线性问题，基于局部线性方法的非线性权 感知器比传统感知器有更广泛的应用。 第四章主要对非线性权感知器模型作推广，使它有更多的应用范围。 关键词：非参数回归，变系数模型，系数函数，模糊感知器，非线性感知 器，局部线性估计，s 型激活函数，梯度下降，l o g i s t i c 国归，因子分 析，b p 模型 a bs t r a c t t h i sp a p e rp r o p o s e sn e wm e t h o d st ot h ee s t i m a t i o no fp a r t i a lv a r i a b l ec o - e f f i c i e n tl i n e a rm o d e la n dn o n - l i n e a rp e r c e p t r o n i tp r o v i d e sf u r t h e rt h e o r e t i c a l b a s i sf o rt h ea p p l i c a t i o no fv a r i a b l ec o e f f i c i e n tm o d e la n dn e u r a ln e t w o r kb y c o m b i n i n gt h et w om e t h o dw i t he a c ho t h e r t h ef i r s tc h a p t e ri sa ni n t r o d u c t i o n ，w h i c hi sar e t r o s p e c tt ot h eb a c k g r o u n d k n o w l e d g eo fa r t i f i c i a ln e u r a ln e t w o r ka n dp a r t i a lv a r i a b l ec o e f f i c i e n t l i n e a r m o d e l ，g i v e sd e t a i l so fb a s i cm o d e l ，l e a r n i n go b j e c t i v e sa n dl e a r n i n ga l g o r i t h m f o r t h ef u z z yp e r c e p t r o na n dn o n - h n e a rw e i g h sp e r c e p t r o n ，a n dp o i n t st h ea d v a n t a g e a n dd i s a d v a n t a g eo ft h em o d e l sa p p l i e dt ot h er e a l i t y c h a p t e rt w op r e s e n t st h ep e r c e p t r o ne s t i m a t e dm e t h o dt ot h ep a r t i a lv a i l - a b l ec o e f f i c i e n tl i n e a rm o d e l f i r s t ，i tp r o p o s e sp e r c e p t r o ne s t i m a t e dm e t h o d t om u l t i - l i n e a rr e g r e s s i o nm o d e l ，w i t hw h i c ht os o l v et h ee s t i m a t i o np r o b l e mo f n o n - p a r a m e t r i cr e g r e s s i o nu s i n gf u z z yp e r c e p t r o nm o d e la n d i t sa l g o r i t h m a n d t h e n ，ic o m p a r e dt h es i m u l a t i o nr e s u l to ft h ep a r t i a lv a r i a b l ec o e f f i c i e n tl i n e a r m o d e le s t i m a t i o nm e t h o db a s e do np e r c e p t r o nw i t hc u r r e n tl o c a ll i n e a re s t i m a - t i o nm e t h o d c h a p t e rt h r e ea i m sa tn o n - l i n e a rw e i g h t sp e r c e p t r o nb a s e do nl o c a ll i n e a r e s t i m a t i o nm e t h o d f o rt h er e s e a r c ho fp r e v i o u sa u t h o r ，t h e r ei sn os p e c i f i c e x p r e s s i o n st ot h en o n - l i n e a rw e i g h t sp e r c e p t r o n t h e r e f o r e ，i tc a n tb ea p p l i e d t ot h er e a l i t y t h i sc h a p t e rp r o p o s e st h ee s t i m a t i o nm e t h o do fn o n - l i n e a rw e i g h t s p e r c e p t r o nu s i n gl o c a ll i n e a rm e t h o df o rp r o v i d i n gf u r t h e rt h e o r e t i c a lb a s i st o t h en e u r a ln e t w o r kp e r c e p t r o n ，a n dd i s c o v e r st h a tt h e r ei saw i d e ra p p l i c a t i o nt o t h en o n - l i n e a rp e r c e p t r o nc o m p a r e dt ot h et r a d i t i o n a lp e r c e p t r o nb ys t i m u l a t i n g c h a p t e rf o u re m p h a s i z e so ng e n e r a l i z a t i o no fn o n - l i n e a rw e i g h tp e r c e p t r o n k e yw o r d s ：n o n p a r a m e t r i cr e g r e s s i o n ，p a r t i a lv a r i a b l ec o e f f i c i e n tl i n e a r m o d e l ，f u z z yp e r c e p t r o n ，n o n l i n e a rw e i g h t sp e r c e p t r o n ，l o c a ll i n e a r e s t i m a t i o n 第一章背景知识和问题提出华东师范大学硕士论文 3 第一章背景知识和问题提出 1 1 人工神经网络有关背景知识 1 1 1 感知器模型及其算法 感知器是在m p 一模型基础上建立起来的单细胞神经网络的信息处理器，它的基本 特征是神经细胞的工作特性( 见3 1 ，1 1 1 8 ) 。作为数学模型，可归纳为以下几点： ( 1 ) 感知器是一个多输入，单输出的运算系统，表示一个神经元的运算特性，它的输入 状态向量记为 矿= ( x l ，x 2 ，z n ) ， 其中每个输入分量娩为第i 个神经元的状态，我们记 扩= ( w 1 ，o j 2 ，) ， 为权向量，其中为第i 个神经元与感知器的连接权系数。 ( 2 ) 感知器的状态值可为该感知器的输出值，它由输入状态向量矿， 值h 决定。因此，它可表示为 z = 丁( 扩， ；扩) ， 其e e t ( 1 为运算函数。最常见的一阶感知器的运算函数为 其中，( u ) 为界于一1 与+ 1 之间的单增函数，称之为激励函数。而 为感知器的整合函数。 权向量u n 与阈 ( 1 1 ) 定义1 在以上感知器模型中，我们有以下分类定义： 以j 如果激励函数，( 札) 是连续型的，那么相应的感知器为连续型感知器。如果激励函 数f ( u ) = s 9 佗( u ) ，那么相应的感知器为离散型感知器。简称离散型感知器为感知器。 俐感知器的输入向量扩一般可在舻m 维实数空间，任意取值。如果矿的每个分量鼢都 在 一_ f ，手j ) 中取值，那么这个感知器就为脚一模型。 感知器的基本功能是对外部神经元的状态进行“感知”与“识别 。这就是当外 部的n 个神经元处于一定的状态时，感知器就呈现“兴奋”状态，而当外部的n 个神经 元处于另一些状态时，感知器就呈现“抑制”状态( 见【9 】，【17 】，【1 8 】) 。如果用( 1 1 ) 表示感 知器的运算函数，那么它的学习目标就是 z = t c u n ， ；z 竹，= 二：三：茎三： c 1 2 ， 危一z n 汹 ， = z 一 z 姚 n 汹 = 危 n u n zu = 仳 第一章背景知识和问题提出 华东师范大学硕士论文 4 其c o n ，b 是舻中两个互不相交的集合，n 与h 为适当参数。 如果令t ( ) 为勋n ( ) ，且把h 看作为她瓤的一项，则方程式( 1 2 ) 等价于 蚍戤 o ，矿d ， ( 1 3 ) i - - - - i 以下讨论方程( 1 3 ) 求解问题，其中d 为舻空间中的任一集合。如果d 是酽空间中 的一个有限集合，那么d 中元素可表示为 z ? = ( z i ，1 ，z i ，2 ，z ，n ) ，i = 1 ，2 ，m 其中m 为集合d 的向量个数，跏i i d i i 来表示。 为解方程组( 1 3 ) ，给出学习算法步骤如下： l l 取u n ( 0 ) = a z ，其中z 为m n f l 勺任一行向量，而入 0 为一适当系数。 l - 2 如果u n ( t ) = 1 ( t ) ，忱( t ) ，( ) ) 己知，那么我们计算扩( t ) 与z ? 向量的内积为 w n ( t ) ，z ? ) = ( 亡) ， j = l 如果对任何i = 1 ，2 ，m ，都有 ( 扩( t ) ，z ) 0 ， 成立，那么u n ( t ) 就为方程组( 1 3 ) 的解。否则就有一个扩( t ) d ，使 ( 扩( t ) ，矿( 亡) ) 0 成立。那么我们作 u n ( t + 1 ) = u n ( t ) + 入z n ( 亡) ， 其中a 为l 1 中的系数。 l 一3 由此继续，得到一系列 “( t ) ，x n ( 亡) ) ，t = 0 ，1 ， ( 1 4 ) ( 1 5 ) ( 1 6 ) 它们满足关系式( 1 5 ) ，( 1 6 ) ，且扩( ) d 这个运算直到( 1 4 ) 式对任何i = 1 ，2 ，m 成 立为止，这时相应的u n ( t ) 就为方程组( 1 3 ) 之解。 称以上算法l 1 l 3 为感知器的学习算法。 1 1 2 模糊感知器和非线性权感知器 上一节已经指出感知器模型的主要功能是实现对集合( a ，b ) 的分类识别。这种识 别方法的主要优点，也是与传统数学方法不同点是通过学习算法来实现。但是在另一 方面，这种识别方法的可计算性条件却很强，要求集合( a ，b ) 线性可分，因此，这样就 大大限制了感知器的应用范围。“模糊感知器”的基本构想是在对目标( a ，b ) 进行分类 时，不要求百分之百的正确，而是允许它有一定的识别误差存在，那么就可把这两个 集合中的大部分点加以区分，这样就可大大拓宽了感知器的应用范围。己知感知器的 模型为 名= t ( w n , z n ) = s g n ( w i x i 一 ) ， i = 1 ( 1 7 ) 第一章背景知识和问题提出华东师范大学硕士论文 5 而它的学习目标可归结为求不等式 之解。 ( 1 8 ) 定义2 以) 称u n 为不等式p 纠的一个j 一解，如果u ”能使以纠中有( 1 5 ) i i d l l 个不等式成 立，其中i i d i i 为集合d 的元素个数。 俐一个感知器如果它的学习目标是求一个不等式p 纠的6 一解，那么称这个感知器为模 糊感知器。 模糊感知器的学习算法与普通感知器的学习算法十分相似，它的运算步骤为 f i 广1 取u n ( 0 ) = 妇，其中入 o 为适当常数，扩为d 中任一向量。 f l - 2 如果u n ( t ) 已经求出，我们计算( u n ( t ) ，矿) ，且定义集合 d ( t ) = z n ：( l u n ( t ) ，z n ) 0 ，z n d ) ， ( 1 9 ) 如果有 i i d ( 圳6 i i d i i 成立，那么u n ( 亡) 就为所求不等式( 1 8 ) 的6 一解，学习算法结束，否则就有 i i d ( t ) l l 艿i i d i i 成立，这时我们取 扩 “) _ 扩 ) + 南z 盖，n f l - 3由此继续，得到一系列 ( 扩( z ) ，d ( ) ) ，t = 0 ，1 ， ( 1 1 0 ) ( 1 1 1 ) ( 1 1 2 ) 使得( 1 9 ) ，( 1 1 1 ) ，( 1 1 2 ) 成立。该运算直到( 1 1 0 ) 式成立为止，这时所得的”( t ) 就为所求 不等式( 1 8 ) 的6 一解。 以上学习算法f l 一1 一f i ，3 就为模糊感知器的学习算法。 另外，我们对于感知器模型权向量函数做非线性化推广，即构造非线性权函数的 感知器。 具有非线性权函数感知器的模型构造仍是一个单细胞的信息处理系统。它的输入 状态向量为 o n = ( x l ，x 2 ，z n ) ，x i r ， 权向量为： u 8 = ( 0 3 1 ，w 2 ，u s ) ，毗r ， 而它的输出状态记为 z = f u ( x n ，) 】，( 1 1 3 ) d n z0z 蚍 件：i 第一章背景知识和问题提出华东师范大学硕士论文6 其中整合函数u ( x n ，) 是扩的线性函数，而对是非线性的。因此u ( 矿，) 的一般形式 为 牡( 矿，扩) = 9 i ( w 。) 如一h ， ( 1 1 4 ) i = 1 其中职( ) ，i = 1 ，2 ，佗，为给定的的非线性函数。 定义3 一个由门j 砂与以f 定义的感知器是一个具有非线性权函数的感知器， 非线性权感知器。记 名= t g n ；矿，z n 】， 其中矿= ( 夕l ，夕2 ，鲰) 为非线性权向量。 非线性权感知器的学习目标的定义与一阶感知器的情形相似，这就是求 z 州，= ：茎 之解。同样可化方程组( 1 1 5 ) 为 简称为 ( 1 1 5 ) ( 1 1 6 ) 关于方程组( 1 1 5 ) ，( 1 1 6 ) 的等价性与一阶感知器情形相同。因此只要讨论方程组( 1 1 6 ) 的 求解问题即可。 1 1 3 前馈多层神经网络及b p 算法 由多个感知器相互连接所构成的网络模型就是一般的神经网络系统模型。 如果这些神经元的输入，输出是单向的，那么这种网络模型就称为“前馈网络模 型 ( 见【2 7 】) 。常见的“前馈网络模型”有如“多层感知器模型 等。 关于多层感知器的模型构造与一阶感知器的情形不同，它是一个网络式的多细胞 的信息处理系统。以二层感知器为例，它的输入状态向量( 输入层) 为 第一层的输入状态( 隐层) 是 z n = ( x l ，x 2 ，z n ) ，x i r 住， 而第二层的输出状态( 输出层) 为 其中，( u ) 为激励函数。设z = t ( w h ，w 南，h 七， ；x n ) ，其中( 梳，w 七，h 七， ) 为模型的参 数。 d n z0zu 吼 n 汹 老21 i i d 一 叻 蚍 n 芦 ， = 让 一u 咄 七汹 ， i i z 第一章背景知识和问题提出华东师范大学硕士论文 7 关于多层前馈神经网络的学习算法一般称为b p 算法，它是数据挖掘中重要方法之 一( 见f 1 9 1 2 3 1 ) 。b p 算法的基本思想是：学习过程由信号的正向传播与误差的反向传播 两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输 出层。若输出层的实际输出与期望的输出不符合，则转入误差的反向传播阶段。误差 反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所 有单元，从而获得各层单元的误差信号。此误差信号即作为修正各单元权值的依据， 这种信号正向传播与误差反向传播的各层权值调整过程是周而复始地进行，权值不断 调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到 可接受的程度，或进行到预先设好的学习次数为止。 1 2变系数部分线性模型有关背景知识 1 2 1变系数部分线性模型概述 ly = g ( x ) + w 叫+ e ， 【v = 名1 z j ( u ) z j ， 其中y r 是响应变量，x r ，u r ，z = ( 历，磊) t 舻是协变量；u 可 以是z 1 ，乙中的一个：z ，u 独立于x ；e 是随机误差，且e ( e ) = 0 ，d ( e ) = 仃2 ，并且 与x ，z ，u 相互独立；常数项函数9 ( z ) 和系数函数岛( u ) 0 = 1 ，p ) 是从r 到r 的一些未 知可测函数，则称这一模型为函数系数部分线性模型( f u n c t i o n a l - c o e f f i c i e n tp a r t i a ll i n e a r m o d e l s ) ( 见【1 】) 。 1 2 2 局部线性估计 常数项函数夕( z ) 的估计 设 m ，x i ，阢，五，i = 1 ，n 是来自于函数系数部分线性模型的随机样本。若假 设g ( z ) 有连续的二阶倒数，则在黝附近有 g ( x ) g ( x o ) + 夕7 ( z o ) ( z z o ) ， 其中z o 在x 的支撑内。根据局部线性方法的思想，即求解下式 恕善陪a ，z ( 五川0 ) 1 2 刚五一o ) 其中玩，( z ) = h - ；1 k ( x h 1 ) ，k ( x ) 是- - 个核函数， 1 是一个正数序列，称其为窗宽。上 式的解西1 = 雪( z o ) ，如= 矿( 加) ，它们分别是夕( z o ) 和9 7 ( z o ) 的估计。通过对上式未知参 数q 。和o t 2 求偏导可知，1 ，如满足如下方程： ( 芝) 2 ：，( 又t 詹又) k h z ( k 一铷) ( x i 二z 。) k 、a ，、 一z 0 ， 进而i t ( z o ) = 西1 ，其中，露= d i a g ( k h 。( x 1 一跏) ，玩。( 弱一z o ) ) ，x 是一个nx2 的矩 阵，其第i 行是( 1 ，k x o ) 第一章背景知识和问题提出华东师范大学硕士论文8 系数函数岛( ) 0 = 1 ，p ) 的估计 函数系数部分线性模型可以写成 由于w 不能直接观察到，所以不能直接用w 去估妣( ) d = 1 ，功为此将k 一 鸯( 五) 看成是m = k 一夕( 五) ( i = 1 ，n ) 的观察值。 若岛( u ) o = 1 ，p ) 有连续的二阶导数，那么在u o 的附近 岛( u ) 岛u 0 ) + p ：( 咖) ( u u o ) ，j = 1 ，p ， 其o e u o 在u 的支撑内。记岛( 咖) 的估计用妨表示，层( 咖) 的估计用易表示j = 1 ，p 根 据局部线性方法的思想，嘭和砖是下式的解： 叼，鹧，印善陪觚) 一善( 州以一u o ) ) z i j 2 l h 2 ( 阢刊， 其中是历的第j 个分量的观察值( = 1 ，佗，歹= 1 ，p ) ；l h 。( ) = h 7 1 工( h 2 ) ，l ( ) 是 一个核函数，九2 是窗宽。通过对上式未知参数求偏导可知，d j 和b j ( j = 1 ，p ) 满足如 下方程： ( 面，妨，友，易) t = ( 2 t 三牙) 1 ( 军，( 阢一咖) z ) t l _ f i ：( 阢一u o ) ( m 一雪( k ) ) 进而，对所有的歹= 1 ，p ，有岛( 锄) = 喀其中牙是一个佗x 助的矩阵，其第i 行是( 霉，( 玩一 仳o ) 霉。) ，l = d i a g ( l h 。( 巩一铷) ，三_ l 。( 巩一咖) ) 1 3问题提出及其解决 人工神经网络模型和非参数回归中的变系数部分线性模型都是为了解决现实生活 有关预测判别的问题而提出地。与传统回归模型方法不同的是它们可以解决实际中的 非线性问题，从而为进一步处理各种问题提供解决方法的理论依据。人工神经网络是 一种机器语言算法，可以在没有任何假设条件的情形下处理大规模数据，这也是传统 统计方法所没有的优点，变系数部分线性模型的估计渐近性证明的假设条件太多，现 实条件是很难满足地。但是，人工神经网络也有其不足，例如：对于预测问题人们往 往想对现有方法进行控制，从而得到更精确的预测，可是隐层的结构就象一个暗箱， 它决定了我们无法得知神经网络的运作原理，从而带来了许多不便。同时，大量模拟 实验证实，人工神经网络算法的收敛速度是很慢的。 基于以上关于人工神经网络模型和变系数部分线性模型的优点和不足的描述，本 文结合这两种模型的优点，主要把传统的统计方法运用到人工神经网络当中，从而提 高神经网络的运行效率。本文查阅了大量有关神经网络和非参数回归的文献后发现， 前人运用感知器对这个领域的研究只是停留在理论研究的阶段，并没有给出实际运用 的操作方法( 见【6 】- 【8 】) 。 j o s e p hr y n k i e w i c z 在2 0 0 6 年的研究当中( 见f 5 1 ) ，首先运用多层感知器模型估计出模 型的权重，然后用得到的权重来估计非参数回归模型，而本文从另一个角度，直接从 + 乙 u 岛 p 芦 = + 矿 i ix g y=彤 第一章背景知识和问题提出 华东师范大学硕士论文 9 感知器的算法入手来估计变系数局部线性模型，这样可以提高整个算法的效率，节约 时间，并有更好的精度。另外，国内关于这个领域的研究还不够完善，沈世镒曾经在 他的研究中( 见f 3 1 ) 提过各种感知器模型，但是仅仅是对这些模型建立的大致描述，并没 有进一步深入的研究。本文针对非线性感知器理论，对其进行补充和完善，并结合变 系数局部线性方法对其模型进行估计，使得模型本身有更有效的使用性。同时，本文 发现前人研究过地关于人工神经网络当中的非线性感知器理论有其不完善的一面，从 而利用传统统计方法对其进行弥补，得到了比较理想的模拟效果。 第二章变系数部分线性模型的感知器估计方法一 堡丕埂塾杰堂亟迨皇1 0 第二章变系数部分线性模型的感知器估计方法 2 1 多元线性回归模型的感知器估计方法 p y = 岛+ 成五+ e ( 2 1 ) i = 1 其中甄，i = 1 ，2 ，p 为一组随机变量，e 是随机噪声。我们记x p = ( x l ，x 2 ，唧) 为 协变量向量。回归分析的基本问题就是由观察数据 y n = ( y l ，y 2 ，鲰) 矿m = ( 瑶，) 估计参数向量矿1 = ( 风，卢1 ，岛) 。其中 霹= ( x i ，1 ，x i ，2 ) 2 ，x i p ) 如果我们记 矿1 = ( 岛，声一，戽) 为口升1 的一个估计量，而记 豌= 岛+ 岛 j - - 1 为由数据( 旷，) 对y n 的拟合结果。 2 1 1 学习算法 j ( e ) = i ：i ( 玑一f l i ) k s ( x i 一) i e ) ( 2 2 ) 其中k b ( x i 一) 是多元核函数( 见【4 】) ，五= t ，x o = x 0 1 ，x 0 2 ，z 叻) t ，并且， ( 让) = 面1 k ( b 一1 u ) ， 其中b 为p 阶可逆矩阵。 其中( ) 为一维核函数。 定义4 对回归分析模型俾f ) ，称p q - 1 是矿1 的一个( e ，6 ) 估计，如果i l ，( e ) l i 0 ，z 。d s t e p 2 ：如果伊( t ) 已经求出，设( 伊( t ) ，x q ) 为向量伊( 亡) 和的内积，且定义集合 d ( t ) = z 4 ：l 欧一( 卢9 ( ) ，z 口) 】k _ b ( k x o ) l e ，z 口d ) 如果有 l i d ( t ) l l 6 i i d i i 成立，那么伊( ) 就为所求不等式( 2 3 ) 的5 - 解，学习算法结束。否则就有 i i d ( t ) l l 6 i i d i l 成立，这时取 ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) 即+ 1 ) = 俐+ 上i i d ( t ) l l 删e 幻x q ( 2 7 ) 为妒对应的多元核函数。 s t e p 3 ：由此继续，得到一系列 ( 伊( t ) ，d ( t ) ) ，t = 1 ，2 ， 使( 2 4 ) ，( 2 5 ) ，( 2 7 ) 式成立。该运算直到( 2 6 ) 式成立为止，这时所得到的伊( ) 就为所求不 等式( 1 9 ) 的口解。 以上学习算法s t e p l s t e p 3 就为多元线性回归模型感知器估计方法的学习算法。 2 1 2 算法收敛性证明 感知器估计学习算法的收敛性定理是指在方程组( 2 3 ) 有6 解的条件下，用学 习算法s t e p l 一s t e 尸3 是否一定能求出( 2 3 ) 的解。为简便起见，下面一律令k = ( x 一) 定义5 称不等式偿砂是强d 一可解的，如果存在一个向量馏= ( 风，o ，风，1 ，风，p ) 使 。e 。【e 一犰，硒，+ ( 雕，z 9 ) 硒，】p o ( 2 8 ) l 。d ：【c + 狮。k 。一( 筋，z 。) 硒。】p 0 、。 令d 7 = d 1nd 2 * 4 _ t 五j i d ，| i 删d 成立，其中口 o 是一个与d 7 无关的常数 y t i 为d 1 1r o x q 对应的值，i = 1 ，2 e 弱 一 一 五五 0 0 墨 甄 岛岛擘跺 + 一 风岛 一 + 玑 玑 一 + ，ijl【 第二章变系数部分线性模型的感知器估计方法华东师范大学硕士论文1 2 定理1 如果不等式方程组俾矽是强6 可解的，那么学习算法s t e p l 一s t e p 3 一定是 收敛的 址明：田个寺瓦【8 ) 网强6 一日j 解任定义廿j 得，仔征一l 、i 司重皤= ( 舶，0 ，阮，1 ，阮，p ) 使( 2 3 ) 成立，如向量伊( t ) = ( 风( 亡) ，卢l ( t ) ，岛( t ) ) 为算法s t e p l 一s t e p 3 所得。现 在再估计福象筒的值，首先由内积的性质可得 - 1 尬 i l 卢9 + 1 ) 1