（控制理论与控制工程专业论文）粗集神经网络集成方法及其在模式识别中的应用.pdf

摘要 粗糙集理论是处理不确定、不完整、不精确知识的有力工具，该理论已成为 不确定性计算领域的一个重要分支。粗糙集对信息系统的分析建模，涵盖了人类 逻辑思维的归纳推理、演绎推理和常识推理这三种形式，直接模拟了人脑的逻辑 思维能力。而通过大量神经元互连形成的神经网络是不确定性计算领域的另一个 重要分支，具有很强的非线性映射能力及自适应、自学习、鲁棒性和容错能力， 是对人脑直观形象思维的模拟。鉴于粗糙集和神经网络在信息处理方式、知识获 取、抗噪声能力、泛化性能等方面有很多互补之处，将两者集成的粗集神经网络 反映了人类智能中定性和定量、清晰和隐含、串行和并行交叉混合的思维机理， 其研究必然具有前沿性、科学性及优越性。作为当今智能集成系统的一个重要分 支，粗集神经网络集成可望成为开发下一代专家系统的主流技术。 本文通过增强粗集神经网络的信息处理能力，建立新的决策系统建模方式， 拓展其应用领域，解决其易构造性和计算复杂性问题等方面进行了一系列的探索 和研究，提出了一些新的粗集神经网络集成方法并研究了它们在模式识别领域的 应用 ，。 通过对近十几年发展起来的国内、外粗集神经网络集成方法的总结和归纳， 本文将粗集神经网络划分为三种主要的集成方式：粗集神经网络综合集成系统、 粗边界神经网络、粗一颗粒神经网络。介绍了每一种集成方式的研究现状，并对 其原理及特点进行了分析和阐述。 不同于以往单纯基于粗糙集数据分析和约简基础下的粗集神经网络模型，基 于粗逻辑理论，研究了粗逻辑意义下，基于粗逻辑决策规则的“强耦合”形式的 具有模糊化神经元的粗逻辑神经网络模型的设计，分析和比较了粗逻辑神经网络 和模糊逻辑神经网络的特点和性质。在重庆地区和长自山天池地区l a n d s a tt m 遥感图像的地物分类实验中，验证了粗逻辑神经网络模型的有效性，同时可以发 现其在网络结构和收敛性方面的优势。 通过在输入层和隐含层之间加入一个模糊化神经元层，构造了一种集成模糊 神经元和租神经元的模糊粗神经网络模型。由于粗神经元的不可微性，b p 算法 不再适用，因此本文采用遗传算法( g a ) 来进行网络权值的学习，同时融入具 有局部最优解搜索能力的爬山法改善了进化后期的计算效率。仿真表明，融合了 模糊信息和粗糙集信息处理能力的模糊粗神经网络模型在图像融合滤波方面比 b p 网络和单纯由粗神经元构成的粗集神经网络模型具有更好的性能，是一种性 能很好的混合智能神经网络。 h 由于系统中模糊不确定性信息和粗糙不确定性信息往往是并存的，有必要采 用模糊粗糙集( f u z z y r o u g hs e t ) 理论来进行处理，基于模糊粗隶属函数，本 文创建了一种模糊粗隶属函数神经网络( f r m f n ) 模型。融入了粗糙不确定性 信息处理能力的f r m f n ，在保留原有模糊相似信息的基础上，很大程度减少了 分类中的粗糙不确定性。在遥感图像分类和元音字母语音识别的实验中，显示 f r m f n 网络具有比相应径向基函数( r b f ) 网络更好的分类精度，同时保留有 r b f 网络学习速度快的优点。 基于经典p a w l a k 粗糙集分析设计的应用系统的推广泛化能力弱，抗噪声性 能差。为更好地解决这些问题，研究了基于“多数包含关系”的变精度粗糙集模 型下的粗集神经网络设计。文中对近似约简条件进行了弱化推广，在结合约简 异常分析和实例分析的基础上，提出了口近似约简的选取原则，给出了变精度粗 糙规则集提取和口阈值稳定区间求取算法。在对b r o d a t z 纹理图像的分类实验中， 比较了经典粗集神经网络( r n n ) 和变精度粗集神经网络( v p r n n ) 的性能， v p r n n 不仅具有更为精简的结构和更短的训练时间，而且v p r n n 对测试样本 分类表现出了更强的泛化性能。 为降低集成特征选择方法的计算复杂性，提出一种基于粗糙集约简的神经网 络集成分类方法。首先，通过结合遗传算法求约简和重采样技术介绍了一种动态 约简方法，通过动态约简方法可以获得稳定的、泛化能力较强的属性约简集。然 后，基于不同约简设计b p 网络作为待集成的基分类器，并依据选择性集成思想， 通过一定的搜索策略，找到具有最佳泛化性能的集成网络。最后，通过多数投票 法实现神经网络集成分类。该方法在某地区l a n d s a t7 波段遥感图像的分类实验 中得到了验证，由于通过粗糙集约简，过滤掉了大量分类性能欠佳的特征子集， 和传统的集成特征选择方法相比，本文方法时间开销少，计算复杂性低，具有良 好的分类性能。 增加集成神经网络中个体网络的差异度有利于提高神经网络集成的泛化性 能，基于此，提出了r o u g h _ b o o s t i n g 和r o u g h b a g g i n g 个体网络生成算法。在 b o o s t i n g 或b a g g i n g 算法对样本进行扰动的基础上，通过粗糙集约简实现属性选 择，从而有效的将扰动训练样本和扰动输入属性结合起来，生成精确度高且差异 度大的个体网络。实验结果表明，本文算法泛化能力明显优于b o o s t i n g 和b a g g i n g 算法，生成的个体网络差异度更大。和同类算法相比，本文算法具有相近或相当 的性能。 由于传统聚类方法设计r b f 网络时，带有一定盲目性和主观性，而且聚类 结果对初始值具有敏感性，在输入特征空间进行的聚类仅考虑到样本在输入特征 空间的相似性，而没有考虑样本本身的输出类别信息，生成的聚类并不能完全反 映输入输出之间的映射关系。因此，本文提出一种基于不可分辨划分的有监督粗 糙集聚类算法的r b f 网络设计方法。文中由布尔逻辑推理方法进行属性离散化， 得到初始决策模式集，通过定义在粗糙集分析基础上的差异度对初始决策模式的 相似度进行衡量并实现聚类，以聚类决策模式构造r b f 网络。针对r b f 网络输 出单元的线性权值和隐层单元的非线性基函数是在一种不同的“时间尺度”上更 新的特点，提出分别对隐层参数采用b p 算法，而对输出权值采用线性最j 、- - 乘 滤波法进行训练的混合学习算法。实验结果表明，该方法设计的r b f 网络结构 精简，具有良好的泛化性能，所采用的混合学习算法收敛速度优于单纯的b p 算 法。 为解决粗逻辑神经网络精度和网络规模复杂性及推广泛化能力之间的矛盾， 提出一种具有可变离散精度的粗逻辑神经网络模型设计方法。该方法通过近似域 划分，将论域空间划分为确定性区域和可能性区域，由于可能性区域信息粒度过 大是造成误分类的重要原因，只需对可能性区域离散区间进一步细化，即可达到 提高粗逻辑神经网络模型的精度，同时抑制网络规模增长过快的目的。在长白山 天池地区的遥感图像分类实验中，常规离散精度等级确定的粗逻辑神经网络方法 在离散等级为7 时有最好性能，而本文方法以较小的网络代价和训练时间获得了 逼近的分类结果。 为避免约简计算，研究了基于模糊粗糙模型( f r m ) ，从自底向上的角度进 行粗神经网络建模的方法。该方法通过自适应g k 聚类算法，实现基于输入一 输出积空间聚类的模糊划分，在基于聚类数和约简属性搜索的基础上，提取优化 的f r m 模型，在此基础上融合神经网络实现租神经网络建模( f r mr n nm ) 。 对b r o d a t z 纹理图像的实验表明：其性能优于传统的贝叶斯和l v q 方法； f r r n n m 比单纯的f r m 模型具有更强的综合决策能力，在考虑到属性约 简的搜索后将有利于获得分类性能更好的f r m 优化模型；和传统的租逻辑神 经网络( r l n n ) 相比，f r m _ r n n m 方法建立的神经网络结构精简，收敛速度 快，具有更强的泛化能力。作为一种通用的决策系统建模方法，该方法可以广泛 应用于其它相关领域。 论文最后总结了全文的主要创新性研究成果，对下一步研究工作进行了展 望。 关键词：租糙集；神经网络；粗集神经网络；智能集成系统；模式识别 a b s t r a c t t h et h e o r yo fr o u g hs e t si sap o w e r f u lt o o lf o rp r o c e s s i n gu n c e r t a i n ，i n c o m p l e t e a n di m p r e c i s ei n f o r m a t i o na n di th a sb e c o m ea ni m p o r t a n tb r a n c ho fu n c e r t a i n c o m p u t i n g a n a l y s i sa n dm o d e l i n gb a s e do nr o u g hs e t s ，w h i c hc o v e rt h r e ek i n d so f h u m a nl o g i c a lt h i n k i n g ，i e i n d u c t i v er e a s o n i n g ，d e d u c t i v er e a s o n i n ga n dc o m m o n s e n s er e a s o n i n g ，d i r e c t l yi m i t a t eh u m a nl o g i c a lt h i n k i n ga b i l i t y w h i l ea sa n o t h e r i m p o r t a n tb r a n c ho fu n c e r t a i nc o m p u t i n g ，t h en e u r a ln e t w o r k ，w h i c hc o n s t r u c t e db y n u m e r o u so fi n t e r - c o n n e c t i v en e u r o n s ，s h o w sp o w e r f u ln o n l i n e a rm a p p i n g ，a d a p t i v e ， s e l f - l e a r n i n g ，r o b u s ta n df a u l t t o l e r a n ta b i l i t y a n di ti st h em i m i co f h u m a n i m a g i n a l t h i n k i n g d u et oc o m p l e m e n t a r ya d v a n t a g e si nm o d eo fi n f o r m a t i o np r o c e s s i n g ， k n o w l e d g ea c q u i s i t i o n ，a n t i n o i s ec a p a b i l i t ya n dg e n e r a l i z a t i o na b i l i t y , e t c ，r o u g h n e u r a ln e t w o r k ，w h i c hi n t e g r a t e sr o u g hs e t sa n dn e u r a ln e t w o r kt e c h n o l o g i e s ， r e f l e c t ss o m ec h a r a c t e r i s t i c so fh u m a ni n t e l l i g e n t i , e i ti st h ec o m p o u n do f q u a l i t a t i v ea n dq u a n t i t a t i v e ，c l e a ra n di m p l i e d ，s e r i a la n dp a r a l l e l t h e nt h er e s e a r c h o f r o u g hn e u r a ln e t w o r kc e r t a i n l yh a sl e a d i n g ，s c i e n t i f i ca n ds u p e r i o rc h a r a c t e r i s t i c s a sa ni m p o r t a n tb r a n c h o fp r e s e n ti n t e l l i g e n ti n t e g r a t i o ns y s t e m ，r o u g hn e u r a l n e t w o r kp r o m i s e st ob et h em a i nt e c h n o l o g yt od e v e l o pn e x tg e n e r a t i o ne x p e r t s y s t e m as e r i e so fe x p l o r a t i o na n dr e s e a r c ha r ed o n ei nr o u g hn e u r a ln e t w o r kb y i m p r o v i n gt h e i n f o r m a t i o n p r o c e s s i n ga b i l i t y , b u i l d i n gn e wd e c i s i o ns y s t e m m o d e l i n gm e t h o d s ，e x t e n d i n ga p p l i c a t i o nf i e l d sa n ds o l v i n gt h ep r o b l e mo fe a s i l y c o n s t r u c t i n ga n dc o m p u t i n gc o m p l e x i t y a n dt h et h e s i sp r o p o s e ss o m en e wr o u g h n e u r a ln e t w o r ki n t e g r a t i o nm e t h o d sa n da p p l i e st h e mt op a t t e r nr e c o g n i t i o n t h ep a p e rs u m m a r i z e sa n dg e n e r a l i z e st h er o u g hn e u r a ln e t w o r ki n t e g r a t i o n m e t h o d st h a th a sb e e nd e v e l o p e df o rl a s td e c a d ea n dc a t e g o r i z e st h e mi n t ot h r e e m a i ni n t e g r a t i o nm o d e s ，i e r o u g hs e t sa n dn e u r a ln e t w o r kg e n e r a li n t e g r a t i o n s y s t e m ，r o u g hb o u n d a r yv a l u en e u r a ln e t w o r ka n dr o u g h g r a n u l a rn e u r a ln e t w o r k a n dp r e s e n tr e s e a r c hs t a t u so f e a c hi n t e g r a t i o nm o d e ，a l s ot h ep r i n c i p l ea n d c h a r a c t e r i s t i co ft h e ma r ea n a l y z e da n de x p o u n d e di nt h i sp a p e r b ed i f f e r e n tf r o mc o n v e n t i o n a ll i t e r a t u r e s ，w h e r er o u g hn e u r a ln e t w o r k sw e r e s t u d i e db a s e do nr o u g hs e t sd a t aa n a l y s i sa n dr e d u c t i o n i nt h i sp a p e r , b a s e do n r o u g hl o g i ct h e o r y , t h ed e s i g no fr o u g hn e u r a ln e t w o r km o d e lw i t hf u z z yn e u r o n s v u n d e rt h em e a n i n go fr o u g hl o g i ci ss t u d i e d a n dt h ec h a r a c t e r i s t i c so fr o u g hl o g i c n e u r a ln e t w o r ka n df u z z yl o g i cn e u r a ln e t w o r ka r ea n a l y z e da n dc o m p a r e d t h e v a l i d i t yo ft h er o u g hl o g i cn e u r a ln e t w o r km o d e lc a nb ev e r i f i e di nt h el a n dc o v e r c l a s s i f i c a t i o ne x p e r i m e n to ft h el a n d s a tt mr e m o t es e n s i n gi m a g eo fc h o n g q i n g a r e aa n dc h a n g b a im o u t a i na r e a m o r e o v e r ，t h er o u g hl o g i cn e u r a ln e t w o r ki n d i c a t e s s u p e r i o r i t i e sa tt h ea s p e c to fs t r u c t u r ea n dc o n v e r g e n c e a f r n n ( f u z z yr o u g hn e u r a ln e t w o r k ) m o d e l ，w h i c hi sc o n s t r u c t e db yf u z z y n e u r o n sa n dr o u g hn e u r o n s ，i sp r o p o s e db ya d d i n gaf u z z yn e u r o nl a y e rb e t w e e n i n p u tl a y e ra n dh i d d e nl a y e r d u et oi n d i f f e r e n t i a b l ef e a t u r eo fr o u g hn e u r o n s ，b p a l g o r i t h mc a n tb ea d o p t e da g a i n t h u sak i n do fg a ( g e n e t i ca l g o r i t h m ) i n t e g r a t i n g w i t hm o u n t a i nc l i m b i n gi sa p p l i e dt ot u n et h ew e i g h t so ft h ef r n n a n dt h el o c a l s e a r c he f f i c i e n c yf o ro p t i m u ms o l u t i o ni si m p r o v e di nt h el a t e rp e r i o do fl e a r n i n g p r o c e s s t h er e s u l t s o fs i m u l a t i o ni n d i c a t et h a tt h ef r n n ，w h i c hi n t e g r a t e st h e a b i l i t yt od e a lw i t hf u z z yi n f o r m a t i o na n dr o u g hi n f o r m a t i o n ，h a sb e t t e rp e r f o r m a n c e t h a nb pn e t w o r ka n dr o u g hn e u r a ln e t w o r kt h a tc o n s t r u c t e do n l yb yr o u g hn e u r o n si n i m a g ef u s i o nf o rf i l t e r i n g t h u st h ef r ii s ak i n do fh y b r i di n t e l l i g e n tn e u r a l n e t w o r kt h a th a sg o o dp e r f o r m a n c e b e c a u s ef u z z yu n c e r t a i n t ya n dr o u g hu n c e r t a i n t ya r eo f t e nb o t he x i s ti n i n f o r m a t i o ns y s t e m s of u z z yr o u g hs e t st h e o r yi sn e e d e dt op r o c e s st h e m af r m f n ( f u z z y r o u g hm e m b e r s h i pf u n c t i o nn e u r a ln e t w o r k ) m o d e li se s t a b l i s h e db a s e do n f u z z y r o u g hs e t st h e o r y t h ef r m f nr e s e r v e so r i g i n a lf u z z yi n f o r m a t i o n ，a tt h e s a m et i m et h er o u g hu n c e r t a i n t yd e c r e a s e sa tal a r g ee x t e n t t h et e s tr e s u l t so f c l a s s i f i c a t i o nf o rr e m o t es e n s i n gi m a g ea n dv o w e lc h a r a c t e r si n d i c a t et h a tt h e f r m f nh a sb e t t e rc l a s s i f i c a t i o np r e c i s i o nt h a nr b f ( r a d i a lb a s i sf u n c t i o n ) n e t w o r k a n di th a st h es a m em e r i to fq u i c kl e a r n i n ga sr b fn e t w o r k a p p l i c a t i o ns y s t e md e s i g n e db yc o n v e n t i o n a lp a w l a kr o u g hs e t sd a t aa n a l y s i s m e t h o dh a st h ed e f e c t so fw e a kg e n e r a l i z a t i o na n dp o o ra n t i n o i s ea b i l i t y t ob e t t e r t a c k l et h e s ep r o b l e m s ，t h e d e s i g no ft h er o u g hn e u r a ln e t w o r kb a s e do nv a r i a b l e p r e c i s i o nr o u g hs e tm o d e l ，i nw h i c ht h em a j o r i t yi n c l u s i o nr e l a t i o ni su s e d ，i ss t u d i e d h e r et h ec o n d i t i o no f 一a p p r o x i m a t i o nr e d u c t i o ni sg e n e r a l i z e d a n dt h ec r i t e r i a f o rs e l e c t i n ga na p p r o p r i a t e8 一a p p r o x i m a t i o nr e d u c t i o n ，w h i c hb a s e do nt h ea n a l y s i s o fa b n o r m a lr e d u c t i o na n de x a m p l ei si n t r o d u c e d m o r e o v e r , t h ea l g o r i t h mf o r e x t r a c t i n gv a r i a b l er o u g hd e c i s i o nr u l e sa n dc o m p u t i n gr e l a t e ds t a b l eo t h r e s h o l d i n t e r v a li si n t r o d u c e d i nt h ee x p e r i m e n to ft h eb r o d a t zt e x t u r ei m a g ec l a s s i f i c a t i o n ， t h ep e r f o r m a n c e so fc o n v e n t i o n a lr n n ( r o u g hn e u r a ln e t w o r k ) a n dv p r n n v t ( v a r i a b l ep r e c i s i o nr o u g hs e tn e u r a ln e t w o r k ) a r ec o m p a r e d t h er e s u l t si n d i c a t e t h a tv p r n nn o to n l yh a sm o r es i m p l i f i e ds t r u c t u r ea n dc o s t sl e s st r a i n i n gt i m e ，b u t a l s o ，b e c a u s eo fi t sp o w e r f u la p p r o x i m a t ed e c i s i o n m a k i n ga b i l i t y , h a sb e t t e r g e n e r a l i z a t i o na b i l i t yt h a nr n n n e u r a ln e t w o r ke n s e m b l eb a s e do nr o u g hs e t sr e d u c t i o ni sp r o p o s e dt od e c r e a s e t h ec o m p u t i n gc o m p l e x i t yo fc o n v e n t i o n a lf e a t u r ee n s e m b l es e l e c t i o na l g o r i t h m s f i r s t l y , ad y n a m i cr e d u c t i o nm e t h o d ，w h i c hi n t e g r a t e sg e n e t i ca l g o r i t h ma n d r e s a m p l et e c h n o l o g y , i si n t r o d u c e d t h e nd y n a m i cr e d u c t i o nm e t h o di su s e dt og e t r e d u c ts e t st h a th a v es t a b l ea n dg o o dg e n e r a l i z a t i o na b i l i t y s e c o n d l y , m u l t i p l eb p n e u r a ln e t w o r k sb a s e do nd i f f e r e n tr e d u c t sa r eb u i l ta sb a s ec l a s s i f i e r s a n d a c c o r d i n gt ot h ei d e ao fs e l e c t i o ne n s e m b l e ，t h eb e s tg e n e r a l i z a t i o na b i l i t yn e u r a l n e t w o r ke n s e m b l ec a nb ef o u n db ys o m es e a r c hs t r a t e g i e s f i n a l l y , c l a s s i f i c a t i o n b a s e do nn e u r a ln e t w o r ke n s e m b l ec a nb ei m p l e m e n t e db yc o m b i n a t i o nw i t hv o t e r u l e t h em e t h o di sv e r i f i e di nt h ee x p e r i m e n to fc l a s s i f y i n gl a n d s a t7b a n d sr e m o t e s e n s i n gi m a g eo fa na r e a s i n c eag r e a tn u m b e rf e a t u r es e t so fp o o rp e r f o r m a n c e w e r ed i s c a r d e db yr e d u c t i o nb a s e do nr o u g hs e t s t h u sc o m p a r e dw i t hc o n v e n t i o n a l f e a t u r es e l e c t i o na l g o r i t h m s ，t h em e t h o dn e e d sl e s st i m e ，h a sl o w e rc o m p u t i n g c o m p l e x i t y , a n dt h ep e r f o r m a n c ei ss a t i s f i e d g e n e r a l i z a t i o na b i l i t yo fe n s e m b l en e t w o r k sc a nb ei m p r o v e di ft h ed i v e r s i t yo f t h ei n d i v i d u a ln e t w o r kb e i n c r e a s e d c o n s i d e r i n g t ot h i s p o i n t ，h e r e ， r o u g h b o o s t i n ga n dr o u g h b a g g i n g a r ep r o p o s e da sn e wi n d i v i d u a ln e t w o r k b u i l d i n ga l g o r i t h m s f i r s t ，t h et r a i n i n gs a m p l e sa r ed i s t u r b e db yb o o s t i n go rb a g g i n g m e t h o d s ，t h e n ，b a s e do nr o u g hs e t st h e o r y , p r o p e ra t t r i b u t e sa r es e l e c t e db yf i n d i n g r e l a t i v er e d u c t s t h u s ，t h em e c h a n i s mo fd i s t u r b i n gt r a i n i n gd a t aa n dt h ei n p u t a t t r i b u t ea r ec o m b i n e dt oh e l pg e n e r a t ea c c u r a t ea n dd i v e r s ec o m p o n e n tn e t w o r k s e x p e r i m e n t r e s u l t ss h o wt h a tt h e g e n e r a l i z a t i o na b i l i t y o fp r o p o s e dm e t h o d o b v i o u s l yb e t t e rt h a nt h a t o fb o o s t i n ga n db a g g i n gm e t h o d s ，a n di n d i v i d u a l n e t w o r k sg e n e r a t e dh a v em o r ed i v e r s i t yt h a nt h a to fb o o s t i n go rb a g g i n g c o m p a r e d w i t hp r e v a i l i n gs i m i l a rm e t h o d s ，t h ep r o p o s e dm e t h o dh a sc l o s eo rc o r r e s p o n s i v e p e r f o r m a n c e w h i l ed e s i g n i n gr b fn e t w o r kb yc o n v e n t i o n a lc l u s t e r i n gm e t h o d s ，i ti so f t e n c o n t a i nb l i n d n e s sa n ds u b j e c t i v i t y a n dc l u s t e r i n gr e s u l ti ss e n s i t i v et ot h ev a l u eo f i n i t i a ls t a t u s b e c a u s eo n l yc o n s i d e rt h es i m i l a r i t yo ft h es a m p l e si ni n p u tf e a t u r e s p a c e ，w h i l et h e i rc l a s sl a b e la r en o tt a k e ni n t oa c c o u n t ，s ot h ec l u s t e r i n gc a n t c o m p l e t e l yr e f l e c tt h em a p p i n gr e l a t i o n s h i pb e t w e e ni n p u ta n do u t p u tv a r i a b l e s v n t h u sam e t h o do fd e s i g n i n gr b fn e u r a ln e t w o r k ，w h i c hb a s e do nas u p e r v i s e dr o u g h c l u s t e r i n gm e t h o db yp a r t i t i o nu n d e ri n d i s c e r n i b i l i t yr e l a t i o n ，i sp r o p o s e d t h e r e i n ， c o n t i n u o u sa t t r i b u t e sa r ed i s c r e t i z e db yb o o l e a nr e a s o n i n ga l g o r i t h ma n do r i g i n a l d e c i s i o nm o d e sa r eg e n e r a t e d t h e ns i m i l a r i t i e sa m o n go r i g i n a ld e c i s i o nm o d e sc a n b em e a s u r e db yd i s s i m i l a r i t yd e g r e ea n do r i g i n a ld e c i s i o nm o d e sc a nb ec l u s t e r e d a t l a s t ，f i n a lc l u s t e r e dd e c i s i o nm o d e sa r eu s e dt oc o n s t r u c tr b fn e u r a ln e t w o r k b e c a u s et h el i n e a rw e i g h t so fo u t p u tl a y e ra n dn o n l i n e a rb a s ef u n c t i o np a r a m e t e r so f h i d d e nl a y e ra r eu p d a t e do nd i f f e r e n tt i m es c a l e s ，t oq u i c k e nt h et r a i n i n gs p e e d ，a h y b r i dt r a i n i n ga l g o r i t h mi si n t r o d u c e di nw h i c ht h ep a r a m e t e r so fh i d d e nl a y e ra n d w e i g h t so fo u t p u tl a y e ra r et u n e db yb a c kp r o p a g a t i o na l g o r i t h ma n dl i n e a rl e a s t s q u a r e sf i l t e r i n g ，r e s p e c t i v e l y r e s u l t so fe x p e r i m e n ti n d i c a t et h a tt h ed e s i g n e dr b f n e u r a ln e t w o r kh a sr e f i n e ds t r u c t u r ea n dp o w e r f u lg e n e r a l i z a t i o na b i l i t y a n dh y b r i d t r a i n i n ga l g o r i t h mh a sm o r er a p i dc o n v e r g e n c es p e e dt h a ns i n g l eb a c kp r o p a g a t i o n a l g o r i t h m ar o u g hl o g i cn e u r a ln e t w o r km o d e lw i t hv a r i a b l ed i s c r e t i z a t i o np r e c i s i o ni s p r o p o s e dt o s o l v et h ec o n t r a d i c t i o nb e t w e e nn e t w o r kp r e c i s i o na n dt h es i z eo f n e t w o r ka sw e l la sg e n e r a l i z a t i o na b i l i t y b a s e do nt h ea p p r o x i m a t i o na r e ap a r t i t i o n ， t h eu n i v e r s ec a nb ep a r t i t i o n e di n t oc e r t a i na r e aa n dp o s s i b l ea r e a b e c a u s et h e i m p o r t a n tr e a s o no fm i s c l a s s i f i c a t i o ni