（信号与信息处理专业论文）神经计算及其在感观评估中的应用.pdf

神经计算及其= f l 感玑评估中的应用 神经计算及其在感观评估中的应用 摘要 近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算 概念的内涵，使神经计算成为新的学科。近几年来发达国家的政府、军队、公司 对神经网络给予极大的关注，并积极开展相关的研究。现在，神经计算及其应用 已经渗透到各学科，并在模式识别、智能控制、风险评估、故障分析、知识发现、 遥感技术等领域取得令人鼓舞的进展。事实上，探究大脑一思维一计算之间关系 的研究还刚刚开始，道路还十分漫长，神经网络计算的理论研究及其应用的前沿 问题将渗透在2 1 世纪科学的挑战性问题中，并可能取得重大的突破。 本文对神经计算目前存在的问题进行了研究，主要包括如何增强神经网络的 可理解性，将神经网络理论与多元统计分析理论相结合，并在实际工程中加以应 用。主要研究成果有： 1 ) 针对神经网络内部知识提取的问题，提出了一种利用构造阶梯样本， 将受训b p 网络内部知识以直观的形式( 阶梯图) 反映出来，从而实现 对样本输入与输出变量间的相关性定量分析的方法。与传统方法比较， 这种新的相关性分析方法能更充分地揭示样本中输入与输出变量间的 线性和非线性相关性。 2 ) 针对s o m 网络拓扑映射的保序性形成机理，将样本对神经元的作用等 价分析为模拟弹性力的作用，对s o m 学习过程中神经元权向量演变过 程和s o m 网络拓扑映射保序性的机理给出了形象直观的解释。 3 ) 对神经计算与统计模式识别间的关系给出了简单的分析，提出一种利 用统计方法评价神经网络模型性能的方法，为如何选择合适的模型提 供了参考指标。实验证明利用此方法选择的模型确实在性能上比较优 良。 最后，针对烟草行业卷烟配方设计的现状，结合统计的方法对行业数据进行 分析、特征提取，进而利用神经网络构建感观评估模型，取得良好的效果，对某 些指标的预测水平已经达到可以工程应用的水平。 神经计算及其柏感观评估中的府用 关键词：神经计算，知识提取，阶梯样本，统计分析，相关分析，模型评价， 特征选择，感官评估 神经汁算及其在感观讦估中的应日 n e u r a lc o m p u t a t i o na n di t sa p p l i c a t i o ni ns e n s o r ye v a l u a t i o n a b s t r a c t i nr e c e n ty e a r s ，a r t i f i c i a ln e u r a ln e t w o r k sh a v en o to n l ya c h i e v e dg r e a tp r o g r e s s b o t hi nt h e o r i e sa n da p p l i c a t i o n ，b u te x p a n d e dc o n n o t a t i o no fc o m p u t i n gt om a k e n e u r a lc o m p u t i n gan e ws c i e n c e n o wn e u r a lc o m p u t i n ga n di t sa p p l i c a t i o n sh a v e a l r e a d yc o m ei n t om a n yd i s c i p l i n e sa n da c h i e v e dp l e n t i f u lf r u i t si nd i v e r s i f i e df i e l d s ， i n c l u d i n gs i g n a lp r o c e s s i n g ，i n t e l l i g e n tc o n t r o l l i n g ，p a t t e mr e c o g n i t i o n ，m a c h i n e v i s i o n ，n o n l i n e a ro p t i m i z a t i o n ，a u t o m a t i ct a r g e ti d e n t i f i c a t i o n ，k n o w l e d g ep r o c e s s i n g ， r e m o t es e n s i n g ，e t c i th a sb e c o m en o to n l yt h et a s t e so fs c i e n t i s t sb u ta l s ot h e i n t e r e s t so fg o v e r n m e n t sa n df o r c e s t h eg o v e r n m e n t sa n di n d u s t r i a lc o m m u n i t i e so f m a n yc o u n t r i e s r e g i o n sa r es ok e e no nn e u r a lc o m p u t i n gt e c h n i q u e st h a tt h e yh a v e i n v e s t e dal a r g ea m o u n tm o n e yo nc o r r e s p o n d i n gr e s e a r c h t h e r e f o r et h ep r o g r e s so f n e u r a lc o m p u t i n gw i l ln o to n l yp r o m o t et h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y b u ta l s oi n f l u e n c et h en a t i o n a lp o w e r s i nf a c t ，t h er e s e a r c h e so nt h e nr e l a t i o no f b r a i n t h i n k i n g - c o m p u t i n ga r ej u s t o nt h ew a y s o m ef r o n t i e r si nt h et h e o r i e sa n d a p p l i c a t i o n so fn e u r a lc o m p u t i n gw i l lb ea s s o c i a t e dw i t hm a n yc h a l l e n g i n gi s s u e si n t h e2 1 t hc e n t u r ya n dm a k eg r e a tb r e a k t h r o u g h i nt h i sd i s s e r t a t i o n ，3p r o b l e m ss t a n d i n gi nn e e do fs o l u t i o n sa r ei n v e s t i g a t e d ， w h i c hi n c l u d e si m p r o v i n gt h ec o m p r e h e n s i b i l i t yo fn e u r a ln e t w o r k s ，c o m b i n i n g n e u r a lc o m p u t i n gw i t l lt r a d i t i o n a lm u l t i v a r i a t es t a t i s t i c a la n a l y s i st e c h n i q u e s a n d a p p l y i n gn e u r a ln e t w o r k si nt o b a c c os e n s o r ye v a l u a t i o n t h em a i nc o n t r i b u t i o n so f t l l i sd i s s e r t a t i o na r es u l d l n a r i z e da sf o l l o w s ： f i r s t l y ，b a s e do nt h eb pn e u r a ln e t sp o w e r f u la b i l i t yo fs i m u l a t i n gf u n c t i o n ，t h e k n o w l e d g ei nt h et r a i n e db pn e t sm a yb ee x t r a c t e db yt h em e t h o do fc o n s t r u c t i n g l a d d e r - s a m p l e s ，v i s u a l l yr e f l e c t i n gi ti nt h ef o r mo fl a d d e r - i m a g e w ec a aa n a l y z et h e c o r r e l a t i o nb e t w e e ni n p u t sa n do u t p u t so ft h en e t sq u a n t i t a t i v e l yb yt h i sw a y i n c o n t r a s tw i t ht r a d i t i o n a lm e t h o d ，t h i sn e wm e t h o du n f o l d st h el i n e a ra n dn o n l i n e a r c o r r e l a t i o nb e t w e e ni n p u t sa n do u t p u t si nt h es a m p l e sm o r ee f f e c t i v e l y w h e nt h i s m e t h o di sa p p l i e di nf o r e c a s t i n gt h es e n s o r y - q u a l i t i e se v a l u a t i o no ft o b a c c o s ，t h e i i 冲经计算投jl 九譬州计估中d 府用 s i m u l a t i v ee x p e r i m e n t sh a v et e s t i f i e di t sv a l i d i t y s e c o n d l y ，t w ok i n d so fs i m u l a t e de l a s t i c f o r c e sa r ed e f i n e d ，w h i c ha r ei nd i r e c t p r o p o r t i o n t ot h ed i s t a n c eb e t w e e np a t t e l nv e c t o r sa n dw e i 【g h t v e c t o r st h e m e c h a n i s mo ft h ee v o l v e m e n to ft h ew e i g h tv e c t o r sa n dt h et o p o l o g i c a lo r d e r i n go f k o h o n e n l 5s o mm a yb eu n d e r s t a n d a b l ya n dv i s u a l l ye x p l a i n e db yt h ep r o p o s e d e l a s t i c f o i g e s t h i r d l y ，b a s e d m u l t i v a r i a t es t a t i s t i c a la n a l y s i s ，an e wm e t h o dt oe v a l u a t e p e r f o r m a n c eo fn e u r a ln e t w o r k si sp r o p o s e d ，e x p e r i m e n t a lr e s u l t ss h o wt h a t w e i n d e e dc a ns e l e c ta ne x c e l l e n tt r a i n e dn e u r a ln e t w o r k sb yt h i sn e wm e t h o d f i n a l l y ，c o m b i n i n g n e u r a l c o m p u t i n g a n dm u l t i v a r i a t es t a t i s t i c a l a n a l y s i s ， i n d u s t r i a ld a t as e th a sb e e nc l e a n e da n di t sf e a t u r eb e e ne x t r a c t e d f u r t h e r m o r e n e u r a ln e t w o r k sm o d e lh a sb e e np r o p o s e dt oh e l pt o b a c c oe x p e r t si ns e n s o r y e v a l u a t i n g p r a c t i c a la p p l i c a t i o n sh a v es h o w n t h a tm o d e l sw o r kq u i t ew e l l k e y w o r d g ：n e u r a lc o m p u t i n g ，k n o w l e d g ee x t r a c t i o n ，m u l t i v a r i a t es t a t i s t i c a l a n a l y s i s ，、c o r r e l a t i o na n a l y s i s ，f e a t u r es e l e c t i o n ，m o d e l e v a l u a t i o n ，s e n s o r ye v a l u a t i o n v 神经汁算及其在感观计竹中的应用 刖罱 随着科学技术的发展，特别是信息高速公路的兴建和计算网络的迅速普及，信 息的获取、分配越来越方便，随之而来的是信息量越来越大。有人说信息就是效 益，就是财富。实际上信息只是一种资源，正如其他资源一样，需要经过开发、 加工和综合利用才能变为人们可用的东西。信息也需要经过选择、识别等处理， 才能变为有用的知识来发挥作用，产生效益。由于信息处理赶不上需要，目前大 多数信息没有被充分利用，如资源卫星发回的图像、地震勘探采集的大量数据、 大量文献资料等。有人把堆积如山的原始信息比作信息“矿藏”，如不能及时挖 掘处理，则因过时而变为信息“垃圾”，占用存储空间，干扰了有用信息的利用。 信息处理的主要内容是研究信号、数据等的处理与识别，如模式识别、文字识别、 语音识别、文本理解等。尽管在计算机上利用已有处理方法在快速、精确等方面 有很大优势，但在形象识别、模糊性、灵活性、直观性、学习能力等方面远不如 人。希望计算机在信息处理方面具有类似人的智能性，通过智能信息处理技术把 来源不同、以各种形式表示的非结构化的原始信息加以处理、融合，转化为有序 的、分层次的、易于读懂的信息，并进一步转换成可用于预测和决策的知识，将 逐渐成为当前信息技术应用的关键问题。对这一问题，神经计算的研究应当而且 有可能发挥更大的作用。 产品感官质量品评作为一门复杂的边缘性综合技术，传统的感官评估方式因 其费时、费力、高成本已难以满足企业技术工作发展的需要。面对目前激烈的市 场竞争和消费者对不同口味产品的需求，企业的技术工作任务繁重、技术创新压 力增大。在大型企业集团低成本高速扩张的形势下，收购兼并企业数目不断增大， 产品品种大幅上升，如何保持同一牌号的产品在不同地区、不同生产基地制造的 产品风味的统一性和稳定性就显得尤为重要。 因此，借助现代信息技术，尤其是以神经计算为代表的一类智能方法来实现 智能感官评估，减少人为因素对产品质量的影响，快速低成本的完成大批量感官 评估任务，辅助技术人员进行质量控制、产品设计已成为当前配方设计相关的工 业应用领域中一项非常迫切的需求。 神终计算及j 柏感脱评估中的应用 1 1 神经计算的概念 1 神经计算 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，其组织能 够模拟生物神经系统对真实世界所作出的交互反应。基于神经网络建立计算模 型，并用于解决科学和工程中的问题就称为“神经计算”。 该领域最早的研究可上溯到m c c u l l o c h 和p i t t s 提出的m p 模型1 2 1 。在h e b b 提出了h e b b 学习规则【3 1 、r o s e n b l a t t 4 研制出感知机( p e r c e p t r o n ) 之后，神经计 算受到了极大的重视，吸引了大批研究人员参与该领域的研究工作，并取得了一 定的进展。但是，由于1 9 6 9 年m i n s k y 和p a p e r t l 5 1 指出感知杌的缺陷并表示出对 该方面研究的悲观态度，同时，以产生式规则为内部表示的专家系统方法展示出 灿烂的前景，导致很长时间内神经计算的研究处于停滞状态。在此期间，为专家 系统服务的知识工程成为了人工智能研究的主流。但是，随着知识工程的发展， f e i g e n b a u m 等1 6 j 知识工程倡导者意识到了所谓知识瓶颈问题，即将人类专家的知 识转化为机器可执行的规则存在着很大的困难，而如果机器能够自学习，则可望 解决该瓶颈问题。于是，机器学习研究得到了迅猛的发展吼在研究中，研究者 们【8 川发现，与机械学习、类比学习等学习方式相比，示例学习是解决知识瓶颈 问题唯一可行的方法。1 9 8 2 年，h o p f i e l d 1 0 1 利用全互连型神经网络和计算能量函 数成功求解了计算复杂度为n p 完全型的t s p ( t r a v e l l i n gs a l e s m a np r o b l e m ) 问 题。这充分展示了神经计算作为一种数值型示例学习方法蕴含的巨大潜力。从此， 神经计算成为了一个非常热门的研究领域，经过多年的发展，已成为计算智能三 大主流( 神经计算、模糊逻辑、演化计算) 之一。 1 2 神经计算研究的重要性 作为一个新兴的交叉学科，神经计算受到了哲学、生理学、心理学、物理学 等多个学科的关注，涉及从抽象的认识论到具体的生物电信号这样广泛的研究领 域。随着现代计算机科学的产生和发展，神经计算不仅获得了强有力的研究丁具， 还和计算机科学形成了非常密切的联系。同时，与现代冯诺依曼体系的计算工 种经计算及其扛感观评估中酌应用 作方式相比它又具有以下鲜明特征： 1 巨量并行性。在冯诺依曼机中，信息处理是集中的，串行的。神经 网络具有高度的并行结构和并行实现能力，其知识是存储在大量的连 接权重中，计算被扩展到巨量神经元中。这给予神经网络巨大的存储 容量和良好的鲁棒性，在需要的时候能以很高的速度作出判断。 2 非线性。一个神经元可以是线性或者是非线性的。一个由非线性神经 元互连的神经网络自身也是非线性的，并且它的非线性是一种分布于 整个网络中的特殊性质。非线性是一个很重要的性质，特别当输入变 量内部的物理值本身就是非线性时。 3 自适应性。神经网络具有调整自身突触权值以适应外界变化的能力。 特别，一个在特定运行环境下训练的神经网络，在环境变化不大的条 件下容易进行重新训练，以适应新的环境，从而可以处理各种模糊的 或随机的问题。 现在，神经计算及其应用已经渗透到各学科，并在信号处理、智能控制、 模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等 领域取得令人鼓舞的进展。神经计算不仅是科研人员的兴趣所在，还受到各 国政府、军队、企业的密切关注，各国均制定了有关的研究规划，其研究进 展不仅将促进科学和技术的进步，还将对各国的国力产生一定的影响。 1 3 神经计算存在的问题 随着近年来数学、物理学、生物神经学、计算机科学的进展，其科学成就在 人工神经网络中融合应用，已取得不斐的成绩，未来神经网络的研究必将有着广 阔的发展前景。然而探索人类思维的奥秘并不是最初的研究者们想像的，人脑尚 有许多特性和生物机制没有被揭示，更不能为人工神经网络所拥有了。随着研究 的深入，神经计算的问题逐渐暴露出来，其中的一些已经成为该科学进一步发展 的阻碍。但是，从另一方面来看，它们也揭示了该科学下一步应该着重研究的内 容。本文认为，目前亟待解决以下几个问题： 1 增强神经网络的可理解性。神经网络模型的一大特点是其分布式知识 表示，即网络中单一的神经元或连接权并没有明确的意义，这就决定 神经计算及娃存感规评估中的融甩 2 了神经网络是一种典型的“黑箱”模型，其学习到的知识隐藏在大量 的连接权值和阀值中。用户无法知道某一个具体的网络能做什么，也 无法知道它是怎么做的。一般来说，“可解释性”是可靠系统的必备 特性，由于通常的神经网络模型都是“不可解释的”，这在一定程度 上影响了用户对通过神经计算技术构建智能系统的信心。虽然 e b b a u m 和d h a u s s l e r 1 在1 9 8 9 年指出，“如果一个神经网络可以 为大量的训练样本产生正确的解答，那么可以相信它也能为类似于训 练样本的未知样本产生正确解答”，但这并没有抵消用户对可理解性 的偏好。此外，训练好的神经网络所学到的知识不能以容易理解的方 式提交给决策者，这也是神经计算技术难以实际工程应用的主要原因 之一。 将神经计算与统计模式识别技术相结合。虽然它们成长于不同的领域 计算智能和统计学，但从本质上讲，神经计算和统计模式识别都 是从数据中学习。它们希望根据一组特征从样本集中建立预测模型或 学习器，从而可以预测新的未知对象的结果，一个好的学习器可以精 确的预测这种结果。同时，神经计算与统计模式识别在学习方法上也 具有一定的等价关系。神经计算虽然已经提出许多年了，但是还没有 一个统一的理论框架。把统计方面的理论引入神经计算中，不仅可以 借用数学上已经较成熟的观点来更好的解释神经网络的内在机理，而 且也可以指导我们更好的使用神经网络9 】。 样本集的特征选择与提取。特征选择和提取的基本任务就是从许多输 入变量中找出那些最有效的特征。特征的选择是很重要的，它强烈地 影响到预测模型的设计及其性能。在很多实际问题中常常不容易找到 那些最重要的特征，或受条件限制不能对它们进行测量，这就使得特 征选择和提取的任务复杂化为构造预测模型最困难的任务之一。 1 4 本文的工作 针对前面提出的神经计算存在的几个问题，本文主要在3 个方面做了工作， 并且将神经计算的方法应用到卷烟配方感观评估这一工程应用领域中，如图1 1 。 神经计算及其自一感观评估中的应用 神经计算中的问题本文的研究工作本文的工 神经网络内部 程应用 增强神经网络 知识抽取 的可理解性 l k o h o n e n 网络保卷烟 i。 序性形成机理i感观 将神经计算与 l 研究l评估 的神 统计模式识别 学习过程的统 经网 计性质 络实 技术相结合 现 模型性能的统 计分析y 样本集的特征 选择与提取 数据清洗的统 计方法 特征提取的相 关分析方法 图1 1 本文的主要工作 第2 章，本文提出了一种利用构造阶梯样本，将受训b p 网络内部知识以直 观的形式( 阶梯图) 反映出来，从而实现对样本输入与输出变量的相关性定量分 析的方法。与传统方法比较，这种新的相关性分析方法能更充分地揭示样本中输 入与输出变量间的线性和非线性相关性。此外，提出模拟弹性力的思想，对s o m 学习过程中神经元权向量的演变过程及s o m 拓扑映射保序的机理给出了易于理 解的、形象的解释。 第3 章，对神经计算与统计模式识别间的关系，尤其是与回归分析间的关系 给出了理论分析，并提出一种利用统计的方法来评价神经网络模型性能的方法。 实验结果证明了此方法的有效性。 第4 章，综合利用前几章的研究成果，将神经计算的和统计的方法应用到卷 烟感观评估这一实际工程应用中。对一个实际的预测评估系统，只有在特征确定 之后才能对分类器或预测器进行设计。在本文的工作中，这两者是相互交叉进行， 对不同的方案利用相关分析和模型性能评价的结果来反复比较，最终确定合适的 神绎计算及其在感规评估巾的应用 卷烟感观评估模型，实际应用充分反映改方法和思路的良好效果。 神经h 。算及其在感规开估中的麻用 2 1 内部知识提取 2 1 1 概述 2 增强神经网络的可理解性 神经计算已经被成功地廊用到很多不同的领域，并取得了大量成果。然而， 其进一步的发展却受到了个固有缺陷的限制，即神经刚络学到的知识蕴涵在大 量的连接权中，用户无法了解网络到底学到了什么、能处理什么样的任务，也无 从知道网络如何进行预测、为什么得出这样或那样的推理结论。一般来说，“可 解释性”是可靠系统的必备特性，由于通常的神经网络模型都是“不可解释”的， 这在一定程度上影响了用户对通过神经计算技术构建智能系统的信心。虽然 b a n t u 和h a n s s l e n l 在1 9 8 9 年指出，“如果一个神经嘲络可以为大量训练例产生 正确的结果，那么可以相信它也能为类似于训练例的未知示例产生正确结果”， 但这并没有消除用户对可理解性的偏好。此外，训练好的神绎网络学习到的知识 不能以容易理解的形式提交给决策者，这也是神经计算技术难以t 程应用的主要 原因之一。 从神经网络中抽取符号规则将有助于增强神经嘲络的可理解性。这方亟的 研究可上溯到2 0 世纪8 0 年代末g a l l a n t 的工作。1 9 8 8 年，g a l l a n t i ”1 在其连接主 义专家系统中，对不采用分布式知识表示的连接主义模型与折合范式之问的关系 进行了研究。他根据推理强度对可用属性进行排序，从而构造出可以解释恻络如 何为某个给定事例产生结论的i f - - t h e n 规则。虽然g a l l a n t 的主观目的尾比较连 接主义模型与析合范式的知识表示效率，但他的工作在客观上给出了一种神经网 络规则抽取方法的雏形。在此之后，尤其在2 0 世纪9 0 年代初随着数据挖掘的 兴起机器学习和神经计算界的很多研究者意识到神经网络规则抽取的重要性， 纷纷投身到这方面的研究中去。1 9 9 5 年，a n d r e w s 等人对该领域早期的一些 成果做了一个很好的综述 1 9 9 8 年，( i e e e t r a n s a c t i o no n n e u r a l n e t w o r k 为神经网络规则抽取：h 版了 一期专刊，t i c k l e 和a n d r e w s l l 4 1 在首篇文章中明确指出，从神经网络中抽取规则 一期专刊，t i c k l e 和a n d r e w s l f 4 1 在首篇文章巾明确指出，从神经网络中抽取规则 神经汁算及其在感观评估中的应用 2 1 内部知识提取 2 1 1 概述 2 增强神经网络的可理解性 神经计算已经被成功地应用到很多不同的领域，并取得了大量成果。然而， 其进一步的发展却受到了个固有缺陷的限制，即神经网络学到的知识蕴涵在大 量的连接权中，用户无法了解网络到底学到了什么、能处理什么样的任务，也无 从知道网络如何进行预测、为什么得出这样或那样的推理结论。一般来说，“可 解释性”是可靠系统的必备特性，由于通常的神经网络模型都是“不可解释”的， 这在一定程度上影响了用户对通过神经计算技术构建智能系统的信心。虽然 b a u m 和h a u s s l e h i 在1 9 8 9 年指出，“如果一个神经网络可以为大量训练例产生 正确的结果，那么可以相信它也能为类似于训练例的未知示例产生正确结果”， 但这并没有消除用户对可理解性的偏好。此外，训练好的神经网络学习到的知识 不能以容易理解的形式提交给决策者，这也是神经计算技术难以工程应用的主要 原因之一。 从神经网络中抽取符号规则将有助于增强神经网络的可理解性。这方面的 研究可上溯到2 0 世纪8 0 年代末g a l l a n t 的工作。1 9 8 8 年，g a l l a n t i ”】在其连接主 义专家系统中，对不采用分布式知识表示的连接主义模型与折合范式之间的关系 进行了研究。他根据推理强度对可用属性进行排序，从而构造出可以解释网络如 何为某个给定事例产生结论的i f - - t h e n 规则。虽然g a l l a n t 的主观目的是比较连 接主义模型与析合范式的知识表示效率，但他的工作在客观上给出了一种神经网 络规则抽取方法的雏形。在此之后，尤其在2 0 世纪9 0 年代初随着数据挖掘的 兴起机器学习和神经计算界的很多研究者意识到神经网络规则抽取的重要性， 纷纷投身到这方面的研究中去。1 9 9 5 年，a n d r e w s 等) 2 1 3 1 对该领域早期的一些 成果做了一个很好的综述 1 9 9 8 年， i e e et r a n s a c t i o no nn e u r a ln e t w o r k ) 为神经网络规则抽取出版了 一期专刊，t i c k l e 和a n d r e w s 【】4 】在首篇文章中明确指出，从神经网络中抽墩规则 神绎计算及其在感观评估中的戍用 已经是当前神经网络界急需解决的问题最近几年，大批研究者涌入该领域，新 成果层出不穷这充分说明该领域已经成为机器学习和神经计算研究的热点。 2 1 2 研究现状 根据设计思想的不同，目前的方法大致可以分成两大类，即基于结构分析的 方法和基于性能分析的方法。本节后续部分将对这两大类中的典型算法进行介绍 和分析。值得注意的是，有的研究者i l5 】将神经网络规则抽取作为一种机器学习 方法进行研究，他们所关注的是抽取出的规则的泛化精度，而非规则对网络的保 真度。由于这些方法的目的和作用并不是增强神经网络的可理解性，因此本文没 有对它们进行介绍。 1 基于结构分析的方法 基于结构分析的神经网络规则抽取方法把规则抽取视为一个搜索过程，其基 本思想是把己训练好的神经网络结构映射成对应的规则。由于搜索过程的计算复 杂度和神经网络输入分量之间呈指数级关系，当输入分量很多时，会出现组合爆 炸。因此，此类算法一般采用剪枝聚类等方法来减少网络中的连接以降低计算复 杂度。 1 9 8 8 年，g a l l a n t 1 2 1 设计了一个神经网络专家系统，并提出了一个筒单的规则 抽取算法用于解释专家系统所做的推理。该算法通过抽取单个规则来解释神经网 络如何为某个给定事例( e a s e ) 得出结论。其基本思想就是从当前已知的信息集 中选择一个能有效地产生该结论的最小信息集合，也就是说，不管其他未知输入 分量的取值为多少，只要满足该最小信息集合的取值要求就可以得出结论。由于 该算法非常简单，只适用于连接权较少的小型的神经网络。 1 9 9 1 年，f u ”6 】提出了k t 算法。该算法将网络中结点的激活值通过近似处理 为o 和l ，将属性分为“正属性”和“负属性”，前者对某结论起到确认作用， 后者则起否定作用。在所有的“负属性”都不出现的情况下，找出所有最多由 个“正属性”组合的集合。然后从该集合中找出最多有k 个前件( 相应于女个“正 属性”) 的规则，这些规则在“负属性”部分或全部出现的情况下，仍然使某结 论成立。对单层网络，通过上述处理就可以抽取出规则。对多层网络，k t 将隐 结点视为“隐属性”，然后按处理单层网络的方法一层一层地抽墩出规则，最后 神经计算及其在感观评估中的应j = f l 通过“代入”等方法重写这些规则，直到规则中只出现输入属性和输出结论为止。 值得注意的是，虽然k t 算法对“正”、“负”属性的区分降低了规则搜索复杂度， 但这也限制了算法的规则抽取能力，使得抽取出的规则无法精确地描述原神经网 络。 1 9 9 2 年，t o w e l l 和s h a v l i k t l 为基于知识的神经网络( k n o w l e d g eb a s e d a r t i f i c i a ln e u r a ln e t w o r k s ，k b a n n ) 【l 即设计了一种规则抽取算法，即m o f n 算 法。该算法先用标准聚类算法合并k b a n n 中权值接近的连接以创建等价类，并 将每个等价类的权值设为该组连接权的平均值，然后去掉那些列结果影响不大的 等价类，在不调整权值的前提下对神经网络重新进行训练，最后直接根据网络结 构和权值抽取出形如i f ( mo f na n t e c e d e n t sa r et r u e ) t h e n 的m o f n 规则。 m o f n 规则形式不仅减少了抽取的规则数，还使褥规则集比较简单易懂。另 外，由于对连接进行了聚类，也使得规则搜索空间大为减少，从而较大地降低了 规则抽取的时间开销。图2 1 给出了一个典型的抽取m o f n 规则的例子： 图2 1m o f n 算法规则提取 值得注意的是，在普通的神经网络中，由于连接权大多发散地分布在权值空 间中，不象在k b a n n 中那样容易聚为等价类，因此一般来说，m o f n 算法仅 适用于k b a n n 。1 9 9 3 年，c r a v e n 和s h a v l i k l 2 0 1 提出，可以用柔性权共享( s o f t w e i g h t s h a r i n g ) 方法1 2 1 练网络，然后用m o f n 算法抽取规则。由于柔性权共 享方法会促进连接权在训练中聚类，这样就使得m o f n 算法的适用范围有所扩 大。但是，由于m o f n 算法对神经网络的结构有些很强的要求，例如要求神 经元激活值为二值模式、每个神经元表示唯一的概念、网络输入为离散值等，这 使其适用范围始终受到很大的限制。 1 9 9 3 年，s e s t i t o 和d i l l o n l 2 2 1 提出了一种利用抑制性单层网络为神经网络中每 神经计算及其n 感观评估中的成用 个输出神经元抽取相应规则的算法。他们首先将网络的输出神经元作为附加输入 神经元，利用扩展后的输入神经元、初始的输出神经元以及一个隐含层建立多层 网络，用b p 算法对其进行训练。训练完成之后，对所有输入和附加输入神经元， 根据式2 1 计算它们之间的误差平方和s s e ，其中a 为输入神经元，6 为附加输 入神经元( 即输出神经元) ，睨，和，分别为神经元日、b 与隐层神经元，之间的 连接权。s s e 实际上度量了输入神经元d 和输出神经元b 之间的接近程度，s s e 越小则说明输入a 对输出b 的作用越大。 跚扩：“眠一y f 2 - 】、 然后，利用扩展后的输入神经元以及初始的输出神经元建立一个单层抑制性 网络，用h e b b 规则确定神经元间的抑制性连接权呒。，该权值实际上度量了输 入神经元与输出神经元之间的相关度，值越小则说明某输入与某输出的关系越密 切。在此基础上，对每一个输入神经元d 和输出神经元b ，根据式2 - 2 计算其s s e 和抑制性连接权的积。最后，将乘积p r o d u c t 。从大到小排序。对某个特定的 输出，先找出乘积表中的截断点，即乘积表中的某一个位置，从该处断开的两个 乘积在数值上至少相差两到三倍。然后以截断点以下的所有输入属性为规则前 件，以输出为规则后件构造出合取规则。 p r o d u c t = w e i g h t o b s s e ，(2-2) s e s t i t o 和d i l l o n 的算法对前馈网络相当有效，可以抽取出较好的规则。但由 于在规则抽取过程中需要额外地构造并训练两个神经网络，其时间代价相当高。 1 9 9 5 年，s e t i o n o 和l i u l 2 3 1 提出了一种从神经网络中抽取规则的三阶段算法。 他们首先用权衰减( w e i g h t - d e c a y ) 方法训练一个b p 网络，该网络中较大的连 接权反映了较重要的连接；然后对网络进行修剪，在预测精度不变的情况下删掉 不重要的连接；最后通过对隐层神经元的激活值进行离散化，进而为每个输出结 点抽取相应的规则。该算法中离散化隐层神经元激活值的处理别具一格，这使其 摆脱了很多规则抽取方法对激活值类型的限制，可以处理非二值模式的激活值。 但是，由于无法保证网络的功能在离散化处理和修剪处理前后的一致性，因此该 算法抽取的规则在保真度：有。定的缺陷。 1 9 9 7 年，s e t i o n o 2 4 】提出了一种适用于三层前馈网络的通用型规则抽取算法。 神经计算艘其在感观r f 估中的应用 该算法不仅使用了s e t i o n o 和l i u 2 3 1 设训的激活值离散化技术，还使用了一种独 特的隐层神经元分裂技术，即当某个隐层神经元的输入连接数较多时，将其分裂 为若干个输出神经元，并通过引入新的隐层神经元来构建子网络，从而递归地进 行规则抽取处理。该算法可以产生相当精确的规则，但由于要训练多个子网络， 其时间开销相当大。另一方面，该算法只适用于规模较小的网络，这是因为在输 入神经元较多时，待分裂的隐层神经元数以及递归分裂的次数极大。 1 9 9 7 年，s e t i o n o 和l i u l 2 5 】还提出了一种从三层前馈网络中抽取倾斜规则 ( o b l i q u er u l e ) 的算法n e u r o l i n e a r 。与普通的规则相比，倾斜规则通常可以更 好地表示边界与属性空间轴非垂直的判定域，从而较大地减少规则前件数。 n e u r o l i n e a r 抽取的规则前件形式为： c 玎 1 ( 2 3 ) n e u r o l i n e a r 首先通过修剪网络去除冗余连接，并对隐层神经元激活值进行 聚类以降低组合复杂度。然后用隐层神经元聚类后的离散激活值表示输出层神经 元的输出，用输入层神经元的激活值表示隐层神经元聚类后的离散激活值，从而 得到层次形式的规则。再对这些规则进行合并，从而得到直接用输入属性表示网 络输出的规则。 2 0 0 0 年，s e t i o n 0 1 2 6 】又最新提出了快速规则抽取算法。所谓快速是相对于其 他的基于结构的规则抽取算法而言，一般地说，为了避免组合爆炸的问题，大多 数规则抽取算法都要对原神经网络进行剪枝操作，去掉一些不重要的连接，但为 了保证神经网络的精度，需要对剪枝后的神经网络进行再训练，这增加了算法的 开销，降低了算法的效率。为此，s e t i o n o 提出了f e r n n 算法，该算法无需对神 经网络进行多次训练，可以抽取m o f n 规则或是d n f 规则。 我的导师冯天瑾教授也在这方面做了大量研究工作2 7 , 2 8 , 2 9 , 3 叫并提出了1 种关 于多层感知器( m l p ；m u l t i - - 1 a y e r p e r c e p t r o n ) 部行为的半线性分析理论与清晰 解释 3 l i ，它适用于m l p 模式分类、函数逼近及参数估计等一般应用。将这种理 论应用于研究烟草的感观质量和分析指标之间的复杂关系，对卷烟的配方设计工 作提供了有力的帮助。 2 基于性能分析的方法 与基于结构分析的方法不同，基于性能分析的神经网络规则抽取方法并不对 i 中绎计算及j i 在感观评估中的应用 神经网络结构进行分析和搜索，而是把神经网络作为个整体来处理，这类方法 更注重的是抽取出的规则在功能上对网络的重现能力，即产生一组可以替代原网 络的规则。 1 9 9 0 年，s a i t o 和n a k a n o 口2 j 提出了r n 算法。该算法先从少数正例中抽取规 则，然后根据未被覆盖的正例扩展规则，根据覆盖的反例缩减规则，直到规则覆 盖了所有的正例，并且不覆盖任何反例为止。抽取的规则表示为析合范式形式。 虽然该算法并不对网络结构进行分析和搜索，但其要搜索正、反例空间，因此该 算法在示例空间较大时将面临组合爆炸问题。 1 9 9 4 年，c r a v e n 和s h a v l i k 3 3 】为神经网络规则抽取任务下了一个定义：给定 一个训练好的神经网络以及用于其训练的训练集，为网络产生一个简洁而精确的 符号描述。显然，该定义来自于性能分析的角度。在该定义的基础上，c r a v e n 和s h a v l i k 将规则抽取视为一个目标概念为网络计算功能的学习任务，提出了一 种基于学习的规则抽取算法。该算法使用了两个外部调用( o r a c l e ) ，其中 e x a m p l e s 的作用是为规则学习算法产生训练例，s u b s e t 的作用则是判断被 某个规则覆盖的示例是否都属于某个指定类。算法为每个分类产生各自的d n f 表达式，它反复地通过e x a m p l e s 产生训练例，如果某训练例没有被当前该类 的d n f 表达式覆盖，则新规则被初始化为该训练例所有属性值的合取，然后反 复尝试去掉该规则的一些前件，并且调用s u b s e t 来判断该规则是否与网络保 持一致，从而使规则得以一般化。该算法不需使用特殊的网络训l 练方法，也不需 将隐层神经元近似为阈值单元，但其计算量较大。 1 9 9 5 年，t l l r u n 为前馈神经网络提出了一种基于有效区间分析( v a l i d i t y i n t e r v a la n a l y s i s ) 的规则抽取算法。该算法的关键是为所有或部分神经元找出激 活区间，即有效区问。算法通过检查有效区间集合的一致性而不断排除导致不一 致的区间。t h n m 描述了两种不同的操作方式，即从特殊到一般和从一般到特殊。 前