（信号与信息处理专业论文）神经网络内部知识提取及其在企业财务预警中的应用.pdf

神经网络内部知识提墩艟儿“企业财务预警中的威用 神经网络内部知识提取及其在企业财务预警中的应用 捅要 长期以来，人们把神经删络经训练而获得的知识称为隐知识或隐规则，很难 为我们理解。因此，神经网络常常被称为黑匣子。多层感知器的内部行为是 神经网络理论与应用研究倍受重视的一个问题。在应用中，人们不仅希望神经网 络能实现从输入变量到输出变量的计算，而且还想知道它们所学到的知识的显式 表示，输入与输出变量之i 剞究竟是什么样的关系，即，希望用神经网络方法“从 数据中自动得出理论”，以便进一步指导实际工作。 以前，我们曾在将隐神经元s i g m o i d 激励函数近似表示为线性函数的情况 下，找出了多层感知器输出量与输入量的近似函数关系。该方法所得结果有一部 分具有应用价值，但当应用问题具有强非线性时，所提取的知识可靠性差。在此 基础上，本文吸取国际学术界新的研究成果f 】，针对输入输出均为连续量的多层 感知器应用问题，利用隐神经元激励函数分段线性的近似表示方法，提取受训神 经网络的内部知识，从而得到研究问题中变量问的关系。本文开发了分段线性算 法、多层感知器剪枝和内部知识提出算法的软件，并将此方法应用于企业财务预 警，得到了一些具有实际应用价值的知识。 本文提出一种针对输入输出为连续的前馈神经网络，从受训的神经网络中抽 取非规则形式知识的新方法。在过去我们对多层感知器( m l p s ) 内部行为的研究 基础上，进一步以分段线性理论近似分析，以知识的形式表征所研究问题中变量 嵋j 的关系，对训练好的神经网络更清晰的解释。 关键词：多层感知器，企业预警，规则提取，数据降维，模式识别 神经喇络内部知识攫取，豆j i 九企世财务顶警中的心用 r ulee x t r a c tio r lf r o m n e u t r ain e t w o r ka n d t h e a p p ii c a t i o n s i nt h ee a ri y - w a r n in go f e n t e r p r is e a b s t r a c t f o ral o n gt i m e ，t h ek n o w l e d g ew h i c hi ss t u d i e db yn e u t r a ln e t w o r ki sc a l l e d h i d d e nk n o w l e d g eo rh i d d e nr u l e sf o ri t sd i f f i c u l t yt oe x p r e s s s on e u t r a ln e t w o r k si s a l s on a m e d b l a c kb o x e s t h ee x p r e s so fn e u t r a ln e t w o r k si sah o tt o p i ci nt h i sf i e l d p e o p l en o to n l yw a n tt h en e u t r a ln e t w o r kt oi m p l e m e n tt h em a p p i n gf r o mi n p u t st o o u t p u t s ，b u ta l s ow a n tt ok n o ww h a ti st h ek n o w l e d g eh i d i n gi nt h es h a d eo fn e t w o r k ， t h a ti s ，t og e tr u l e sa u t o m a t i c a l l yf r o md a t ai no r d e rt ou s ei ta g a i ni nt h ep r a c t i c e w ee v e ru s el i n e a rf u n c t i o nt o a p p r o x i m a t es i g m o i df u n c t i o na n de x t r a c tt h e r e l a t i o nb e t w e e ni n p u t sa n do u t p u t sw i t h i nt h eg i v e np r e c i s i o n b u tw h e nt h eq u e s t i o n i sn o n l i n e a r , i t sp r e c i s i o ni sw o r s es ow el e a r nf r o mo t h e r st oi m p r o v ei t w h e nt h e i n p u t s a n do u t p u t sa r ec o n t i n u o u s ，w eu s et h es u b s e c t i o nl i n e a rf u n c t i o nt o a p p r o x i m a t e t h e s i g m o i df u n c t i o n i nt h e m u l t i l a y e rp e r c e p t r o n s ( m l p s ) w e i m p l e m e n tt h ea l g o r i t h mw h i c hi n c l u d e s t h es u b s e c t i o nl i n e a r t h e o r y ；p r u n i n g t e c h n i q u e so ft h em u l t i l a y e rp e r c e p t r o n sa n de x t r a c t i o nr u l e sm e t h o d s w ea l s om a k e u s eo fi ti ne a r l yw a r n i n go fe n t e r p e r i s e w ed r a ws o m eu s e f u lc o n c l u s i o n t h ep a p e rp r e s e n t san e wm e t h o dt oe x t r a c tr u l e sf r o mt r a i n e d n e u t r a l n e t w o r k sw h o s ei n p u tv e c t o r sa n do u t p u tv e c t o r sa r ec o n t i n u o u s o nt h eb a s eo f s t u d y i n go nt h em l p s ，a n a l y z em o r eu s i n gt h es u b s e c t i o nl i n e a rt h e o r y t h ep a p e r e x p r e s s e st h er e l a t i o ns h i pb e t w e e nv a r i a b l e sb ym e a n so fk n o w l e d g e ，a n dg i v e sc l e a r e x p l a n a t i o n k e y w o r d s ：m u l t i l a y e rp e r e e p t r o n s ( m l p s ) ，e n t e r p r i s ee a r l yw a r n i n g ，r u l e e x t r a c t i o n ，d a t ad i m e n s i o nr e d u c t i o n ，s u p p o r tv e c t o rm a c h i n e ( s v m ) 神经嘲络内部知识提取歧j a 企业财务倾警中的舸用 1 绪论 神经网络以其良好的分类及非线性回归能力，得以逼近任意维非线性函数。 但是，对于利用神经网络进行模式识别问题，还存在以下困难3 】： 1 神经网络学习的知识对人来说，理解困难，没有明确的知识含义。 2 原始训练样本的不足也许会影响到网络的泛化能力，这样，通过增加新 的类别，网络的泛化能力可能会得到提高，另外，剪切冗余的网络参数也可以提 高网络性能。 3 对于数据中先验的未知关系的分析。这些特征中含有大量的潜在的知识 发现数据挖掘信息。 规则提取可以将输入与输出之间映射关系以人类易于理解的方式表现出来， 解决这一困扰人们对神经网络内部知识理解的“黑箱性”。 1 1 研究工作的背景 中国加入w t o 后，中国企业比以往面临着更大的机遇和挑战，面对经济全 球化的冲击，面对外国公司的抢摊威胁，面对知识经济带来的竞争压力，企业面 临的不确定性日益增大，由财务危机而引发企业破产的例子屡见不鲜。但任何财 务危机都有一个逐步显现、恶化的过程，因此我们可以通过财务预警系统及时了 解各种异常征兆，迅速的采取措施，从而达到防范风险或是将损失减到最小程度 的目的。建立一套财务预警系统，是避免企业陷入财务危机直至破产的有力武器。 但是，单纯依靠传统财务理论和脑力对企业经营做出判断，显然不能适应现 代经济市场的特征。由此引发了寻找新理论、新工具，采用更加有效的方式对企 业经济状况进行分析、判断的需要。而神经网络近年来以其强大的非线性映射和 分类能力，在经济领域得到了广泛应用。本文以神经网络为基础，建立一套有效 的企业预警系统，并打破神经网络的“黑箱性”，用多个线性回归模型的形式， 将企业财务比率对企业经营状念的影响表示出来。同时，本文算法还研究了各个 财务比率对企业影响的重要程度。 一生丝型竺塑型型望堡壁丝! ! 生垒些堕堑堡! ! 塑坐旦 1 1 1 规则提取和知识发现的研究状况 规则提取可以说是知识发现的一个分支，知识发现是数据挖掘的核心部分。 知识发现指从数据库中识别有效的、新颖的、有潜在价值的以及最终可理解的模 式的非常规的过程。 知识发现是多学科的交叉领域，它吸收融合了诸如数据库技术、机器学习、 模式识别、统计学、人工智能、神经网络、专家系统、数据可视化、信息检索、 高性能计算、图像与信号处理和空间数据分析等领域的知识，从大规模数据库中 发现有用的知识。知识发现在兼容吸收其他领域的同时也不断展现自身特色。 1 1 _ 2 企业预警现有工具及方法 所谓企业财务风险预警系统，是指为了防止企业财务系统运行偏离预期目标 而建立的报警系统峨 识别企业财务风险的方法分为定性和定量两种。传统方法大都是从定性分析 出发，选定研究对象，落实到定量分析，通过对企业多项指标进行分析，反映、 预测企业的运行状况。其中，应用较为广泛的主要有：单变量分析模型、多变量 z s c o r e 模型 5 1 、在z s c o r e 模型基础上的改进模型及人工神经网络的应用。由于 神经网络在模式识别领域的良好表现，也被广泛用于金融( 经济) 领域，建立新 的预警模型。 胡燕京 6 】运用改进的b p 神经网络方法，建立中国金融风险预警模型，杨保 安【7j 利用三层b p 神经网络可以以任意精度逼近非线性函数的特性，利用b p 网 络作为对企业状态进行分类的工具。另有王琦、黄继鸿 8 1 提出的基于多a g e n t 的 企业预警支持系统，将每一种定性或定量的预警方法都设计成一个预警a g e n t ， 各个预警a g e n t 都有相应的求解方法、知识处理及同其它a g e n t 通讯合作的能力 而且各个a g e n t 都有不断地学习以提高自己的能力，从而提高预警系统的准确 性。胡一朗【9 】提出模糊模式识别理论模型，通过建立相对隶属度矩阵和超标权重 矩阵通过理论模型作用于指标值矩阵，构造出模糊识别矩阵，实现对金融危机的 预警研究。定性与定量结合预警分析方法：“a ”汜分法，也称管理记分法， 陔方法首先将与企业风险有关的各种现象或标志性因素列出，依据它们对企业经 神经网络内部知识提取及1 e 曲企业财务预警中的应用 营失败的影响大小进行赋值，然后将一个企业的所得数值或记分加起来，就可以 知道该企业的确切风险程度。更多神经网络在企业预警中的应用，请看3l 。关 于神经网络在企业预警中应用的具体方式，将在3 2 详细说明。 以上方法在对企业分类方面作了大量的工作，但是在揭示企业财务比率指标 和企业状态( 警度) 之间关系方面，都没有尝试。这也是本文选题的原因之一。 1 1 3 研究工作的内容 随着人工智能技术的不断发展，其应用领域不断延展，从当初单纯的工程技 术领域，早己进入社会生活的各个方方面面。而企业发展状况如何，与经济发展 紧密相连。将人工智能技术应用于企业状况判断及预测中，具有极大的社会及经 济价值。 上市公司绩效评价及其发展情况预测是经济管理领域的一项新的研究课题， 也是社会主义市场经济体制条件下企业的一项新的实践活动。企业绩效评价，是 指为了实现企业的战略目标，运用特定的指标和标准，采用科学的方法，对企业 经营过程及其结果迸行的价值判断。纵观近几年中国绩效评价实践，国内有关部 门和研究机构虽然对绩效评价工作进行了积极的探索，但中国企业的绩效评价体 系仍然尚未完全建立，特别是对上市公司的绩效评价仍然缺乏科学、系统和可操 作性的评价体系。 本文以上市公司财务数据为基础，将神经网络应用于企业绩效评价及其发展 情况预测。通过人工神经网络的训练、剪枝及规则提取算法，解释经学习后的神 经网络的内部行为，寻找输入财务数据与企业状态之间的关系。进行财务变量与 企业状态之间的规则提取。本文算法寻找对输出影响较大的输入分量，并揭示输 入与输出之间关系。 本文算法重点： 1 利用充足样本训练确保神经网络提取输入、输出变量之间知识( 规则) ， 作为知识提取基础。 2 ，选用恰当算法，对网络进行剪枝，在缩小网络规模结构的同时，保证网 络性能。 神经网络内部知识提墩发e 打企业财务预警中的应用 3 根据隐神经元学习结果，对网络进行规则提取。在不同的区间，表示所 对应的规则。 1 2 论文的组织结构 本文第一章为绪论，引入论文选题目的及方向。第二章介绍神经网络基础知 识及应用，包括其发展过程及基本结构、原理。第三章，介绍神经网络在企业预 警中的应用。第四章，对神经网络规则提取进行一定的阐述。第五章，介绍企业 预警模型：p c a s v m 模型，并且在警度识别能力和输入向量降维方面与本文算 法进行分析比较。第六章，对本文神经网络规则提取算法进行说明。第七章，本 文算法实现及实验结果，第八章对研究工作进行总结和展望。 神绛删络内部知识提取发j m ：企q k 财务颅警中的应用 2 人工神经网络基础及其应用研究 人工神经网络( a n n ) 是一种模拟生物神经系统结构和人类的形象思维过程 的人工智能技术【1 ”。从功能上讲，人工神经网络是模仿和延伸人脑智能的非线性 自适应动力学系统。通过输入样本对神经网络的训练，能够从数据样本中自动地 学习并揭示出样本中所蕴含的非线性关系，使其对事物和环境具有很强的自学 习、自适应、联想已忆、并行处理和非线性转换的能力，完成各种信息处理功能 1 2 1 。所以神经网络的知识积累是自动的，无瓶颈效应存在。从结构上讲，它是 。个对生物神经系统的某种抽象、简化和模拟的数学模型，是由许多神经元按照 不同的连接方式而构成的高度并行的非线性系统。a n n 所学得知识分布存储在 整个系统，而不是驻留在某个特定区域，因此具有很强的容错性1 1 3 ，在样本缺 损和参数漂移的情况下，仍能保证稳定的输出。 2 1 人工神经网络发展过程 人t 神经网络的发展可以追溯到i8 9 0 年，美国生物学家首先阐明有关人脑 的结构及其功能。1 9 4 3 年，美国心理学家m c c u l l o c h 和数学家p i t t s 提出了神经 元网络对信息进行处理的数学模型( 即m p 模型) b 4 ，揭开了神经网络研究的 序幕。1 9 4 9 年，h e b b 提出了神经元之旬连接强度变化的学习规则，即h e b b 规 则【l “，开创了神经元研究的新局面。1 9 5 6 年在由洛克非勒基金赞助的第一届人 工智能会议上，i b m 公司的研究人员n a t h a n i e l r o c h e s t e r 展示了他构造的神经网 络模型。该网络由几百个模拟神经元相互连接而构成，并且能对周围环境的刺激 产生反应，从而形成大量的神经网络数据。这也就是人们所了解的第一个软件模 拟神经网络。1 9 5 7 年美国心理学家r o s e n b l a t e 提出了感知机( p e r c e p t r o n ) 模型， 该模型具有自学习能力，它的成功研制掀起，人工神经元网络的第一次研究热 湖。1 9 5 9 年，斯坦福大学的教授b e r n a r dw i d r o w 丌发了一个自适应线性单元， 称为a d a l i n e 。a d a l i n e 和一个两层a d a l i n e 的变种m a d a l i n e 被应用于各种领域， 包括语音识别、字符识别、天气预报和自适应控制。之后不久，w i d r o w 使用自 适应线性单元算法开发了一个自适应过滤器，可以用于消除电话线上的回声，这 适应线性单元算法开发了一个自适应过滤器，可以用于消除电话线上的回声，这 神绎恻络内部知识提取战l _ i ，| 1 企业财务预警中的应用 2 人工神经网络基础及其应用研究 人工神经网络( a n n ) 是一种模拟生物神经系统结构和人类的形象思维过程 的人工智能技术【l ”。从功能上讲，人工神经网络是模仿和延伸人脑智能的非线性 自适应动力学系统。通过输入样本对神经网络的训练，能够从数据样本中自动地 学习并揭示出样本中所蕴含的非线性关系，使其对事物和环境具有很强的自学 习、自适应、联想记忆、并行处理和非线性转换的能力，完成各种信息处理功能 ”。所以神经网络的知识积累是自动的，无瓶颈效应存在。从结构上讲，它是 一个对生物神经系统的某种抽象、简化和模拟的数学模型，是由许多神经元按照 不同的连接方式而构成的高度并行的非线性系统。a n n 所学得知识分布存储在 整个系统，而不是驻留在某个特定区域，因此具有很强的容错性【”】，在样本缺 损和参数漂移的情况下，仍能保证稳定的输出。 2 1 人工神经网络发展过程 人工神经网络的发展可以追溯到1 8 9 0 年，美国生物学家首先阐明有关人脑 的结构及其功能。1 9 4 3 年，美国心理学家m c c u l l o c h 和数学家p i t t s 提出了神经 元网络对信息进行处理的数学模型( 即m p 模型) 1 1 4 】，揭开了神经网络研究的 序幕。1 9 4 9 年，h e b b 提出了神经元之i i b j 连接强度变化的学习规则，即h e b b 规 则【l5 1 ，开创了神经元研究的新局面。1 9 5 6 年在由洛克非勒基金赞助的第一届人 工智能会议上，i b m 公司的研究人员n a t h a n i e lr o c h e s t e r 展示了他构造的神经网 络模型。该网络由几百个模拟神经元相互连接而构成，并且能对周围环境的刺激 产生反应，从而形成大量的神经网络数据。这也就是人们所了解的第一个软件模 拟神经网络。1 9 5 7 年美国心理学家r o s e n b l a t e 提出了感知机( p e r c e p t r o n ) 模型， 该模型具有自学习能力，它的成功研制掀起了人工神经元网络的第一次研究热 潮。1 9 5 9 年，斯坦福大学的教授b e r n a r dw i d r o w 开发了一个自适应线性单元， 称为a d a l i n e 。a d a l i n e 和一个两层a d a l i n e 的变种m a d a l i n e 被应用于各种领域， 包括语音识别、字符识别、天气预报和自适应控制。之后不久，w i d r o w 使用自 适应线性单元算法开发了一个自适应过滤器，可以用于消除电话线上的回声，这 e 神经嘲络内部知识提教发儿曲：企业财务预警中的应用 也是首次把神经网络应用于实际问题。1 9 6 9 年，人工智能创始者之m i s k v 和 p a p e r 出版 p e r c e p t r o n ) 一书，指出p e r c e p t i o n 仅适合于线性样本的情况，对非 线性样本如x o r 问题，它不能解决。但同时也指出若增加隐结点将能解决非线 性样本问题，可惜他们没有提出这种多层网络学习算法。 八十年代初，r 本大阪大学教授k u n i h i k of u k u s h i m a 提出了一个称为 ”n e o c o g n i t r o n ”的用于视觉识别的神经网络，它与生物视觉理论相符合，能进行 模式识别，且不需要指导。可是，由于这个网络结构太复杂，没有得到推广。1 9 8 2 年，由斯坦福大学教授d a v i dr u m e l h a r t 以及卡尼基j a m e sm c c l e l l a n d 、多伦多 大学教授g r o f f r e yh i n t o n 领导的p d p 小组( p a r a l l e ld i s t r i b u t e dp r o c e s s i n gg r o u p ) 丌发了一种反向传播神经网络，这种网络在目前应用得比较广泛。同年，美国物 理学家h o p f i e l d 提出了仿人脑的神经网络模型，即h o p f i e l d 模型【1 6 1 。此模型引 入了l y a p u n o v 函数( 即计算能量函数) ，给出了网络稳定性的判断依据，并证明 了一个互连单元的神经网络系统将达到能量损耗最小的原理。h o p f i e l d 模型成功 地解决了复杂的n p 问题，即“推销员旅行路径”问题( 计算随城市的个数n 增 加而成指数增长) 。而且该模型能够通过集成电路来实现，这为神经元计算机奠 定了基础。可以说h o p f i e l d 的研究掀起了人工神经元网络的第二次研究热潮。 1 9 8 4 年，多伦多大学教授g e o f f r e yh i n t o n 与t e r r e n c es e j n o w s k i 教授一起，在约 翰校对h o p f i e l d 网络作了两点重要的修改，开发了称为b o l t z m a n n 机的神经网络 。 在1 9 8 5 年，r u m e l h a r t 和m c c l e l l a n d 提出了多层网络的误差传播学习算法， 简称b p 模型【1 8 】。该模型引入多层隐结点，解决了非线形样本的问题。同时 期不少研究者也提出了很多成功的神经网络模型，这些成果大大地促进了神经元 网络的发展。1 9 8 7 年6 月在美国召丌的第一次神经网络国际会议( i c n n ) 宣告 了神经网络计算机学科的诞生。同年，美国南加州大学的b a r t k o s k o 教授设计了 一种称为双向联想存储器的神经网络( b i d i r e c t i o n a la s s o c i a t i v em e m o r y ) 。这种类 g m s s b e r g 神经网络的测试是通过在神经网络的两层之间正向反向振荡，直到趋 于稳定而完成的。该网络在测试过程的每一次迭代时，能量函数都会减少，从而 保证收敛到稳定状态。同期，神经网络和其他理论的结合也产生了神经网络的更 新和发展。模糊理论的渗透产生了bk o s k o 提出的模糊认知图( f c m ) 模型， 神经嘲络内部知识栏取度1l n 企业财务预警中的应用 随后出现了多种模糊神经网络如r o g e rj a n g 的a n h s 模型f 矧， 神经网络研究进入新的领域。另外其它计算方法的融入也产生了新的模型。 如m u h l e n b e i n 提出一种遗传神经网络模型【】，a l e k s a n d e 提出的概率逻辑神经网 络22 1 。m e v e 将小波变换与神经网络结合，a i b a r a l 2 3 】建立暂态混沌神经网络，使 之更拟人化。在硬件实现方面，继m e a d 研制视网膜v l s i 芯片后，1 9 9 5 年j e n k i n s 研究了光学神经网络( p e n ) 1 2 4 1 ，建立了光学二维并行互连与电子学混合的光学神 经网络系统。人们应用神经网络解决了许多传统人工智能无法解决的复杂非线性 问题。在系统辨识、模式识别、数掘挖掘、知识发现、信号处理、故障诊断及经 济预测，图像处理、文本及语音变换和数据压缩等领域的实际应用中取得了巨大 成就。 2 2b p 神经网络基本原理 s i m o nh a y k i n 在他的神经网络原理一书中这样写道 2 5 1 ： 一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天 然具有存储经验知识和使之可用的特性。神经网络在两个方面与人脑相似： l 。神经网络取得的知识是从外界环境中学习得来的； 2 互连神经元的连接强度，郎突出权重，用于储存获取的知识。 多层前馈神经网络由输入层、隐含层和输出层构成，各层次神经元相互连接， 各层次内神经元没有连接，隐含层的层数可以扩展，一般来说为l 3 层，研究 最多的为含有一个隐含层的神经网络。用于完成学习过程的程序称为学习算法。 任何神经网络首先要通过训练进行学习，即通过一定的算法或规则来确定其内部 各神经元输入的权重。 设计神经网络重点在于模型构成和学习算法选择。一般来说，结构是根据所 研究领域及要解决的问题确定的。通过对所研究问题的大量历史资料数据的分析 及目前的神经网络理论发展水平，建立合适的模型，并针对所选的模型采用相应 的学习算法，在网络学习过程中，不断地调整网络参数，直到输出结果满足要求。 2 3b p 网络的结构选择及参数设定 随着人工智能其他学科的发展，神经网络技术和模糊数学、粗糙集、遗传算 7 神经l 叫络内部知识提取发! 柏企业财务预警中的应用 法等不断融合，出现了不少新型神经网络结构。本节将在介绍全联结多层前馈神 经网络结构选择基础上，对新出现的神经网络的发展做简单介绍。之所以将模糊 神经网等放在这章是因为无论模糊神经网络、粗糙神经网络等都是建立在b p 神 经网络基础上进行的改进。 2 3 1 全联结神经网络结构选择 全连接神经网络指相邻层的任意对节点都有连接，否则，我们称为部分连 结网络。本文研究均指全连结网络。 神经网络结构主要包括输入输出节点个数、隐层数和每层隐节点数。在给定 样本数时，最佳网络的选择是完全n p 问题，目前没有通用的独立于问题的网络 结构选择方法。本质上可以通过增加网络结构的复杂性准确拟合任何训练样本 集。但网络过大，学习时间长，训练效率低，可能出现过拟合( o v e r t r i n g ) 现象， 降低网络泛化能力【2 6 ；网络过小，可能无法建立模式间的判断边界，导致训练 不收敛。 从输入输出层分析，输入向量的维数过高会使网络结构很复杂，而且若输入 特征相关性大贝h 造成信息冗余。在隐层方面，t 9 8 9 年r o b e r th e c h t n i e l s o n 证明 了对于任何在闭区间的一个连续函数都可以用一个b p 网络来逼近，一个3 层的 b p 网络可以完成任意的n 维到m 维的映射。l i p p m a n n 和c y b e r k d 证明，有两 个隐层，就可以解决任何形式的分类问题。 b a r r o n 以单隐层且隐节点取s i g m o i d 函数的函数逼近神经网络为例研究， 定义网络函数为，w ，目标函数为妒，p ，r ( ，w ) = e 修一吼，”nq 为网络权重w 的l 范数。则学习后神经网络的泛化误差8 ( 吼w ) 同样本数n 和隐节点数n 之 间的关系为：e r r ( p n ”) o ( c ；加) + o ( n d n ) l o g n 随着隐节点数n 的增加，前一项逼近误差( 偏差) 将逐步减小，而后者估计误 差( 方差) 将逐步增大，证明了好的泛化能力取决于两者的协调。另外奥卡姆剃刀 ( o c a m sr a z o r ) 和m o o d y 准则也证实了实值神经网络结构设计的最简原则：对 己达到给定训i 练精度的神经网络，结构越简单，其有效参数越少，泛化能力就越 好。由此，引出网络结构选择问题。 神经l 叫络内部知识提取及其托企业财务预警中的应用 对于特定问题来说，一般输入输出节点个数都是固定的，这样，需要选择的 主要的是：隐节点数，隐层数和隐节点的函数特性。以单隐层为例，在选取合适 的隐节点个数问题上主要从两方面进行了研究。 1 从多次实验所得的经验公式： 根据k o l m o g o r o v 定理，对于任意连续的函数尹，可以有一个三层网络来精确 地实现它，网络的输入层有n 个单元，隐含层有2 n 十1 个单元，输出层有i t l 个 单元。确定出隐含层节点数的理论值后，再通过试凑法对( 一万，“万p 区唰 内的数值进行仿真对比( 。为理论隐含层节点数) ，从而得出神经网络模型的最佳 隐含层节点数 2 9 】。 假设p 为样本数，s 为隐节点数，n 为输入层节点数，i t i 为输出层节点数。 b p 网络作为分类器时，h e c h t _ n i e l s e n 认为隐含节点数目一般为2 n + l 时能 很好地完成。g o r m a n 和s e i n o w s k i 根据实验提出5 2l 0 9 2 j p 。 在多输入函数映射问题中高大启 3 u 提出经验公式： s = 4 0 4 3 r a n + 0 1 2 m 2 + 2 - 5 4 n + 0 7 7 m + o 3 5 + n 5 1 ，结果需经四舍五入取整。 张删，2 i 】给出两者关系为：p 喜c ” 戚德虎”i 认为：隐节点个数靠近输入节点时收敛速度快。经验公式： 1 月+ 0 + 6 1 8 + ( n 一所) ，n m i 肌一0 6 1 8 + ( 埘一行) ，仃 弧戚“单砌 其中o u t p u t s 为第i 个输出神经元的期望输出，t r a n s f e r ( i n p u t 。) 是转换函数在 5 即w ，处的导数，a 是表示学习速度的学习参数。 粗糙神经计算最重要的一点是通过显式地对输入输出模式的上界和下界的 处理而在神经网络中引入了语义信息。 胡丹 5 3 1 等人就应用粗糙隶属度和粗糙神经元构造了一个六层模糊神经网 络，得到了一种利用神经网络修正不完善粗糙规则的方法，取得了较好的效果。 该方法是将后件隐层用一层粗糙神经元和一层对应的传统神经元代替，传统神经 元将对应的粗糙神经元的上下界输出的加权和作为输入，使网络更具有语义性。 ( 3 ) 利用粗糙集知识构造神经网络结构 羹第纂幂 1 2， 盘霹履晨 图2 7 粗糙神经网络结构 许志兴 5 4 1 等利用粗糙集知识构造神经网络结构。其中，第1 层：即输入层 为实际的精确值，表示输入：。2 ( 。，。! ，。”) 1 第2 层：隶属度函数层，分别将n 个输入分量，z ：，工一) 依照某种不可分 辨关系进行划分，将每一个输入分量离散化为r i 个不同的值，这些值在 o ，1 】 之| 白j 。该层神经元的作用函数可选用g a u s s 函数。 第3 层：推理层。每个节点代表一条规则，通过粗糙集理论得到。假设有 k ( k n ) 条规则，浚层节点的作用函数为： 神纾删络内部知识提取发j n 企业财务顶警中的应用 脚 j = 1 1 f 奄 与传统的神经网络相比，此模型计算简单，网络单位结构确定，且每一层有 明显物理意义。并且此神经网络对应的耦糙集系统是一个全局逼近器。 第4 层：清晰化层，这一层的节点代表输出变量。在多输入单输出系统中， 该层的节点数为1 ，权重w i 的初始值预先设为各规则粗糙隶属度值，该层节点 的输出为：y 。酗正。 2 3 4 遗传神经网络 遗传算法与神经网络的结合，基本思想是：将神经网络结构设置视为一个优 化问题，对神经网络结构参数，如：隐层数、隐神经元个数、网络权重和学习参 数等进行编码，利用遗传算法进行全局寻优。此方法具有网络收敛结果不依赖于 初始权重的状态等优点，而且在一些应用中此方法也取得较好效果。但其随着节 点数增加，染色体长度将急剧增加，造成编码庞大，进化时间过长。而且其遗传 算子与适应度函数如何定义才能适合具体问题，都有待深入研究。 具体的应用有2 种处理方式：第一种是遗传算法根据训练目标函数对网络权 重进行迭代学习1 5 5 1 5 6 脚】找到最佳分类权重后，网络成为稳定的模式分类器，给 定输入即可输出分类结果，不再进行新的训练过程；第二种是引入遗传算法进行 网络初始参数的优化，以避免网络在训练时陷入局部最小从而提高网络的训练速 度。所谓网络参数的优化，就是寻找良好的网络权重和闽值，使得网络全局误差 极小化。 涉及主要的问题是：选择合适的编码方式、目标函数与适应度函数。常用的 遗传编码方式有二进制编码和浮点数编码两种，二进制编码符合高等生物染色体 为双倍体的重要生物特性，有长期记忆作用，便于实行各种遗传操作例 5 9 l ，浮点 数编码精度高，便于大空间搜索。目标函数一般选为：搜索使网络的误差平方和 达到最小的网络权重，因为遗传算法只能朝着使适应度函数增大的方向进化，所 以，适应度函数可以构造成目标函数的倒数形式。 应用遗传算法对神经网络的结构优化。即先利用遗传算法进行粗精度的学习 神经网络内部知识挺取及j 在企业财务预警中的应用 以达到确定初值的效果，接下来采用超线性b p 算法完成给定精度的学习。这样 建立的网络模型稳定、全局收敛速度快，同时有很强的记忆能力和推广能力。如 果网络中连按权数目较少，将模拟退火算法用于网络学习的计算过程，也可以避 免局部最小，获得理想的结梁，一但该方法计算成本高。 2 3 5 遗传算法与模糊神经网络相结合 刘涵f 6 0 】等将基于g a 的模糊神经网络用于图像滤波，其结构采用模糊神经网 络结构，训练算法部分采用遗传算法进行优化。网络的第一层为模糊化层，完成 对输入数据的模糊化。功能函数为： y 2 = 三凡( x ，x ) 七= 1 ，2 ： 其中，l f i 、l f 2 分别为模糊集合f l 、f 2 的成员函数，它们的定义分别表示 b ( 蚓= 气 。，、蓉= 薹i l = ! u t x5 ，x ，。 2 正一1 ) 这里x ，x i 满足o x ，x 。l 一1 。 第二层为取最大值运算。设y 善为第二层第k 个子网络中第j 个节点的输出， 则节点函数定义为 姆= m 脊。( x 拶) k = 1 ，2 ；j = 1 ，2 ，一m 其中：m 为子网络1 和2 的节点个数，”为二进制的权重系数，表示第一 层的第i 个节点与第二层的第j 个节点的连接强度，基于对称的考虑w i , j 同时适 用于两个子网络。函数m a x ( ) 表示求最大值。 第三层为取最小值运算，即选取两个子网络中的最小值作为第三层的输出。 设y k 3 为第三层第k 个节点的输出，则节点函数定义为： 妒= 一m ：v - 霸( 2 ，k = l ：2 其中：函数m i n ( ) 表示取最小值。 第四层为网络的输出层。 神经嘲络内部知识提取及j e 柏企业财务预警中的麻用 胁( i & y oi ) i f & y o l 3 0 “( i a y oi ) f f , y o 0 ( y 奠y 辨 从定义为模糊集合s 的成员函数。 2 4 对误差函数的改进 无论用以上何种方式设计多层感知器，我们所作工作都是建立训练样本输入 和输出之间的非线性模型。就网络设计而言，在本质上是统计的，这就要求我们 在训练数据的可靠性和模型的适应度之问寻找一个适当的折中( 即解决偏置方差 困境的方法) ，在任何监督学习过程中，可以采用以下的误差函数实现折中： r ( w ) = 吼，( w ) + 辨。( w ) 第一项吼s ( w ) 是标准的性能度量，它同时依赖于网络( 模型) 和输入数据。 b p 算法中，它被典型的定义为均方误差，该误差的计算扩展到网络输出神经元， 并且它在每一回合的基础上对所有训练样本来完成：第二项婀c ( w ) 是复杂性惩 罚，它单独依赖于网络( 模型) ，它所包含的内容利用我们可能具有的关于所考 虑模型的先验知识。参数 是网络的正则化参数，它代表着复杂性惩罚项关于性 能度量项的相对重要性。 为0 的时候，反相传播学习过程是无约束的，网络由 训练样本完全确定： 趋于无穷大的时候，意味着由复杂性惩罚所得到的约束自 身就可以确定网络，即训练样本是不可靠的。实际应用中， 被赋予两个极端之 间的某个值。 复杂性惩罚项定义最简单的形式是网络中权重向量w ( 即所有的自由参数) 的平方范数，表示为： 沉。( w ) = | | w | | 2 = w ? f 暇，r ， ， 其中，孵一指网络中所有的权重。这个过程是通过强迫网络中的一些权重 ) ) d旺屯 妒 n 矿 f、jl = y ：中 随一 抻经州络内部知识摊取及j 0 相企业财务顶警中的应用 取近似于零的值来进行的，而允许其他的权重保持它们相对大的值。这样，网络 的权重大体可以分为两类：对网络影响较大的权重和对网络影响较小或根本没有 影响的权重。后面一类又可称之为多余权重。在没有进行网络正则化情况下，第 二类权重任意取值或者为达到训练误差的轻微减小而出现过渡拟和的情况，导致 泛化能力极差。复杂性正则化的引入鼓励多余权重取接近零的数值，提高泛化能 力。此种惩罚项的一个潜在的不足是它对一组都较小的权重更加有利，而对一组 权中有一个稍大而其余比较小的权重组合不利，尽管有时后者有更好的性能。但 是，由于它形式简单，且在一些应用中效果较好。 3 神经网络用于企业预警 3 1 国内外研究现状 2 0 世纪9 0 年代以来，随着神经网络的研究及应用日趋成熟，研究者们试 图将神经网络技术应用于财务困境预测，最早进行这方面探索的是o d o ma n d s h a r d a i6 1 1 ，将其运用于财务危机预测，然后是k i a n ga n dt a m ( 1 9 9 2 ) 6 2 1 。神经网络 由于其强大的非线性映射能力被广泛应用于风险评估、信用评估、股票预测及破 产预测等。其相关文献国外有：s h a r d aa n d w i l s o n ( 1 9 9 6 ) 旧】、t a m a n d k i a n g ( 1 9 9 2 ) 6 2 1 、w i l s o n a n d s h a r d a ( 1 9 9 4 ) 删、s a l c h e n b e r g e r ，c i n a r a n d l a s h ( 1 9 9 2 ) 1 6 5 1 、c o a t sa n df a n t ( 1 9 9 3 ) 6 6 1 、a l t m a n ，m a r c oa n dv a r e t t o ( 1 9 9 4 ) 6 7 1 、 l e n a r d ，a l a ma n dm a d e y ( 1 9 9 5 ) 6 引、k e r l i n g ( 1 9 9 6 6 9 1 、b o r i t za n dk e n n e d y ( 1 9 9 5 o d o ma n ds h a r d a ( 1 9 9 0 ) 7 ”、j o 、h a na n dl e e ( 1 9 9 7 ) 7 2 1 、d a v a l o s 、g r i t t aa n d c h o w ( 1 9 9 9 ) 7 3 1 、k o ha n d t a n ( 1 9 9 9 ) f 7 4 1 等；国内相关研究主要有：王超，佘廉( 2 0 0 1 ) 7 5 1 、周敏、t n 宇- ( 2 0 0 2 ) t 7 6 1 、庞素琳，王燕鸣，罗育中( 2 0 0 3 ) 7 6 1 、杨淑娥，徐 伟刚( 2 0 0 3 ) 7 引、赵黎明，雷立，刘煜( 2 0 0 4 ) 7 8 1 、田伟福，周红晓( 2 0 0 4 ) 8 0 】、 杨淑娥，黄礼( 2 0 0 5 ) 、马喜德( 2 0 0 5 ) 等。 3 2 神经网络应用相关问题 神经网络在在企业预警中的应用，主要是利用其强大的非线性映射能力，对 企业财务比率和企业状态之阳j 的非线性关系进行映射。 1 9 神经列络内部知识提取投1c 在企业财务预警中的应用 研究者一般采用前向三层b p 网络结构设计企业预警系统。将输入量对应警 兆指标，隐含层对应警情指标，输出即为警度。企业预警模式的输入层节点数由 预警指标数确定。输出层节点数由警度划分的等级数确定，警度可分为三级( 无 警、中警、重警) 或二级( 无警和有警) ，因此输出层节点数为3 或2 ，也可以采 用1 个输出节点，按照输出值的大小来判断警度的划分。 神经网络在企业预警中的应用所涉及的问题主要包括四个部分：1 输入及 输出节点的确定；2 样本数据的选取；3 样本数据的预处理：4 样本的学习 及测试。 3 2 1 输入输出节点确定 输入节点确定，即：预警指标的选取。自1 9 3 0 年迄今，相关文献所使用的 预警指标绝大多数为在“历史成本原则”下的传统财务比率。以1 9 6 8 年为分界 线，1 9 6 8 年以前( 含1 9 6 8 ) 的财务比率多侧重于资产负债表及损益表，1 9 6 8 年 后加入若干能够量化处理或无疑义的非财务变数( 如总经济系数、产业变数、会 计意见、景气因素等) 。大体而言，预测指标以传统的财务比率为主判断公司是 否发生财务危机。 一般预警比率指标主要选取反映：短期偿债能力、长期偿债能力、营运效率、 盈利能力、现金流量能力、发展能力、风险水平等几大类财务指标作为输入向量。 表7 1 是一些常用的财务比率指标及其计算公式。 输出节点确定，即警界线的划分和警度的评判，这是企业预警管理系统的研 究难点之一