《神经网络模型》课件.ppt

第五章神经网络模型前面所介绍的分析方法 都是利用统计方法的推论原理 以逻辑推算数量资料是统计方法的特色 也是它的限制 因为人类对事情的判断并不只是依靠逻辑数量分析 绝大多数都要参照各方面的信息 包括文字的 画面的 抽象的信息 才作出最后的判断与决策 事实上 人类脑部组织可以纵分为各有所司的两部分 左脑与右脑 左脑负责逻辑与算术功能 右脑负责情绪 形象辨认与直觉 虽然正常人在生活上两者都必须应用 但是大多数的人仅擅长其中一个 科学家与数学家属于左脑导向型 艺术家与作家则较倾向右脑导向 即借重右脑来处理感觉 抽象概念的处理 以传统财务学或投资学中的基本分析与技术分析来说 二者均较倾向于左脑导向 需要大量的数学运算或逻辑推论 但是在对信用风险进行评价时 除了数量方面的客观分析外 主观的定性方面的评价也具有极为重要的份量 也就是说 各项信息在人类大脑中已经累积的知识架构下 经过复杂的接收 处理 传送等程序 才作出最后的判断与决策 此一处理过程仍像个黑箱难以掌握 需要借助一个具有右脑导向的工具来处理 而人工神经网络与模糊分析就是在这样的目的下 所发展出来的处理工具 因为人工神经网络就是设法辨认投入资料当中的隐藏关系 再凭以预测未来趋势 很像右脑的功能 模糊分析则容许模糊的资料概念 不要求非黑即白的数值特性 更接近人类思考的模式 第一节人工神经网络据一般估算 人类脑部是由约1000亿个神经细胞 neuron 所组成 而每一个神经细胞都是一个处理单元 负责接收与结合来自其他神经细胞的信息 在同一时刻 脑中千千万万个神经细胞都在同步处理各种信息的接收与传递 这种复杂而精细的过程 使人类能够记忆 思考 累积经验 具有极高的学习能力 而非任何统计方法所能完全取代或是模拟出来的 有基于此 试图仿照生物神经系统 将学习经验纳入评估模型 即成为一个社会科学努力的目标 人工神经网络就是在此一信念下所发展出来的一种方法 人工神经网络的发展可追溯自1943年麦库洛克与彼特 McCullock Pitts 两位教授所发表的一篇论文 ALogicalCalculusofideasImmanentinNervousActivity 该篇论文奠定了人工神经网络发展的理论基础 一 基本特质与结构1 基本特质人工神经网络的构建是由生物神经网络所得到的灵感 基本上是在模拟生物神经系统 结合相关知识 建立一个简化的神经系统模式 希望能够拥有类似人类大脑平行计算及自我学习的能力 所谓自我学习 是利用不断重复的训练过程 使系统本身能够累积经验 达到学习效果 在人工神经网络中 使用了大量的平行网络 网络上布满非线性的计算单元 节点 网络上一个运作周期就是一个训练过程 由信号运算特性 网络拓扑及学习算法组成 训练过程中所有的知识都是以权值方式储存于节点上 来自其他的神经元所送出的信号 经过节点上的整合函数加权总和 再通过非线性函数的转换 将信号输出至其他神经元 此一程序通过大量的神经元彼此错综复杂的相连 便形成一个基本的人工神经网络架构 其中每经过一次训练过程 就将模拟的结果与实际状况作比较 将其中的差异回馈到系统中 以调整节点的强度 如此即能获致自我组织及自我学习的效果 在与环境互动时 亦可调整自身的结构 以使系统结果能接近真实状况 人工神经网络还具有容错 faulttolerance 的特性 若是网络中有数个单元遭到损坏 不致影响整个网络的功能 训练完成后的网络 就等于具备了一个智慧模组 再有任何资料输入 即可借助隐含在其中的知识来判断输入资料的属性 2 基本结构生物的神经细胞可分为三大部分 感知神经元 sensoryneuron 运动神经元 motorneuron 与衔接神经元 Interneuron 感知神经元负责接收及传送讯息 运动神经元负责将信号由脑部传送出去 而衔接神经元是作为神经间的连接 人工神经网络的基本结构即是模仿生物的神经细胞 分为三层 输入层 隐藏层与输出层 每一层内包括若干代表处理单元的节点 输入层的节点负责接收外在信息 见图16 1 不同于人脑 人脑的输入机制是五官 负责接收各种影像 声音 味道 碰触等的输入信息 而人工神经网络所接受的输入则是各种变量的数量化资料 个输入变量对应一个输入节点 隐藏层的节点负责处理输入层传来的信息 并转化成中间结果传递给输出层 隐藏层并不限定一层 也可以增加为两层甚至更多 而输出层的节点就以该输出值与期望输出值比较后 得到系统最后的结果 并将结果输出 同一层内的节点相互没有联结 相邻层的节点则完全联结 每一个联结都有一个权值 以权值的大小代表传来信息的重要程度 事实上 权值正代表了网络中的知识 是经过许多次的训练过程所要学到的结果 图18 1人工神经网络结构 3 学习模式人工神经网络借助调整处理单元间的权值来学习输入 输出间的关系 使网络结构能接近真实 但是有一点必须强调 人工神经网络的设计 基本上是模仿人类右脑辨认型态的功能 如果是属于精确逻辑的演算 人工神经网络并不在行 例如要计算3 3 人类可以利用左脑很精确地算出答案是6 然而 人工神经网络却不具有这样的能力 而可能估计出5 933或者6 007之类的数字 换言之 如果属于定义清楚的数学问题 却利用人工神经网络来解决 并不妥当 人工神经网络最擅长之处 在于复杂关系的辨认或是型态的对比 人工神经网络的学习模式 若按照网络神经间的联结强弱来划分类 大致可分成三类 1 固定权重型 不需要任何学习法则 2 监督式学习 supervisedlearning 在训练过程中 直接将网络结果与实际 正确 结果比较 再不断调整联结强度 来降低实际输出资料与目标输出资料之间的差距 一直到此一差距小于一定的临界值为止 此种学习模式称为监督式学习 在监督式学习模式中 又可因解码方式的不同而分为前向传播式与反向传播式两种监督学习方法 3 无监督式学习 unsupervisedlearning 在训练过程中 只有输入值 没有目标输出资料 让网络自行学习及调整 又称为自组织 self organization 学习 运用在信用风险管理方面 以监督式中的反向传播式为主 以下就对此一方法作一简要说明 既然是 监督式 学习模式 就要将各样本的实际结果输入人工神经网络系统中 作为每次学习修正的标杆 在反向传播算法中 以反馈方式修正权重 先由输出层开始预先计算各节点的实际输出值与目标输出值的均方误差 在求取最小误差的目的下 以梯度下降方式 逐次减低实际输出与目标输出的均方误差 据以调整权值与阀值 每次权值的调整幅度与均方差的大小成正比 均方差愈大 表示目前的权值结构偏离实际愈远 所需调整幅度愈大 当所有的样本被送入网络完成学习 称为一期 epoch 经过多期学习 误差不断降低 直到收敛至一稳定极小值为止 在各种转换函数中以Sigmoid函数最常见 以下即以Sigmoid转换函数例示说明 以Hk表示隐藏层第k节点的输出值 其中 表示隐藏层的第k节点的阀值 Wik表示输入层第i节点对隐藏层第k节点的权重 在运用人工神经网络的过程中 由干网络本身错综复杂 中间的程序难以找到可资依循的脉络 因此 所有的 经验 都经由学习过程以权重的方式储存在网络联结中 但是整个训练与执行的详细过程 完全是黑箱操作 外界无从了解 这和一般统计模型或是决策树模式中 规则是由专家所制定 恰好相反 二 实际应用中需要考虑的几个问题1 应用范围 神经网络模型是通过样本的学习来构建的因此 应用范围受到一定限制 尤其是难以适用于训练样本不清楚或者训练集和测试集之间存在较大偏差或者精度要求很高的系统 2 模型选取 目前人们已推出上百种类型神经网络 原则上都可以用于信用风险估计 但常用的是BP BackPropagation 神经网络 3 训练样本特征提取 这是神经网络建模时最关键 最困难的事情 其困难在于样本本身含有不确定性和噪声 4 结构设计 包括网络层数 节点数等 其核心问题是隐含层要取几层 每层节点数应取多少 隐含层具有抽象的作用 即它能从输入提取特征 要精确地确定隐含层的节点数是困难的 一般要求尽可能地减少隐含层节点数目 这样有利于提高网络泛化能力 反映的是网络对噪声和失真的处理能力 5 激励函数设计 激励函数是神经元核心所在 它决定了神经元的运动功能 目前常用的是Sigmoid函数 6 收敛稳定问题 网络的训练最终要求收敛到给定的精度 其收敛速度 精度等都和训练算法有关 BP BackPropagation 神经网络算法问题 归根到底是一个非线性优化设计问题 7 性能评价 检验 问题 与传统的模型一样 网络也需要用测试集进行检验和评价 主要考察网络对测试集的学习精度 稳定性和泛化能力等指标 三 神经网络的优点1 它主要是根据样本数据 通过学习和训练 找出输入和输出之间的内在联系 从而求得问题的解 而不是完全依据对问题的经验知识和规则 因而具有自适应功能 2 能够处理那些有噪声或不完全的数据 具有泛化功能 3 人工神经网络是处理非线性问题的强有力工具 第二节计算例以前面曾举过的银行授信样本为例 将128笔资料输入人工神经网络标准软件 可以得到分类结果如下 将所有样本分为信用高 中 低及最低四组 见表18 3 分类正确率93 另有6 左右的样本被列入 未知 是因为在给定的训练次数下 有很多样本介于灰色地带 或是相邻两级间的界限亦不清楚 程序无法判断受测样本究竟应属于那一个组 若将组数