神经网的原理及在金融中的应用.ppt

人工神经网络的金融应用 原理及应用 人工神经网络方法 人工神经网络背景介绍人工神经网络原理金融应用领域神经网络的实证分析 人工神经网络背景介绍 对人的脑神经的抽象模拟人工神经网络的发展史人工神经网络应用领域 1从模拟人的脑神经出发 人类大脑分为两个半球 左半球 左脑 右半球 右脑 左脑支配人体的右侧 右脑支配人体的左侧 左右脑具有不同的功能 左半球倾向于按顺序处理信息 右半球却习惯同时处理信息 基于逻辑思维 如电子计算机就是模拟人脑逻辑思维的人工智能系统 现行计算机运算速度是人脑神经元速度的几百万倍计算机在解决与形象思维和灵感思维相关的问题时 却显得无能为力 人工神经网络则是探索人的形象思维 即针对右脑的认知规律的研究产物 人工智能工程 人类左脑功能 人脑与 电脑 的信息处理能力差距 记忆与联想能力方面 人脑具有非凡的创造能力 良好的学习和认知能力 刚生婴儿大脑几乎空白 但是在成长中通过对外界环境的感知及意识 知识和经验与日俱增 信息综合能力方面 人脑善于知识归纳 类比和概括 也可以是经验地 模糊地甚至是直觉地做出判断等 信息处理速度方面 人脑中的信息处理是以神经细胞为单位 而神经细胞的传递速度只能达毫秒级 比计算机电子元件纳秒级的计算速度慢得多 实际上数值处理方面确实如此 但在图形声音等类信息的处理方面则不同 如几个月婴儿从人群中一眼认出母亲 而计算机解决此类问题则需要一幅具有几百万个像素的逐点处理 并提取脸谱特征进行识别 等等 人脑与电脑的信息处理机制不同人脑中的神经网络是一种高度并行的非线性信息处理系统 虽然单个神经信息处理速度为毫秒级 但大规模神经细胞 人脑有约1 4 10 个 的群体协同并行处理方式是高效的 而计算机采用的是有限集中的串行信息处理机制 基于冯 诺依曼工作原理VonNeumann 即存储器与处理器相互独立 处理信息必须是形式化信息 用二进制定义 神经元形成神经网络每个神经元有数以千计的通道同其他神经元互连 形成复杂的生物神经网络 生物神经网络以神经元为基本信息处理单元 对信息进行分布式存储与加工 这处信息加工与存储相结合的群体协同工作方式使得人脑呈现出神奇智能 为了模拟人脑形象思维方式 人们从模拟人脑生物神经网络的信息存储加工处理机制入手 设计具有人类思维特点的智能机器 无疑是最有希望的途经之一 ANN定义 ANN是以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象 并建立某种简化模型 ANN是生物学上的真实人脑神经网络的结构以及若干基本特性的某种理论抽象 简化模拟而构成的一种信息处理系统 ANN是采用物理可实现的系统来模仿人脑神经细胞和结构和功能的系统 应该明确 ANN远不是人脑生物神经网络的真实写照 而只是对它的简化 抽象与模拟 目前已提出上百种ANN模型 这些简化模型的确能反映出人脑的许多基本特征 它们在模式识别 系统辨识 信号处理 自动控制 组合优化 预测估计 故障诊断 医学与经济学等许多领域已成功地解决了许多用计算机等方法难解决的实际问题 表现出良好的智能特征和潜在的应用前景 人工神经网络应用系统的研究 需要硬件制作技术的新突破 以便制作出ANN设备 据报道神经网络计算机已取得令人瞩目的进展 ANN的研究内容极具丰富 涉及的面宽而又有相当深的理论有待进一步研究 涉及多学科知识 研究内容大体上有基本理论 模型 算法 应用和实现等五大方面 每方面都有很多问题尚未解决或完善解决 尚需用各种方法从各方面开展对ANN进行更深入研究 2 人工神经网络发展简史 2 人工神经网络发展简史 早期 启蒙时期 1943年 美国心理学家W S MeCuLLoch和数学家W H Pitts合作 在分析总结神经元基本特性的基础上 提出神经元数学模型 简称MP模型 从脑科学研究来看 MP模型是第一个用数理语言描述人脑的信息处理过程的模型 后来此模型又有发展 至今沿用 人工神经网络之先驱 1957年 F Rosenblatt设计制作了 感知机 Perceptron 是一种三层神经网络 用于文字 声音识别 声纳信号识别 及学习记忆问题研究 1962年 Widrow和Hoff等提出了自适应线性元件网络 简称Adline AdaptiveLinearelemlnt 用硬件电路实现设计 用于自适应信号处理 雷达无线控制等方面 低潮期 20世纪60年代末人们对感知机兴趣开始衰落 即线性感知机功能有限 只能进行线性分类和求解一阶谓词问题 不能进行非线性分类和解决比较复杂的高阶谓词问题 如异或 XOR 等 学术界有地位和影响力的人的悲观论调典型代表人物 Minsky和Papert 美麻省理工学院著名人工智能学者 作了大量数学研究 在当时技术条件下 他们在多层网络的有效学习方法上遇到了极大困难 很多领域的专家纷纷放弃了这方面课题的研究 开始了神经网络发展史上长达10年的低潮期 集成电路和微电子技术的迅猛发展70年代以来集成电路和微电子技术的迅猛发展 使传统的VonNedmann型计算机进入全盛期 基于逻辑符号处理方法的人工智能 AI 得到迅速发展并取得显著成就 复兴时期 新高潮期 世纪80年代 标志是美国加州工学院物理学家JohnHopfield1982和1984年在美国科学院院刊上发表两篇论文 提出了仿人脑的ANN模型 著名的Hopfield模型 获得工程技术与学术界的重视 Hopfield的主要贡献是 根据网络的非线性微分方程 引用能量函数 Lyapunov函数 李雅普诺夫函数 的概念 使ANN的平衡稳定状态有了明确的判据方法 利用模拟电路的基本元件构作了ANN的硬件原理模型 为硬件实现奠定了基础 开拓了神经网络用于联想记忆和优化计算等方面的新途径 人们重认识到ANN的威力 大批学者和研究人员围绕Hopield新方法开展进一步工作 使该学科研究升温 1985年 TerrenceSejnowski和Hinton Ackley提出Bottzmann 玻尔兹曼 机 首次采用多层网络的学习算法 并用模拟退火过程来模拟外界环境 1986年 Rumelhart和Mc Clelland提出多层网络的 逆推 或称 反传 backpropation 学习算法 简称BP网络 BP迄今为止 是用的比较广泛和流行的最普通的网络 新时期 热潮期 80年代后期到现今 1987年国际神经网络学会成立 INNS 宣告神经网络计算机学科的诞生 掀起人类向生物学习 研究和开发及应用神经网络的热潮 1991年IJCNN 国际联合神经网络会议 主席D Rumelhart在开幕词中讲到 神经网络的发展已进入转折点 它的范围正在不断扩大 领域几乎包括各个方面 1 理论上导求研究新进展 2 人工神经网络技术与当前技术相结合现在ANN技术正进入和AI 人工智能 视觉与语声识别系统 专家系统 机器人以及化学和医学等的结合 目前各国发展重点是以应用为导向 以发展高性能的混合计算机为目标 3 应用领域广泛 新时期特点 我国ANN研究现状1988年 北京大学组织召开了第一次关于神经网络的讨论会 一些知名学者在会上作了专题报告 1989年 北京和广州等地召开了神经网络及其应用讨论会和第一届全国信号处理 神经网络学术会议 1990年12月 由中国电子学会及计算机学会等八个学会联合发起并组织了中国第一次神经网络会议 参加人数400余人 搜集到会议记录中的论文358篇 内容涉及生物 人工神经网络模型 理论 分析应用及实现等各方面 1991年12月由13个单位发起和组织召开第二次全国神经网络会议 录用论文280篇 在南京成立中国神经网络学会 1992年中国神经网络委员会在北京承办了世界性的国际神经网络学术大会 经过10几年的发展 我国人工神经网络和研究和应用正迈向新的高科技时代 3人工神经网络的应用领域主要介绍一下几个主要应用领域 信息领域信号处理 自适应信号处理和非线性信号处理都可以 模式识别 可以处理静态模式如固定图象 固定能谱等 还可以处理动态模式如视频图象 连续语音等 数据压缩 自动化领域系统辨识 如自动控制中 被控对象的数学模型建立等问题 神经控制器 控制器在实时控制系统中起着 大脑 的作用 神经网络具有自学习和自适应等智能特点非常适合作控制器 近年神经网络控制器在工业 航空以及机器人等领域的控制系统中取得了可喜的应用成果 智能检测 检测中对干扰量的处理 传感器输入输出特性的非线性补偿零点和量程的自动校正以及自动诊断等 工程领域 1 汽车工程 利用神经网络的非线性映射能力 通过学习优秀驾驶员的换挡经验数据 可自动提取最佳挡规律 神经网络在汽车的最佳刹车系统ABS的智能控制中应用 神经网络在重载车柴油机燃烧系统方案优化中的应用等 2 军事工程神经网络同红外搜索与跟踪系统配合实现发现和跟踪飞行器 借助神经网络的语音分析与信号处理的经验 对声纳信号进行分析研究 对水下目标的识别率可达90 密码学方面应用如 语音开关 指纹开关 3 化学工程制药配方 生物化学 化学工程等领域取得不少应用成果 4 水利工程水利发电过程辨识和控制 河流水质分类 水资源规划 供坝优化设计 岩土类型识别 工程造价分析等 医学领域 1 检测数据分析神经网络在许多医学检测设备中应用普遍 如用ANN进行多适脑电棘波的检测 对早期癫痫病人进行实时检测预报 2 生物活性研究ANN对生物学检测数据进行分析 如分子致癌性的ANN预测具有生物学检测不具备的优点 3 医疗诊断设备的专家系统中有许多应用 以非线性并行分布或处理为基础的ANN为专家系统的研究开辟了新途经 特别在并行推理等问题取得了良好效果 经济领域 1 信贷分析 如 信用评估系统等 2 市场预测 如 股票趋势预测等等 人工神经网络原理 ANN的结构人工神经网络的学习规则传统统计模型与神经网络ANN模型的选择ANN中的统计推断构建模型时需注意的两个方面 神经网络模型的种类按照拓扑结构可以分为反馈神经网络模型和前向神经网络模型 按照性能可以分为连续型和离散型神经网络模型 确定型和随机型神经网络模型 按照学习方式可以分为有教师学习和无教师学习神经网络 按照连接突触性质可以分为一阶线性关联神经网络模型和高阶非线性关联神经网络模型 常见的人工神经网络模型 主要包括感知器 Perceptron 神经网络 线性神经网络 前馈神经网络 径向基函数神经网络 自组织竞争神经网络 回归神经网络等 神经网络模拟了一个具有许多相对简单的个体单元高度联系 平行计算的结构 个体单元编成三层 输入层 中间层和输出层 前馈网络单方向将输入映射成输出 即从输入层到中间层再到输出层 ANN的结构 其中F G是传递函数 可以解释为代表所描述的三层前馈神经网络的非线性函数 人工神经网络的学习规则神经网络的学习过程 一般是 1 首先设定初时权值 如果无先验的知识 初时权值可设定为随机值 2 接着输入样本数据进行学习 参照评价标准进行评判 3 如果达到要求 就停止学习 否则按照给定的学习法则调整权值 继续进行学习 直到取得满意的结果为止 神经网络的学习规则 主要包括误差传播式学习 联想学习 竞争性 Competitive 学习和基于知识的学习等 各种学习规则都是以Hebb规则为基础的 ANN最广泛的学习规则是误差后向传递 errorbackpropagation 是二十世纪八十年代中期引发多层神经网络的兴趣再度空前高涨的一个主要原因 无监督学习规则 赫布认为神经网络的学习过程最终是发生在神经元之间的突触部位 突触的联结强度随着突触前后神经元的活动而变化 变化的量与两个神经元的活性之和成正比 Hebb学习规则是一个无监督学习规则 这种学习的结果是使网络能够提取训练集的统计特性 从而把输入信息按照它们的相似性程度划分为若干类 后传法是一种递归梯度下降法 它通过向下移动误差曲线的梯度 使得系统的误差平方和达到最小 多元线性回归模型可以表示成一个简单的二层前馈网络 它具有线性传递函数F a a 传统统计模型与神经网络 如果输出的滞后值作为网络的输入 就得到AR d 时间序列方程 尽管ANN可以是通用的近似形式 但最优网络结构却不是自动确定的 在任何金融应用中 开发一个最优网络 需要 ANN模型的选择 1 识别相关的输入和输出 2 选择适当的网络结构 包括隐蔽层和隐蔽层单元的必要个数 3 使用适当的模型评价准则 网络输入和输出变量的选择及数据的质量是ANN应用成功的关键 在实践中 通常用模型的自变量作为网络的输入 而用因变量作为网络的输出 ANN的输入和输出 如果有超乎要求的更多的自变量包括在网络的输入中 则要用到降维方法 1 主成分分析2 因子分析3 逐步回归方法 为了将输入和输出中量纲的影响减至最小 同时又提高学习算法的有效性 通常对数据集进行标准化处理 ANN的输入和输出 数据的质量以及数据集代表总体的适当程度是非常重要的 培育和检验一个ANN 具有足够的数据也是很重要的 37 可编辑 ANN的结构 确定隐蔽层和隐蔽层单元的必要个数 输入和输出 确定ANN的结构 由于二层ANN能力的局限性 经常使用有至少一个中间层的网络 Cybenko 1988 至多两个隐敝层 一个隐敝层 以任意准的精度近似 足以近似 一组特殊的函数 任何连续函数 ANN的结构 隐蔽单元的个数k的选择 k值太小 k值太大 ANN不能按要求的准确度近似y f x 过度拟合 1 分析法 即用代数或统计分析来确定先验的隐蔽单元个数 2 结构方法 根据需要一个接一个地构筑隐蔽层单元 3 网络修剪 networkpruning 法 以相反方向运作 修剪网络并去除掉 多余的 或灵敏度最低的连接 已经提出了几个经验法则 例如 连接的个数不能少于0 1T 隐蔽单元的个数是 T 1 或log2T 这里T是样本容量 ANN的评价准则 1 均方误差 MSE 和均方根误差 RMSE 2 平均绝对误差 MAE 和平均绝对百分误差 MAPE 3 可决系数 4 Akaike信息准则 AIC AIC调整MSE以说明模型的复杂性 5 7 Schwarz信息准则 SIC 或贝叶斯信息准则 BIC 皮尔逊 Pearson 相关系数 Theil不等式系数 U 预测随机复杂性 PSC 方向准确度 DA 和混淆比率 confusionrate CR ANN中的统计推断 很少有关于ANN应用的实证研究报告了置信区间或进行假设检验 这是因为ANN通常不具备古典的统计性质 Lebaron和Weigend 1994 提出 自助 bootstrap 方法 确定神经网络的 质量可靠性 计算量非常大 提供了更稳健的预测 构建模型时需注意的两个方面 收敛性和局部极小值 对于多层网络 误差曲面可能含有多个不同的局部极小值 梯度下降可能陷入这些极小值中的任何一个 因些对于多层网络 反向传播算法仅能保证收敛到误差E的某个局部极小值 不一定收敛到全局最小误差 过度拟合问题 如果权值调整迭代次数足够多 反向传播算法经常会产生过度复杂的决策面 拟合了训练数据中的噪声和训练样例中没有代表性的特征 这个过度拟合问题与决策树学习中的过度拟合问题相似 收敛性和局部极小值 使用同样的数据训练多个网络 但用不同的随机权值初始化每个网络 如果不同的训练产生不同的局部极小值 那么分离的验证集合性能最好的那个网络将被选中 保留所有的网络 并且把它们当作一个网络 委员会 它们的输出是每个网络输出的平均值 可能加权 过度拟合问题 过度拟合问题 几种解决反向传播中的过度拟合问题的方法 权值衰减 weightdecay 它在每次迭代过程中以某个小因子降低每个权值 这等效于修改E的定义 加入一个与网络权值的总量相应的惩罚项 此方法的动机在保持权值较小 从而使学习过程向着复杂决策面的反方向偏置 提供验证数据 validationdata 确定权值调整迭代次数 使用在验证集合上产生最小误差的迭代次数 过度拟合问题 k fold交叉验证 k foldcross validation 方法 进行k次不同的交叉验证 每次使用数据的不同分割作为训练集合和验收证集合 然后对结果进行平均 m个实例 m k m k m k 训练集 验证集 k次试验 每次试验得到一个最佳性能的迭代次数i 人工神经网络的特点和优越性 具有自学习功能 具有联想存储功能 具有高速寻找优化解的能力 人工神经网络的缺点 训练时间长 没有最优算法可以确保得到全局最小值 ANN的统计性质通常难以获得 因而不能进行统计推断 培育出的ANN模型难以解释 金融应用领域 期权定价 破产预测 汇率预测 股票市场 ANN金融应用领域 期权定价 Hutchinson Lo和Poggio 1994 完成了神经网络进行期权定价的第一个著名的研究 揭示了神经网络定价公式的潜在价值 结果 网络公式在样本外期权定价和delta套期保值的应用上被证实是成功的 而后 这个网络被用来对1987年 1991年的S P500期货期权进行定价和delta套期保值 结果显示神经网络优于Black Scholes公式 C S N d1 X exp r T N d2 其中 d1 ln S X r 2 2 T T d2 d1 TC 期权初始合理价格X 期权执行价格S 所交易金融资产现价T 期权有效期r 连续复利计无风险利率 股票连续复利 对数 回报率的年度波动率 标准差 N d1 N d2 正态分布变量的累积概率分布函数 ANN金融应用领域 破产预测 人们在破产预测方面已经做了大量的研究工作 使用的标准工具是判别分析 DA 和logit模型 Tam和Kiang 1992 在用19个金融比率对1985年到1987年德克萨斯州银行倒闭进行预测时 将神经网络方法和线性判别分析 logit模型及其他方法进行了比较 使用jackknife方法得到错判率的无偏估计 对原始的后传算法进行修正 使之包括银行倒闭的先验概率和错判成本 在I型错误和II型错误之间均衡 实证研究结果显示神经网络比其他可选择方法具有更高的预测准确度 而且有一个隐蔽层的神经网络优于二层网络 汇率的不可预测性广为人知 多数不可预测的结论是由线性时间序列方法得出的 因而汇率的线性不可预测性可能应归于线性模型的局限性 自从1980年以来 已经发现了非线性的证据 作为一种函数形式灵活的非线性模型 ANN可以提高预测的准确度 ANN金融应用领域 汇率预测 Kuan和Liu 1995 研究 神经网络在五种货币对美元汇率的样本外预测能力 发现 对日元和英镑而言ANN被发现具有显著的市场同步能力 英镑 加拿大元 德国马克 日元和瑞士法郎 加拿大元和德国马克而言 所选的网络仅有二流的表现 Diebold和Nason 1990 ANN的汇率变化预测 方向的预测很有用处 不便于进行数量大小的预测 由于ANN具有归纳 适应和稳健的性质 大量的研究致力于将ANN用于预测股票收益 但迄今为止取得的成功还相当有限 ANN金融应用领域 股票市场预测 Chuah 1993 纽约证券交易所股票指数收益率 预测能力检验显示网络的预测误差和基准线性模型没有显著的差异 而且网络不具有市场同步能力 Refenes Zapranis和Francis 1995 研究 表明在股票收益的多因素动态模型 即APT的动态形式中 神经网络是线性回归的上好替代 56 虽然ANN在期权定价和分类问题上已经取得了很大的成功 但ANN在汇率预测和股票市场预测方面的成果就没有那么引人注目了 ANN金融方面应用 股票市场 汇率预测 期权定价 破产预测 神经网络的实证分析 ANN的实例分析 1 公司财务预警预测 分类问题2 上证指数的开盘指数预测 时间序列问题 1 公司财务预警预测 背景公司财务预警系统是为了防止公司财务系统偏离预期目标而建立的报警系统 具有针对性和预测性等特点 它通过公司的各项财务指标来综合评价并预测公司财务状况 发展趋势和变化 为决策者科学决策提供支持 财务危机预警指标体系中的指标包括盈利能力指标 偿还能力指标 成长能力指标 线性流量指标等 ST制度针对的对象是出现财务状况或其他状况异常的上市公司 这类公司的股票交易会被进行特别处理 简称前冠以 ST 称为ST股 数据来源以2007年与2008年我国沪深两市首次被ST的38家制造业上市公司对象 从中选取30家ST公司与30家正常的制造业公司作为训练样本 剩下的的8家与8家正常的制造业公司作为测试样本 1 公司财务预警预测 数据集变量因变量 公司类型 分类变量 0表示正常 1表示ST 自变量 剩下的26个财务指标 盈利能力 偿还能力 成长能力流动能力等 1 公司财务预警预测 数据预处理 变量中心标准化 1 公司财务预警预测 人工神经网络分类模型 R语言代码实现函数nnet介绍 单层的前馈反向传播神经网络算法nnet formula data subset size rang linout F decay maxit 200 主要的参数说明 formula 公式data 数据集subset 给出数据集要训练的样本下标size 隐层结点数range 初始化随机权重的范围li