第一章计算机技术及其在金融业中的应用.doc

第一章 计算机技术及其在金融业中的应用在过去的300年中，每个世纪都有一种主流技术主导着整个时代的发展，伴随着工业革命的是18世纪伟大的机械时代；19世纪是蒸汽机时代；20世纪是收集信息、处理和发布信息飞速发展的信息时代，通信技术和信息技术成为主流；21世纪初期，利用信息技术进行服务的电子金融与电子商务时代初露端倪，这一时代的技术基础就是充分结合通信技术和计算机技术的计算机网络。第一节 网络技术概述一、 计算机网络与协议1、网络的概念与组成计算机网络是计算机技术和通信技术结合的产物，它将位于不同地域的多台具有独立处理能力的计算机设备，通过通信介质连接起来，并由网络软件进行协调管理，以实现网络资源共享和信息传递的目的。计算机网络在40多年的发展过程中，经历了4个阶段：具有通信功能的单机系统；具有通信功能的多机系统；具有多台计算机相连的网络系统；具有计算机网络互联的系统。计算机网络组成：主计算机、终端、通信处理机、通信设备、通信线路。作用：（1）主计算机：系统核心部分，承担系统的数据处理工作。（2）终端：系统中直接面对客户、实现人机对话，并与网络系统进行联系的设备。（3）通信处理机：前端处理机，是主计算机与通信线路单元之间设置的计算机，负责通信控制和通信处理工作。（4）通信设备：进行数据传输的设备，如连接器和信号交换器等。（5）通信线路：将上述各部分连接起来，形成计算机网络系统。2、网络协议为了使在网络中的通信双方能顺利地进行信息交换，而由双方预先约定好并必须遵循的规则。一般，不同的网络结构具有不同的协议，不同的协议的网络间的通信须以网关（gateway）相连。计算机网络是一个非常复杂的系统，为简化其设计，采用在协议中划分层次的方法，把要实现的功能划分为若干层次。较高层建立在较低层基础上，同时又能为更高层次提供必要的服务功能。好处：高层次只要调用低层次提供的功能，而无需了解低层的技术细节；只要接口不变，低层功能具体实现方法的改变不会影响较高一层所执行的功能。OSI提出：开放式系统互联/参考模型（Open System Interconnection/Reference Model，OSI/RM）与Internet中的传输控制协议/Internet协议（Transmission Control Protocol/Internet Prorocol，TCP/IP）。ISO提出的七层概念性网络OSI/RM是理想的工业标准，TCP/IP是事实上的标准。3、OSI/RM（1）物理层（Physical Layer）。最底层，任务是为了透明的传输比特流。（2）数据链路层（Data Link Layer）。将位流以帧为单位分装打包，向网络层提供正确无误的信息包的发送和接收服务。（3）网络层（Netwok Layer）。负责提供连接和路由选择，包括处理输出报文分组的地址，解码输入报文组的地址以及维持路由选择信息，以便负载变化做出适当的响应。（4）传输层（Transport Layer）。提供端到端或计算机与计算机之间通信，从会话层接收数据，将它们处理后传达到网络层，并保证在另一端所有的数据块被正确的接收。（5）会话层（Session Layer）。负责建立、管理、拆除进程之间的连接，“进程”是指如邮件、文件传输、数据库查询等独立地执行程序。（6）表示层（Presentation Layer）。负责处理不同的数据表示上的差异以其相互转换，如ASCII码与EBCDIC码之间的转换，不同格式文件的转换，不兼容终端的数据格式之间的转换。（7）应用层（Application Layer）。为用户提供应用程序，如远程登录、FTP、邮件传输等的接口服务。OSI/RM体系结构（图）应用层表示层会话层传输层网络层数据链路层物理层4、TCP/IPTCP/IP源于美国的APPANET在1977-1979年间推出的TCP/IP体系结构和协议规范。现已成为Internet使用的事实上的标准通信协议。TCP/IP是一系列网络通信协议的集合，它规范了网络上所有通信设备，尤其是一个主机与另一个主机之间的数据往来格式以及传送方式。TCP/IP分为四层，由上而下分为应用层、传输层、网间层和网络访问层。它只定义了物理网络与TCP/IP之间的网络接口。网络访问层：将IP报文封装成被网络传输的帧，并将IP地址映射为网络使用的物理地址。网间层：包括了以IP协议为主的多种协议。传输层：包括两个最主要的协议，即TCP协议和用户数据包协议。应用层：包含了使用传输层协议去传送数据的所有协议，如TELNET、FTP等。因此，TCP/IP具有与操作系统无关，与物理网络无关，并且寻址较标准等特点。TCP/IP体系结构（图）应用层传输层网间层网络访问层二、计算机网络拓扑结构拓扑是几何学的一个分支，是一种研究与大小、形式无关的线和面的特性方法，运用拓扑学的观点研究计算机网络结构便称为网络的拓扑结构。即网络拓扑结构研究的是网络上各个点的物理布局。结点是指网络中起到信息转换或信息访问作用的设备，起信息转换作用的结点如集线器、交换中心等；起信息访问做用的结点如终端、微机等。两个结点间的通信线路是链路。网络的拓扑结构分为两大类：1、点到点式：称之为存储转发通信子网，分为三种：（1）星形结构：网络上的多个结点均以自己单独的链路与处理中新相连。网络结构简单，从终端到处理中心的时延小，但通信线路总长度长，花费在线路上的成本较高。（图）（2）环形结构：网络上各个结点连接成回路，信息流是单向的，而线路是公用的，路径是固定的。通信总线路短，但回路中任何一结点有故障时都会影响到回路的通信。（图）（3）树形结构：网络上结点之间的连接像一棵倒挂着的树，同一结点可和多个结点相连。次结构通信线路总长较短，但结构有一定的复杂性，中心结点出故障时对整个网络有较大影响。（图）2、广播式：即只有一个由所有结点共享的通信线路。但是任意一个结点发出的报文都会由于共享一条线路的原因而传送至其它结点，因而为避免这种混淆，报文中应有一些说明信息，说明该报文的发往地，这时如其它结点收到这些报文时就不理睬。分二种：（1）总线式：任何瞬间仅只有一台机器是主站，可发送信息。如有二台机器同时需要发送信息，则需要有某种仲裁机制来解决可能引起的冲突。（图）（2）卫星和无线电式：每个结点都有自己发送和接收信息的天线，用以接收来自卫星或其它无线电的信息，此结构用于地理范围广阔的部门之间的通信。（图）三、网络结构的类型在网络协议的基础上，可构建很多具体的网络，一般按网络范围和计算机互联的距离可分为三中基本类型：1、局域网（Local Area Network，LANs）20世纪70年代发展起来的。在小范围内使用、有多台计算机组成的网络，如在一个公司内，校圆内等。其跨度局限在一栋建筑物内，覆盖直径不超过10千米；其特点是数据传输距离较短，数据传输率高、误码率低、网络结构规范。典型有各银行、证券机构内部的业务网络系统。2、城城网（Metropolitan Area Networks，MANs）在一个城市或地区建立的计算机网络。其跨度达160千米，特点是传输率较高，网络系统结构相对复杂、综合性应用强。典型有同称清算系统。3、广域网（Wide Area Networks，WANs）20世纪60年代开始发展，出现跨城市、跨国家和洲际的计算机网络。要求在较大范围内实现信息共享，网络规模巨大，其通信设施一般由各国的电信部门提供，具有传输距离长、速率较低、网络拓扑结构复杂的的特点。典型有国际环球财务通信系统（SWIFT）。第二节 互联网技术一、Internet的基本概念由遍布世界各地的计算机网络和计算机通过电话线、卫星以及其它远程通讯系统以TCP/IP协议进行彼此通讯的相互连接的计算机网络的集合。采用分组交换和异种机互联的TCP/IP协议，将各种不同的计算机、软件平台、网络连接起来，从而实现了资源共享。我国Internet的基本构成（表）在中国，充当ISP并构成Internet主干网的有：（1）1994年中科院计算机网络中心建成的“中国科技网（CSTNET）”；（2）1995年5月邮电部数据局建成的“中国公众数据网（China NET）”；（3）1995年11月国家教委和清华大学、北大等8所院校建成的“中国教育科研网（CERNET）”；（4）1996年9月电子工业部的“金桥信息网（China GBN）”；起初，四大网络都能与国际互联，但在国内并不互联，相互的访问要经国外交换，造成费用高、速度慢、效率低。后来China NET拿出免费通信线路连通四大网络。1999年中国联通获得在全国范围内经营有线电话、建设公用计算机互联网的许可证。1999年3月它建立了我国第5个公共互联网服务平台VNINFT。资料来源：张育军主编，深圳证券交易所综合研究所报告，经济科学出版社，2000年二、Internet的发展简史起源于美国国防部，它为在发生核战争时保障美国内部的通信联络，由美国国防部高级研究计划局（Advanced Research Project Agency，ARPA）研究的成果。1969年，ARPA建立了一个由4台计算机互联的分组交换实验网络阿帕网（ARPAnet）。联网用户约2000个，最初采用是一种“主机协议”，后改为网络控制协议。1982年，ARPAnet、MIL网等几个计算机网络合并后形成Internet的雏形，并决定其主干网采用网络互联网协议，即IP。Internet第一次快速发展在20世纪80年代中期。1986年，美国国家科学基金会为了鼓励大学与研究机构共享4台计算机中心，利用了阿帕网。但发现与军方打交道不易，而后决定利用阿帕网发展出来的TCP/IP协议，自己出资建立网络，即国家科学基金会网（National Science Foundation，NSF）。NSF网与ARPAnet相连。1989年，ARPAnet解散，NSF网完全代替了ARPAnet，成为因特网的新主干网。接着，这些机构和个人逐渐利用它发送电子邮件、传输数据文件、开研讨会以及其它一些事情。NSF也即发展成当今的Internet。1995年，美国国家科学基金会宣布，不再向Internet提供资助，从此，Internet完全走上商业化道路。由一些公司、团体和个人出资，这种“老板”的多元化使Internet上进行商业活动成为可能。二、 环球网（World Wide Web，WWW）1991年，欧洲物理实验室（CERN）向全世界推出大WWW。1、WWW的发展WWW又称万维网，是基于Internet的运用。主要由一些应用软件以及一系列协议和规范组成，便于人们在Internet上漫游，进行信息浏览和信息功享。WWW及浏览器软件和几种网络通信语言，如工业标准的超文本标记语言（HTML）、扩展的通用标记语言（XML）与虚拟现实造型语言（VRML）。导致Internet的普及。2、WWW的工作方式由三个基本部分组成：（1）装在客户计算机内的客户浏览器（Browser）浏览器：是运行在用户在用户计算机上的一种软件（客户软件），它向服务器发出请求信息。（2）环球网信息服务部器（Web Server）服务器作为浏览器和外界服务的中介，使客户机与外界发生信息交流。服务器：包括一台计算机及相应的软件，可向Internet上其他请求信息的计算机发送数据信息，也能储存数据。它是由那些希望通过Internet和环球网发布信息的组织和机构提供并进行管理。它是在Internet上存储、管理和运行WWW信息的较大型计算机。它存有大量的资料和文档，相关的软件负责处理客户端的请求并返回相应的结果。（3）“外界”：包括所有与Internet相连的其他计算机网络和计算机。WWW工作方式：某客户需要在Internet上查询特定的信息，他首先利用工作之便安装在客户机上的浏览器，向与之相连的服务器发出请求信息，服务部器在接到请求后，通过Internet对存储这一信息的其他与Internet相连的服务器进行定位并建立连接，然后接收信息并传送给发出请求的客户机，客户即可通过浏览器阅读、下载有关信息。四、Intranet和Extranet1、企业内部网（Intranet）企业内部的“Internet”。与Internet的区别在于前者只限于内部人员使用，而Internet则是全球公开连通的。大部分Intranet与外部Internet是相连的，只不过在两者间被“防火墙”（Firewall）隔开，以确保内部网安全。也称Intranet为建立在企业放火墙内部的Internet。Intranet用来实现企业内部成员的信息共享。（图）2、企业外联网（Extranet）它通过Internet将公司的供货商、批发商、零售商等所有业务伙伴连接起来。由于进入外联网的企业可通过Extranet直接访问相关企业的内部数据库，直接跟踪其订单、销售、发运等中间环节，从而便于相关企业间的合作，建立良好的伙伴关系。Extranet是有业务往来的企业间通过其内部网的一部分连接到Extranet上，实现企业的部分业务信息可在不同组织的成员间进行共享。（图）3、Internet、Intranet和Extranet的关系Intranet是用来实现企业内部成员的信息共享，而Extranet是有业务往来的企业之间通过将其内部网的一部分连接到Extranet上，实现企业的部分信息可在不同组织的成员间进行共享。从下图可看到，Extranet（粗虚线框）将Intranet的一部分通过Internet连接起来，它与Internet的不同在于企业外部网的连接绕过了Internet防火墙，使企业之间可相互访问对方连接在外联网上的数据库，而仅通过Internet是访问不到的。我们用图来说明（图）。第三节 电子商务技术20世纪70年代末，电子商务的雏形电子数据交换（EDI）和电子邮件（Email）在企业界大为流行。EDI使公司之间能够一标准的电子格式来和供货商传送商业文件，提高业务处理效率；而电子邮件以类似的方式在组织内外运作，提高企业沟通的效率。20世纪90年代WWW出现，企业通过网络与客户可直接沟通和交流。电子商务作为一种方便、低成本且高效的商务运营模式迅速在全球发展起来。一、电子商务简介（略）电子商务定义二、电子商务的交易模式（略）Business to Business B to BBusiness to Customer B to CBusiness to Govermment B to GCustomer to Govermment C to G三、电子商务的交易过程三个阶段：第一阶段：交易前。第二阶段：交易中。第三阶段：。交易后。电子商务的交易流程（图）四、电子商务与电子金融活动完整电子商务活动包括商务信息、资金支付和商品配送3个阶段，即表现为信息流、资金流和物流3个方面。网上电子支付服务是电子商务中最关键的要素。没有适时的电子支付手段的配合，电子商务只能是电子商情、电子合同或初始意义上的电子商务。离开电子交易的电子支付又会成为单纯的金融产品和金融手段。因此，实时电子交易和在线电子支付是电子商务的两个基本组成部分。而网上银行则是电子商务发展的支撑点，又是金融发展的新的增长点。有了网上银行、网上交易和网上支付成为现实必能促进电子商务的快速发展。第四节 数据仓库与数据挖掘技术一、数据仓库简介1992年，W.H.Inmon最早提出数据仓库（Data Warehouse，DW）的概念：“DW是20世纪90年代信息技术架构的新焦点，它提供集成化和历史化的数据，集成不同种类的应用系统，DW从事物发展和历史的角度来组织和存储数据，以供信息化和分析处理之用。”“数据仓库是面向主题的，集成地，稳定的，随时间变化的数据集合，用以支持经营管理中的决策制定过程。”因此，数据仓库是一个环境，而不是一个软件产品。通过数据仓库，一是提高数据分析的速度和灵活性；二是为访问和综合大量数据提供继承基础；三是促进或再创造商业过程。金融业建设数据仓库的目的，就是要通过它分析业务数据与信息，发现全新的视野、新问题和新的想法，进而发展出制度化的决策系统，并获取更多大经营效益。数据仓库的支持工具：Informix、IBM、SAS、Microsoft、Oracle、Sybase等厂商提供的数据仓库产品都具有从多角度对数据分析大功能。二、数据仓库基本体系结构为了能够将已有的数据源提取出来，并组织成用于决策所需的综合数据形式，一个数据仓库的基本体系结构应有以下几个基本组成部分：（1）数据源，指为数据仓库提供最底层数据的运作数据库系统及外部数据。（2）监视器，负责感知数据源发生的变化，并按数据仓库的需求提取数据。（3）集成器，将从运作数据库中提取的数据经过转换、计算、综合等操作，集成到数据仓库中。（4）数据仓库，存储已经按企业级视图转换的数据，供分析使用。根据不同的分析要求，数据按不同的综合程度存储。数据仓库中还存储元数据，它记录数据的结构和数据仓库大变化，以支持数据仓库的开发和使用。（5）客户应用，供用户对数据仓库中的数据进行访问查询，并以直观的方法表示分析结果的工具。三、数据仓库的建设1、实现技术（1）数据抽取、转换和装载工具，手工程和现成工具。早期数据仓库的建立多采用手工编程方式，如COBOL和4GL；现成工具有Informix的Infomover和Prism、Carleron等。（2）目标数据库，可选择传统的关系型数据库管理系统，也可选专用的多维数据库管理系统。从节约成本和降低复杂性出发，应优先考虑关系型数据库管理系统。如Informix、Redbrick、Oracle和Sybase等。（3）数据仓库管理工具，具有对系统资源的使用情况、用户操作的合法性、安全管理、存储管理等内容进行管理，如HP公司的Open View产品就能够提供这些功能。（4）数据访问和报表工具，是各种桌面工具，它们以GUI的形式帮助用户构造SQL查询以访问数据库，它们能够将返回的数据方便地生成相应的报表，如Informix的Seagate Crystal Info，Brio的BrioQuery，Aris Software的Nortix Views等。（5）联机分析处理（OLAP），是一种软技术，目标是满足决策支持或多维环境特定的查询和报表需求。它的技术“核心”是“维”的概念，特点是多维数据分析。“维”是人们观察数据的特定角度。如银行常关心随产品销售时间的推移而产生大变化情况，是从时间的角度观察产品的销售，所以时间是一个维（时间维）；同样，地理分布也可作为一个维，以便从地理分布不同的地区银行分行和营业网点等的销售情况等。而多维分析指对以多维形式组织起来的数据采用切片、切块、旋转、向上归纳、向下观察等各种分析动作，以求剖析数据，使最终用户能从多角度、多侧面地观察数据中的数据，从而深入地了解包含在数据中的信息。产品有：Informix的Metacube ROLAP、Cognos的Powerplay、Oracle Express和Hyperion等。（6）数据挖掘工具，数据挖掘是一种从大量数据中发现潜在数据模式、做出预测性大分析工具，是现有的人工智能、统计学等成熟技术在数据库领域中的应用。产品有：Informix提供的Redbrick Data Mine等。（7）Internet访问工具，指可通过Internet在任意地点访问到数据仓库中数据。2、应用策略从知识构成看，数据仓库技术集数学、系统科学、计算机科学、人工智能等多门现代科学技术之大成，而且在具体应用中还必须与具体行业的组织、经营、管理理论相结合。金融业的数据仓库建设比其它应用系统规模更大、投资更多、风险也更大，实施数据仓库不仅要建立数据仓库的基础实施，还要在每天处理总账后再进行数据加工，并存入数据仓库。因此，数据仓库的建立必须针对金融业的具体情况和需求而设计定制。单从数据仓库建设主题来看，它包括原始数据、主题数据仓库、知识与方法可等建设。因此，所有金融业要建立数据仓库，都必须先解决如何从不同数据源有效提取数据来填充数据仓库的问题在于，是一个复杂的环节。要完成工作有：数据采集、数据清理、数据转换、数据集成和数据加载。银行必须做到：（1）数据仓库面向用户的，是由中高层决策人员提出的业务需求驱动的系统。（2）数据仓库面向主题的，不可能一次性建好一个银行级数据仓库，而应坚持“从全局考虑，从局部入手”的原则。即从数据仓库建设规划若干主题数据仓库银行级数据仓库。（3）数据仓库的建设是一个循环往复、螺旋式上升、不断发展、不断完善的过程。（4）数据仓库必须具有灵活性、能够适应不断变化的用户需求。四、数据挖掘技术网络时代，大量的信息在给人们带来方便的同时也带来一些问题：一是信息过量，难以消化；二是信息真假难辩；三是信息安全难保证；四是信息形式不一致，难一统一处理。另一方面，激增的数据背后隐藏许多重要信息，人们希望能对其进行更高层次的分析，以便更好利用这些数据。人们考虑：“如何才能不被信息淹没，而是从中及时发现有用的知识、提高信息利用率？”面对“数据丰富而有用信息贫乏”的现象，数据挖掘和知识发现技术应运而生。1、概念从技术角度讲，数据挖掘（Data Mining，DM）是从大量的、不完全的、有躁声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。从商业角度看，数据挖掘是一种新的商业信息处理技术，是对商业数据库中的大量业务数据进行各种处理，从中提取辅助商业决策的关键性数据。是一个深层次的数据分析方法。数据挖掘可描述为：按企业既定业务目标，对大量的业务数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。2、应用分析方法数据挖掘的模式按功能分为两类：假设验证型，它采用自上而下的方法，用于证实否定某一假设；二是知识发现型，它采用自下而上大方法，通过数据发现有价值的信息。它们都使用下述分析方法：（1）决策树方法（Decision Trees）。利用信息论中的信息增益寻找库中具有大信息量的字段，建立决策树的一个结点，在根据字段的不同取值建立树的分支；在每个分支集中重复建树的下层节点和分支大过程，即可建立决策树。如给湖客户的特征，可以用该方法判定这个客户是能给企业带来效益的客户，或是带来隐患的客户。（2）神经网络（Neural Networks）。通过学习待分析数据中的模式来构造模型，图像分析是神经网络最成功的应用之一。如利用该方法可发现在网络交易环境下客户的虚假行为。（3）聚类检测（Clustering Detection）。在某些情况下，无法界定要分析的数据类，用聚类算法可发现一些不知道的数据类型。聚类的过程是以某一特定时间为依据，找出共享某些公共类别的群体。（4）货篮分析（Market Basket Analysis）。也称关联规则发现。是由Agrawal等人提出的。用来从记录交易内容的数据中采集有用的知识，即搜索数据仓库中的条目和对象，寻找出现重复率很高的模式，它展示了数据间未知的依赖关系。如“在无力偿还贷款的人当中，60%的人月收入在3000元以下”就是一种关联规则。（5）关联分析算法（Link Analysis）。是基于图论知识应用的算法，通过对各数据项间存在的关系