农商银行网络设计与实现

前言1introduction1.1背景和目标（BackgroundAndObjectives）在互联网为代表的飞速发展的信息技术，正在以前所未有的广度、深度和速度对各行各业产生着意义深远的影响。作为社会中的所有经济交易价值的体现和媒介的货币信用经营者——银行金融业，正是最能集中体现这一“影响”的。1995年在美国诞生了世界上第一家网络银行——安全第一网络银行（SFNB）以来，网络银行便以其无所不在、无时不在、低廉成本、安全方便、快捷周全等明显优势发展迅猛。从另一方面看，网络银行的崛起，也给传统的企业管理、行银企关系带来了强烈的冲击，这也预示了一种新的经济模式的出现。此外，银行电子化、网络化还将改变银行的经营管理体制、营销体制，全面提升银行服务效率。而基于开放性、全球性、低成本和高效率的电子商务的迅猛发展，为网络银行开辟了广阔的发展空间。网络银行通过提供电子支付手段，切合电子商务的需求，成为电子商务发展的中间力量和开路先锋，网络银行创造出的电子货币改变了传统的货币流通形式，极大地降低交易成本，拓宽了交易范围。超高速地完成网络银行支付、结算方式的发展，成为网络经济运行的润滑剂。可以说，网络技术不仅仅是IT基础架构的一部分，网络的发展也将驱动着技术架构、应用架构、业务架构甚至组织流程的变革。国家推动的“三金”工程，为银行业的网络系统提出了重要的课题。只有一个广域联网的，实时高效的，安全可靠的，综合决策的银行计算机自动化管理系统，才能向客户提供最有效的服务[1]。1.2主要观点（MainPoints）网络建设应纳入到新一代信息系统总体技术和应用架构中统一考虑。网络是企业级IT架构设计的基础之一，网络设计理念和业务、应用设计理念相辅相成，互相促进。网络技术创新和应用能够推动技术架构、应用架构、业务架构的改变，最终改变业务的服务方式和经营方式，实现网络和业务的融合。在新一代信息系统建设中应率先实现无边界的智能网络。随着云计算从概念到落地，应用对网络的要求越来越高，云环境下要求应用快速部署、业务快速投放，我行的网络将全面支持新一代信息系统建设中云计算、虚拟化等相关技术，支持任何时间、任何地点、任何人、任何物之间顺畅的数据、视频和音频通讯，保障承载网络的高效稳定。随着大数据、云计算、移动互联等技术的普遍应用，农村商业银行信息化建设取得了长足进步，以网银、手机银行为代表的互联网金融产品不断推出，有力推动了业务的高速发展。同时，业务发展对信息技术的依赖越来越高，实现业务间的隔离、如何实现网络随业务的变化动态的支撑是网络设计中非常重要的。1.3国内先进银行网络情况（AdvancedBanksInChina）国内银行主要历经了两个发展阶段，第一阶段时银行自动化建设阶段，第二阶段时银行网络化建设阶段，不同阶段的银行发展的建设内容也有所不同。银行自动化建设阶段，这算是第一阶段，在这一阶段主要是银行的对外业务以电脑的处理代替传统的手工方式。我国银行电子化建设由于初期受到思想观念和信息技术条件的限制，以至于我国银行业无法建立大型的计算机网络系统，在这个阶段我国银行主要是利用电脑操作代替手工操作，以实现银行业务的办公自动化为主，银行的信息化应用还处在分散的、局部的、较低层次的应用阶段。银行网络化建设阶段，在该阶段主要实现了全国范围内的银行电脑联网，支付清算和业务管理、办公逐步从人工处理转向电脑处理等。其主要标志就是中国银行业逐步进行的数据集中管理，网络建设由城域至省域、由省域至全国的网络全覆盖，并将业务数据逐步集中到全国性的数据中心，在此基础上，以市场为导向，依靠技术创新和渠道拓展，不断创新金融服务项目和产品。这代表着我国银行的信息化建设正式的进入一个新的纪元，使我国的银行信息化发展和应用处于一个新的阶段。2009年工行与思科实施了网络专业咨询项目，对数据中心、广域网、分行网络进行了重新规划设计[2]。工行在新的网络规划中，在广域网设计中提出了“企业核心网”的概念，由北京、上海第一节点、上海第二节点组成核心节点，提供数据中心互连、广域网、城域网的可靠数据传输服务；同时网点实施扁平化接入一级分行。在数据中心的设计中，工行提出了使用板卡延伸技术解决服务器物理布局扩展问题、IP网络与存储网络融合、服务器虚拟化等新的技术方案。在一级分行计算中心设计中，工行沿用了数据中心区域模块化的设计思路。图1-1工行广域骨干网络规划Figure1-1ICBCwideareabackbonenetworkplanning就现状看，工行以南北数据中心为核心，基本实现了数据中心服务模块与骨干网模块的拆离。图1-2工行数据中心内部结构Figure1-2internalstructureofICBCDataCenter在数据中心内部，工行在2011年完成了新数据中心的实施工作。在数据中心设计上，工行数据中心已经全面使用了支持未来数据中心架构的思科Nexus系列交换机，并使用了板卡延伸技术解决了服务器横向物理扩展的问题；IP网络与存储网络的融合、服务器虚拟化还没有进入实施阶段。通过对工行的网络发展分析，以及我们对中行、农行的调研情况，四大行在网络建设上并没有明显的跨代差距，在广域骨干网络上仍然以数据中心为核心节点建立多层次的网络结构，在数据中心内部没有大规模进行虚拟化建设[3]。1.4国际先进银行网络情况（InternationalBankingNetwork）1.4.1美国银行广域骨干网络现状我们以美国银行为例，分析国际领先的银行网络发展情况。图1-3美国银行广域骨干网络现状Figure1-3currentstatusofBOFA'swideareabackbonenetwork在2001年，由于规模的扩大，美国银行设计并实施了现在的核心骨干网架构。其核心层为两个彼此独立的环状网络，绕美国外围一圈，同一节点的两个核心路由器互不相连。在该设计中，SONETSONET:SynchronousOpticalNetwork光传输核心骨干网代替了ATMATM:AsynchronousTransferMode核心骨干网，骨干线路带宽为OC-48标准的SONET:SynchronousOpticalNetworkATM:AsynchronousTransferMode为了保证数据中心之间的大数据通讯，在康萨斯州节点和达拉斯节点之间建立了直接的高速链路。国际节点的接入分西区和东区，西区在旧金山和洛杉矶双点接入，东区在纽约和里士满双点接入。该核心骨干网连续运行至今无服务中断，具有6个9的高可用性，良好的支撑了多达5个面向全行的数据中心业务运转，有效支撑了现有业务。1.4.2美国银行数据中心网络现状美银数据中心的现状为：达拉斯和里士满是两个主要的数据中心，能互相备份；纽约是原美林银行的数据中心，现在是交易业务的主数据中心；康萨斯是主要的灾备中心，同时还是语音业务的生产中心；达拉斯、里士满、旧金山是Internet接入中心；此外，还有一些小的数据中心，在芝加哥、亚特兰大等地，康萨斯的灾备中心来备份这些小数据中心[4]。大量小型数据中心是业务上不断收购的产物。数据中心采用环形节点接入核心骨干网络，接入层路由器为思科的7600路由器，骨干分布层设备为思科的6500交换机。当一个数据中心出现基础设施容量不足时，会在相邻的地方再找一个数据中心，图1-4美国银行数据中心接入核心网的方式Figure1-4howtheBankofAmericadatacenterisconnectedtothecorenetwork1.4.3美国银行核心网络的发展遇到的问题及对策随着时代的发展，以及业务的不断拓展，美国银行遇到很多新的问题[5]：语音、视频、存储等对网络延时非常敏感的业务逐渐增多，原有网络的路由收敛时间不能满足业务要求。存储流量逐渐增大，网络容量出现问题。收购美林银行之后，整合美林的数据中心及网络是一项需要尽快解决的重要任务。由于应用及虚拟化的需要，需要跨数据中心进行网络二层的延伸[6]。为此，美银在2010年开始设计核心网的优化方案。图1-5美国银行未来核心网架构Figure1-5BankofAmerica'sfuturecorenetworkarchitecture在现有核心网构架基础之上，新建一个内部核心环网，用于连接康萨斯、纽约、达拉斯、里士满四个主要的数据中心，主要数据中心直接挂入内部核心环，以使数据中心之间、节点到数据中心之间的路径得到优化。巴尔迪莫做为一个核心环上的节点在新设计中被取消，本地机构直接接入核心网，从而减少人员和场地。对外部核心网，逐步由2.5G线路升级至10G线路，内部核心网，考虑使用40G线路。由于带宽的升级，导致现有设备容量不足。目前美银正在研究在内部环上使用思科的CRS型号的路由器，外部环上使用思科的ASR9K或者CRS路由器。2层网络扩展问题，计划采用思科的FabricPath技术解决跨数据中心的扩展[7]。1.4.4美国银行数据中心的发展分析美国银行现有数据中心分两层架构―数据中心核心交换层及服务器分布层，采用思科65系列交换机做为两层的网络交换机。其IP网络与存储网络完全独立。核心交换层由多个千兆和万兆通道组成。在服务器分布层，大部分服务器采用百兆或者千兆接口上联网络设备，个别服务器采用万兆连接。通过美银的网络发展分析，我们可以看到其核心网架构可以灵活的支持数据中心的接入和迁移，该设计理念为业务的快速并购、应用的快速迁移打下了基础。在数据中心发展上，高带宽、虚拟化将是解决应用体验改善的必要手段。2当前网络发展趋势分析2当前网络发展趋势分析2AnalysisofCurrentNetworkDevelopmentTrend2.1网络体系简介（IntroductionofNetworkSystem）在计算机领域内划分来讲，网络就是将各个孤立的工作站或主机用物理链路相连在一起，组成数据链路，从而达到资源共享和通信的目的。凡将地理位置不同，并具有独立功能的多个计算机系统通过通信设备和线路而连接起来，且以功能完善的网络软件（网络协议、信息交换方式及网络操作系统等）实现网络资源共享的系统，可称为计算机网络[8]。通常，对网络技术体系可以从多个视角进行划分，最为常见的是国际标准化组织ISOISO:InternationalStandardOrganized于1983年提出的网络七层参考模型，即开放式系统互联模型（通称ISO/OSI）以及由Internet的前身发展而来的TCP/IPTCP/IP:ISO:InternationalStandardOrganizedTCP/IP:TransmissionControlProtocol/InternetProtocol表2-1TCP/IP结构对应OSI结构Table2-1TCP/IPstructurescorrespondtoOSIstructuresTCP/IPOSI应用层应用层表示层会话层主机到主机层（TCP）（又称传输层）传输层网络层（IP）网络层网络接口层（又称链路层）数据链路层物理层此外，还可以按产品功能类别来划分网络技术体系：比如线缆、交换机、路由器、防火墙、负载均衡设备、网管工具等。2.2网络发展趋势简述（NetworkDevelopmentTrend）在思科公司发布的下一代网络白皮书中，总结出下一代网络必须具备如下能力：首先是移动性和无边界。据测算，到2015年，地球上的每一个人将会有一部移动设备，大约是71亿部。对终端用户而言，移动性将是最重要的趋势。智能手机、平板电脑和其它移动设备将大幅度的提高商业效率，下一代网络首先要允许多种设备类型、多种操作系统能够安全高效的接入网络[9]。其次是虚拟化。Garnter预测到2013年，61%的x86服务器将工作在虚拟机上。虚拟化将使得IT对用户需求进行快速敏捷的反应，同时私有云和公有云的部署将进一步降低投资成本。网络必须能够支持虚拟化和云计算。三是可视化。据统计，到2014年，个人消费者Internet流量中将有57%为视频流量，公司客户中有三分之一的用户将每周使用视频业务。而且企业将大量使用视频用于广告、监控、会议、培训和数字识别。支持对富媒体业务进行部署、监控和排障。从技术和架构上来看为了适应企业业务架构的发展，业界出现了建设广域骨干承载平台的思路，改变传统广域骨干架构都是围绕数据中心来进行组网的方式[10]。在数据中心的技术发展上，新一代的数据中心网络将具有整合化、虚拟化、自动化的特点，而虚拟交换机技术、交换机板卡延伸技术、以太网与存储网的融合技术、数据中心跨地域互联技术等新兴技术将协助我们完成分布式虚拟化的数据中心网络建设。在接入网络的发展变化中，移动技术的发展非常迅速和不断成熟。随着IEEE802.11工作组不断推出新的WLANWLAN:WLAN:WirelessLocalAreaNetworks总之，下一代的网络将是扁平化的、支持云计算的、无边界的网络。对各种类型和规模的银行而言，实时智能数据集成将成为关键的差异化因素。尽管如此，如果大量使用传统系统，管理不断增加的海量数据将会极具挑战。大数据不仅仅适用于“大”企业。MarketInsights公司首席执行官JoeSullivan表示：“我们将看到更多小规模金融机构采用数据/分析程序来更好地了解客户，并创建免费数字平台，从而吸引存款并扩大其服务的地理范围。”无论是优化流程，检测欺诈，还是收集宝贵的客户洞察力，运用智能数据分析都能让银行领先一步。这样的战略实施有助于银行提供当今消费者真正想要的个性化客户体验。如何处理大数据：云战略之重要性除了制定全面的计划外，银行还必须确定如何最好地利用云数据，为客户提供更多价值并提高品牌忠诚度。从本质上讲，正确的云战略非常重要。无论是公有云、私有云、混合云还是多云架构，银行都必须加速迁移到云端，并制定全面的、可扩展的计划以帮助取得成功。此外，通过迁移到云，还可以在安全性和流程方面对业务实施最佳实践。在拥有面向未来的云战略后，银行和客户将赢得市场[11]。四大趋势:a能方式收集和存储数据；b使用边缘分析来减轻数据处理负担；c对传统系统进行分类；d转向边缘计算，尽量可以减少通过线路传输的数据量，尤其是对于包含不同地理位置的环境的网络设计。2.3典型企业网络发展（TypicalEnterpriseNetworkDevelopment）2.3.1电信运营商国内运营商现状（中国电信、中国移动、中国联通）中国电信的IP骨干网分为ChinaNet和CN2CN2:ChinatelecomNextCarrierNetworkCN2:ChinatelecomNextCarrierNetwork对中国电信而言，虽然语音业务还是占到收入的绝大部分，但是固定电话的利润已经在逐年下降，同业竞争不断加剧，新技术和新业务迅速发展所带来的巨大冲击与挑战，复杂的网络结构和运营流程也使运维成本高居不下，作为重要的业务支持系统，ChinaNet已经不能满足中国电信向全业务提供商转型。2003年7月中国电信成立了CN2项目，开始建设新一代网络，其业务特点是提供差异化的业务，按需收费。作为主动的转型者，中国电信提出了双网运行的解决方案，既“普通互联网+优质互联网”的“双网差异化运行”，建设一个新的基于IP的融合业务平台来支持重要的和赢利的业务。这些业务主要包括大客户VPN、IDC、组播和组播VPN、视频会议、3G业务等等。CN2，即中国电信下一代承载网（ChinaNetNextCarryingNetwork），2003年开始设计，2006年建成。CN2是一个基于IP/MPLS技术的大容量多业务融合承载网络，它能够支持数据、语音、视频多种业务融合的应用，中国电信构建的CN2网络，力图奠定未来10-20年里中国电信顶级运营商的基础，尤其是承载网对新业务的支持能力，是中国电信骨干网络和其商业客户之间的重要纽带，将直接决定中国电信服务提供的质量和灵活性[12]。CN2目前主要提供IDC应用、高质量网上增值应用（互联星空）、大客户MPLSVPN以及个人VIP业务，如宽带电话、视频电话、家庭远程监控等。比如个人之间的视频电话业务通过CN2，而MSN和QQ通过ChinaNet网络。CN2保障业务的技术手段：a设计理念以轻载为主，辅以QoS技术保证各等级业务的质量。b各节点配置双路由器，增强网络的可靠性。c链路冗余程度高，尤其是几大核心节点全互联。d网络核心采用FRR技术，实现50ms基本的链路保护。e使用各种关键技术，如路由波动抑止、平稳重启等，增强了网络的稳定性。从2003年震惊业内的CN2计划提出，到2006年8月建成验收；从2005年在CN2上首次开通VoIP业务，到2006年将原169网络上承载的大客户VPN业务集体向CN2迁移；一直到2009年“5·17”中国电信3G正式商用，CN2开始承载中国电信3G全业务，全面实现当初的设想。中国电信主动转型包括业务转型、网络转型、组织机制转型，CN2以网络转型支撑业务转型，同时推动中国电信内部机制整合。2007年中国平安全面使用CN2作为其承载业务的统一网络。中国平安通过将业务移植到CN2，从而使每个网络节点在资费不变的情况下，带宽得到了很大提升。同时，中国平安还得到了更加完善的网络与服务质量。价格上的优势是CN2相比于传统专网的一大卖点：布点越多，平均费用越低。2.4广域骨干网络的发展趋势（TheTrendofWideAreaBackboneNetwork）从典型企业的网络案例来看，无论是电信运营商、网络设备供应商还是国际领先的金融企业均已经实现了扁平化的广域骨干承载平台架构，可见其是网络架构发展的趋势。对银行业来说，广域骨干承载平台将在业务快速部署、总分行灾备支撑、全行网络统一管理、对新业务支撑等方面具备明显的优势。（1）部署快，方便新建业务中心接入在广域骨干承载平台建立后，新的业务中心作为服务模块直接接入核心承载网，即可与全部节点建立连接。做到“即插即用”式的网络接入。（2）增删节点不影响网络运行，业务投放便利广域骨干承载平台具备可扩展的特性，可根据业务发展需要，新增次级节点进行扩容，视节点的重要程度，选择其互联模式。增删节点只相当于是在网络模块化架构中的一个模块的变化，结构化的设计，屏蔽了单点变更对全网的影响，由于不影响网络的整体结构，也就不会影响关键业务正常运行。（3）广域骨干承载平台能更好的支持灾备中心业务切换灾备中心提供同步灾备还是异步灾备的服务情况，对广域骨干承载平台的带宽、传输时延、传输时延差距等需求也不一样，需要详细了解灾备的手段和具体需求。广域骨干承载平台模块化的网络结构和核心节点间多路由、多通路、高带宽、低延时的组网方式，灵活的支持灾备中心的数据备份和业务切换，包括两地三中心模式[13]：场景一：正常数据流向，客户端访问生产中心及同城高可用中心。场景二：当生产中心出现故障，访问同城高可用中心(同城灾备中心）。场景三：当生产中心，同城高可用中心（同城灾备中心）出现故障时，访问异地灾备中心。（4）广域骨干承载平台能更好的支持分行级灾备由于业务前后台分类、数据上收，将来的分行在业务网络层面上，更多是一个网点汇聚和数据转发的功能。广域骨干承载平台建成后，随着业务的发展，网点可以上挂到两个一级分行，单个一级分行故障，网点可以通过另外分行实现灾备。（5）广域骨干承载平台更好的支持外联统一管理广域骨干承载平台建成后，分行外联系统可以采用多种方式进行统一管理，其中之一就是延续本地接入方式，实现全行外联集中管理。各分行保持外联区结构不变，改变原有采用防火墙隔离分行外联网与分行内外的做法，直接为在核心网上建立VPN（虚拟专网）通道连接分行外联区和总行网络区，实现全行统一的外联区域。外联应用和行内应用相互之间不干扰。（6）广域骨干承载平台承载的新业务体验a.广域骨干承载平台的建设，使建立高清视频会议和远程培训平台成为可能。b.广域骨干承载平台为多媒体视频技术搭建面向个人中高端客户的服务体系提供高速网络平台。c.广域骨干承载平台提供的网点与数据/业务中心间的快捷的网络通讯，为低柜业务提供了高效的沟通协作与业务创新条件。d.基于IP网络的多媒体自助终端为网上银行、电子渠道和电话银行提供更丰富和方便快捷的业务能力支撑。e.结合身份识别系统，高速核心骨干网络从数据中心、后台业务中心提取用户相关的产品及服务信息，实时推送至网点，开展个性化定制服务。f.通过骨干网络为核心银行系统、CRM系统相关的交易处理、客户信息等提供高效实时的处理性能和安全可靠的备份保障。g.基于高速IP网络的网点监控实时采集网点员工风貌，通过网络，管理人员可从任意地点实时对网点状态进行监测和控制。2.5主要结论（MainConclusions）3G、视频、VPN、组播、IDC等新兴技术和业务模式驱动着网络转型和发展。从电信运营商、网络设备供应商、国内外主流金融企业的广域骨干网发展来看，扁平化的广域骨干网络承载平台是发展趋势。广域骨干承载平台将是统一网管的高带宽的承载平台，可以满足视频、云计算、灾备等新型应用需求。中国电信CN2的网络模式已经在国内的金融行业得到验证，为了支撑新业务的发展，我们必须建设CCB自己的广域骨干承载平台。国内各大行骨干网结构均以两地三中心为背景，以双数据中心为核心节点，建立一级骨干网。我行若能率先完成广域骨干承载平台建设，将在此领域实现国内领先。3农商银行网络设计3农商银行网络设计3NetworkDesignofAgriculturalandCommercialBank3.1农商银行网络的高可用性农商银行的网络建设要不仅能提供生产、信息化办公的平台，要同时为将来农商行基于数据、语音、视频业务的广泛应用夯实好基础，为实现网络高质量，高交互联的要求，在网络设计建设中要始终坚持网络高可用性，包括基础环境高可用性、网络技术高可用性、应用网络通讯高可用性、网络运维管理便捷以及银行关键业务可持续运行。（1）网络技术的高可用性关键路径、关键设备要实现热冗余备份，避免单点故障，同时对关键业务提供独立地冗余路径设计和QoS服务质量保障，是网络系统可用性的关键因素。因核心网络设备、线路的热冗余备份环境，单个故障点基本不影响网络系统的可用性，但对系统的稳定性、健壮性、服务能力带来影响。通过合理的规划，有效的运维管理，从网络技术方面，可以尽力减少对整体可用性指标的影响。（2）应用网络通讯的高可用性通过单机网卡聚合和服务器集群技术，可以进一步提升应用网络的可用性。对业务进行影响度分析，对核心关键业务进行负载均衡、热冗余备份设计，有效避免单点故障对系统可用性的影响。由于不同应用的服务级别不同，不同应用的高可用需求也不同，可以进行差异化设计，提供不同级别的服务，要尽可能地保障关键核心业务应用的高可用指标。应用的高可用与网络的高可用不同，作为省行分中心关键的核心区域，网络的问题可能会影响全部应用。但应用的高可用设计可以按照各个应用系统独立设计，出现问题一般仅影响一类应用，不影响其他应用的可用性指标，即一类应用出现问题，在整个信息系统的可用性指标所占权重不同。面向客户的交易类业务应用占比较高，内部办公类应用占比较低。（3）银行关键业务可持续运行在当前面向应用服务的网络架构下，可用性实施必须结合用户实际应用加以考虑，而不是简单地就网络谈网络，就技术谈技术，必须把可用性规划和实施措施同业务进行关联，突出对关键业务的保障，提供全面的业务连续性保障体系,这种体系将是根据业务应用流程而不是单纯的技术来确定。科技是为业务服务的，让服务对象参与到业务的可持续运行计划中，通过对业务的影响度分析，提供差异化服务，做好应急和灾备计划，保障关键业务的可持续运行。可持续运行计划可以从业务运转的角度引起高管层重视，从而可以获得人、财、物的支持，使高可用计划得以实施。3.2农商银行网络分布情况（NetworkDistributionofAgriculturalandCommercialBank）银行网络是从总行数据中心经省、市分中心，到网点的树型网络，每笔业务交易，都是一个从各个网点经市行分支中心、省行分中心，到总行数据中心的网络通讯交互过程，是一个四级的串联结构，每个中心节点的高可用性指标都会对网点的可用性指标产生影响。从网点到各级中心，特别各级分中心和总行数据中.心，都需要建立高可用的网络运行环境。对网点营业来说，总行数据中心和各级分中心都是重要的网络节点，只是各中心所处的位置不同，影响面不同，高可用的重视程度有所不同。在上述的高可用技术的基础上，设计各种故障场景输入到高可用模型，通过实验测试或实践经验，定性分析输出的可用性指标，用以评价总部网络的高可用性，讨论网络高可用建设关键环节和策略。3.2.1总部网络结构在对总部局域网采用模块化的架构设计方法中，清晰地定义和区分不同的功能区域，将各部门网络基础设施划分为不同的功能区域，进一步部署不同的应用，使局域网架构具有一定的稳定性、可扩展性、灵活性、可信赖的安全性。图3-1总部架构图Figure3-1headquartersorganizationchart3.2.2分行接入网分行接入网是指各个支行或者网点的广域骨干网连接，以及外联单位与我行的广域网连接。实现接入网扁平化，总体来说可以实现以下目标：第一，满足高效部署新型应用的需求。网络扁平化后可以减少部署新型应用频繁调整二级骨干网的问题，提高应用部署效率。第二，减少网络中间环节，提高网络稳定性和业务持续性。扁平化可以减少中间的传输环节，通过在省行搭建高性能、高密度的接入网平台，提升整体服务能力和稳定性，在一定程度上降低总体成本。第三，网络建设标准化，设备使用规范化。接入网实行统一的技术标准和规范，建设分行接入网下联平台和网点的接入网络。通过接入网扁平化，使分行接入网具备统一规范的设备选型、线路标准，统一的路由、安全和QoS策略。3.3农商银行网络拓扑（NetworkTopology）图3-2网络拓扑图Figure3-2networktopology3.4主要技术研究（MajorTechnicalResearch）3.4.1技术分析银行网络主要技术的研究包括网络规划建设的方方面面，网络规划设计是银行网络高可用性的重要保障，网络规划设计包括网络拓扑结构、IP地址、路由设计、网络高可用技术、数据流向、网络设备选型、线路类型及其带宽等。根据行政隶属和区域划分，银行网络拓扑是以ISP中心为根节点的树型结构，数据中心根节点之间互为冗余备份。ISP到总部和到分行形成骨干网络，骨干网络一旦中断会影响一个省或一个地市全辖营业，因此需要冗余设计，节点设备选择高性能、高稳定性的双冗余备份，骨干接入租用网络供应商线路。IP地址规划要有良好的层次划分和汇聚功能，具备可扩展性，又不形成浪费。良好的IP地址分配方案是高效路由设计的基础，路由设计要划分好自治域系统(AS)，合理设计域间动态路由、域内动态路由及静态路由。网络高可用技术主要是指通过线路、设备的冗余和明晰的数据流量策略控制，来保障关键业务的网络通讯高可用性。具体包括广域网络线路冗余备份和路由策略设计一，广域或骨干网络设备的选型和互备拓扑连接，局域网络设备的选型和热备技术，局域网络服务器与交换机之间的冗余通讯技术，关键业务的关键路径、数据流量和服务质量保障策略等。网络中心组网时一般会用到较多的设备，设备级的可靠性设计可以通过关键部件冗余，灵活快速的故障侦测和恢复，来提高设备的可靠性，尽可能减少意外发生的影响，尽量将故障局限于发生的设备之内，减少对整个网络的影响。网络设备的高可用性指标主要体现在系统设计和硬件架构上的可靠性、设备所应用的软件系统的可靠性和软件维护的高可靠性。银行作为网络设备的用户，不要求知道如何提高单台设备可靠性设计技术，但我们在进行产品选型时，可以要求厂商提供这一类的指标和研究、测试数据，作为产品选型的依据。另一方面可以根据产品使用经验，来决定产品的选型。通过产品选型来保障采购具备高可靠性、适合高可用需求的网络设备。软硬件维护的高可靠性方面需要用户和厂商相结合的方式实现，一方面通过培训和经验积累，提高用户故障判断和维护的能力，另一方面可以向服务商购买MA维护服务，来实现高效的维护效果。广域网络高可用技术包括线路选择、线路高可用设计、双线路冗余设计、路由规划、策略路由和QoS服务质量保障等措施。其中路由规划需要全网考虑，合理划分路由域，结合IP地址层次化划分，实现骨干网络路由汇聚，减少路由条目，减少路由更新信息，提高路由汇聚速度，提高路由选择效率。计算机广域网络线路选择比较宽泛，可以根据需要的带宽和可承受的租费灵活选择，目前比较流行的有SDH.ATM.MSTP、裸光纤直连等模式，其中前三种适用于广域网络线路租用方式，因裸光纤对连接距离有要求，仅适用于城域网络、局域网络。目前的广域网络基本上是光纤结构，入户方式也是光缆，可采用入户光纤保护装置，提高可用性。双线路的冗余效果通过路由协议实现，目前常用的路由协议都支持双线路或多线路冗余热备份，支持双线路主备模式或自动负载均衡。双线路的带宽设计。双线路主要功能是提供热冗余备份，其次是分担负载[14]。当考虑一条线路中断后不影响正常营业，要求单条线路的带宽可以承载全部业务，起码可以承载主要业务，重点保障关键业务应用的网络带宽需求。承担重要节点连接的骨干网络中，两个节点之间一般采用两条或两条以上的备份线路，通过路由技术实现冗余热备份。数据包根据网络连接状态自动选择传输路径。但是为了保障关键业务(如柜面业务，数据包大小恒定，时延要求高)或对时延比较敏感数据流(如视频会议、语音等)的传输效率，需要设定明晰的访问路径，这就需要用到策略路由技术来实现。动态路由技术根据线路带宽、跳数等参数自动计算路由metric值，一般来讲，两个节点之间相同带宽的两条线路metric值是一样的，从而实现负载均衡和冗余备份。策略路由就是通过配置调整动态路由metric值，使其在一条路径metric值低而优先选择，在另一条路径中使用缺省metric值做为备份路径。策略路由要求需要调整的某一应用的网段，有明确的C类(或更小范围的网段)路由条目，否则无法实施。在骨干网络中一般按照地址类汇聚为B类或更大范围的聚合网段，则不适宜采用策略路由。此时可采用静态明细路由方式，实现路径的优先选择。策略路由应用需要在相邻节点的两端同时采用，才能确保关键业务数据流来回路径一致。这一点在保障关键业务网络通讯质量方面是很重要的。4农商银行网络实现4农商银行网络实现4NetworkImplementationofBank4.1实验环境介绍（ExperimentalEnvironment）图4-1网络实验拓扑图Figure4-1networkexperimentaltopology如图所示的拓扑就是本课题所研究的农商银行网络的实际物理拓扑结构。从这个拓扑架构中能够看出，它是一个典型的商业银行的网络架构模型。在该拓扑结构中，包含一个总部，和其他下属支行。4.1.1VMWAREWORKSTATION（威睿工作站）VMwareWorkstation，中文名“威睿工作站”，是一款功能强大的桌面虚拟计算机软件，可以给用户提供单一的桌面上并能同时运行不同的操作系统，比如Windows，Linux等，和进行开发、测试、部署新的应用程序的最佳解决方案[14]。VMwareWorkstation可在一部实体机器上模拟完整的网络环境，以及可便于携带的虚拟机器，其更好的灵活性与先进的技术可为本次实验提供一个合适的环境。该实验拓扑结构里涉及到的路由器，交换机，防火墙，PC等设备，若在物理PC上直接搭建，是十分困难的，并且还要改变操作系统，因此，使用虚拟机便可以顺利的解决这些问题。只需将搭载着EVE模拟器的Linux镜像加载到VMwareWorkstation中就可以了，如图所示EVE虚拟机已成功导入。图4-2VMware虚拟机图Figure4-2VMwarevirtualmachinediagram4.1.2配置EVE模拟器设置虚拟机内存虚拟机内存默认分配6G，运存为8G的电脑建议分配3-5G给虚拟机。系统运行需要2G，其它软件1G左右，这样电脑使用起来不会卡顿，但承载的电脑性能不同，可根据需求进行调整。本次实验使用的4G运行内存的电脑运行，所以分配1G-2G运行内存进行尝试。图4-3eve虚拟机运行内存Figure4-3evevirtualmachinerunningmemory设置网络适配器在网络适配器设置中勾选自定义，然后再下拉选项中找到“VMnet1”（仅主机模式）选中该项后确定保存设置。图4-4设置网络适配器网络连接图Figure4-4networkconnectionDiagramforsettingupanetworkadapter接着点击VMware左上角的“编辑”选项，选择“虚拟网络编辑器(N)”，点击名称为“VMnet1”、类型为“仅主机模式”所在行可看到DHCP所分配的网段，下面可更改该地址。图4-5虚拟网络编辑器图Figure4-5VirtualNetworkEditorDiagram4.1.3开启EVE图4-6eve启动图Figure4-6evestartupdiagram虚拟机已成功启动，其中已经自动获取地址28，该地址就是浏览器与镜像相关联的地址，打开Google浏览器，直接输入该网址，如图所示，输入用户名和密码，选择Nativeconsole即可进入虚拟机，进入后可选择添加设备的镜像。图4-7浏览器加载图Figure4-7browserloadingdiagram4.2网络设计方案详细实现（DetailedImplementationofNetwork）4.2.1设计方案介绍该设计方案中，总体可分为两个部分，农商银行总部和农商下属支行，两个部分的出口均布置的是路由器，在银行网络中，安全是非常重要的，为了网络系统的安全性，要再加一层防火墙；在路由器的选择上，由于银行日常业务量大，考虑其安全性、稳定性、经济可行性、接口以及管理的容易程度考虑，可选用cisco3945路由器，在防火墙的选择上，由于银行的安全问题十分重要，所以在设备的选择上性能和功能都较强的，Paloalto和CheckPoint这两家公司的防火墙无论是在功能、性能，还是在网络安全的前瞻性上都是其他公司所不能及的，在该网络设计的模拟实验中，为了使拓扑结构的简化，只放置一台路由器在出口。但是需配置一些访问控制列表（ACL），为了保证安全性，以便控制流量的进出，这也是最基本的安全防护措施，同时对于银行内部总部和下属支行的等级访问进行控制。路由器和防火墙下方布置交换机，在总部的设计布置中，有关键的核心交换区，是由两台设备性能比如从吞吐量，接口的数量，以及接口的传输速率等方面考量的交换机组成，在企业组网中，cisco3850是采用最多。当然思科也有数据中心级别的交换机，性能十分强大的Nexus系列交换机，一般较大的公司会使用该系列产品，但其配置命令跟普通的交换机命令不同，支持编程。为了保证冗余性，思科有如HSRP（热备份冗余协议），GLBP（网关负载均衡协议），公有的协议VRRP（虚拟路由冗余协议）等协议，这些协议都是PC网关级别的，是针对二层设备的冗余。随着时代的发展，思科也有了新的技术，不需要复杂的配置，可以直接用两根堆叠线将两台交换机相连就可以实现冗余，这可以大大减少工程师的配置量。同时核心交换机上还需要配置一个以太隧道协议，该协议主要是为了增大带宽，减少单点故障，简单来说就是将多根物理线用协议逻辑成一根线。核心交换机上还需要配置生成树协议，即STP（spanningtreeprotocol），是为了防止交换机冗余链路产生的环路，确保了无环路的逻辑拓扑结构[16]。从而避免\t"/item/%E7%94%9F%E6%88%90%E6%A0%91%E5%8D%8F%E8%AE%AE/_blank"广播风暴，大量占用交换机的资源。在下属支行的设计中，由于银行下属支行一般规模较小，设立的工作部门简单，所以可以设立一台性能较强的交换机为网点提供网络，一般情况，网点会设立三到四个柜台人工办理业务、两到三台ATM自动取款机和自动办理业务机器，所以保证网络的连通性以及安全性即可。在总部的网络设计中，与核心交换机相连的是是汇聚层交换机，在农商银行总部大楼，如果共有七层。每层有一个部门四十到五十人，那么每层需要一到两台交换机用来与各员工的办公PC直接相连，然后这七层楼就会有十四台左右的接入交换机，这就要用汇聚层交换机将接入层交换机汇聚起来，然后汇聚层交换机连接到核心交换机上，这就将整个农商银行总部的网络基本连接起来了，总部局域网架构基本就是根据思科所提出的核心层，汇聚层，接入层来设计组建的。通常会在接入层上配置VLAN，用VLAN可以很好的隔离广播域，在二层环境中，不同的VLAN间是不能够进行通讯的，若想要跨VLAN进行访问，只能通过路由，也就要流量经过核心交换机进行转发然后互相通讯[17]。为了实验的的简便，突出展现现象，这里在总部设立了Finance（财务部）、RiskManagemt（风险管理部）、PersonalBusiness（个人业务部）、SecuritiesFund（证券基金部）四个部门，并分别用一台PC代表，下属支行中也将终端简化为一台PC。4.2.2IP地址规划及VLAN划分表4-1IP地址规划总表Table4-1SummaryofIPaddressplanningIP地址规划总表地址类型位置地址范围出口地址ISP/30总部HQ-GW--HQ-Firew/27-/27支行Branch--Br-Firew/27终端地址Finance（财务部）/24RiskManagemt（风险管理部）/24PersonalBusiness（个人业务部）/24SecuritiesFund（证券基金部）/24支行1/24支行2/24表4-2设备地址规划Table4-2deviceaddressplanning设备地址规划设备接口地址HQ-GWE0/0/30E0//27BranchE0/1/30E0/0/27HQ-FirewE0//27E0/0/27E0//27Br-FirewE0/0/27E0/1/24E0/2/24在总部规划中采用了按部门划分Vlan，对于Vlan-ID的划分，常规来说，只要是在有效的范围内（1－4K），都是可以随意分配和选取的，但为了提高Vlan-ID的可读性，一般采用Vlan-ID和子网关联的方式进行分配。表4-3VLAN规划Table4-3vlanplanningVlan名称Vlan-IDVLAN1054/24VLAN2054/24VLAN3054/24VLAN4054/244.2.3路由规划在所设计的拓扑中，主要采用了三种路由协议，最基本的是静态路由，主要是用于下属支行的设备以及终端上，因为其结构简单，管理也比较方便，用静态路由即可，但是下属支行和总部需要联通，也涉及到了一些OSPF的配置，详细的由下面在对总部的路由规划中介绍。在总部中，网络范围大，所以用到了OSPF路由协议，OSPF协议具有路由变化收敛快，无路由环路，支持边长子网掩码和汇总，层次区域划分等优点，而且在后期的管理中，大部分路由可将由OSPF协议自行计算、生成，无需再去人工配置，而且可支持网络的可变性，如果网络拓扑发生了改变，协议可自行计算更正路由，非常方便大型网络的管理，但这也要求了对网络应用环境要有一个非常细致的规划，才能更好的发挥出OSPF的这些优势。作为一种链路状态协议的OSPF协议，路由器负责了发现并维护与邻居的关系，然后将已经学习到的邻居列表和链路费用报文进行表述，在之后通过可靠的泛洪与AS（自治系统）内的其他路由器进行周期性的交互学习，这就实现了路由实时更新性[18]。如下图总部和下属支行内路由层面静态以及OSPF的配置。图4-8HQ-GW路由Figure4-8HQ-GWrouting图4-9HQ-Firewall路由Figure4-9HQ-Firewallrouting图4-10Branch路由Figure4-10Branchrouting图4-11Br-Firewall路由Figure4-11Br-Firewallrouting总部网络比较复杂，现实中，部门会更多，各种业务繁琐复杂，需要更加稳定的网络环境，在设计中，二层环境会划分VLAN，想要通讯，流量只能经过核心交换机，并要通过路由去进行转发。接入层设备不会全部通过某一台核心交换机，会进行优先级设计，在实验中，设计了PC10、PC30走核心1，PC20、PC40走核心2，这可以起到分担流量，提高网速的作用；同时为了防止故障，要考虑到冗余性，一旦其中一个核心故障那么连接该设备的接入层要通过其他的核心交换机保证其能正常的连通，这就应用到了虚拟路由冗余协议（vrrp），而且使用vrrp还有另一个便捷之处，就是在使用冗余协议之后，会产生一个虚拟地址，无论下面有多少服务器或者PC，都只需要简单地将网关配置为虚拟IP就可以了。这使得银行网络灵活可变。下面将以图片形式展示总部内核心设备的相关配置。图4-12Core1虚拟地址配置Figure4-12Core1virtualaddressconfiguration图4-13Core2虚拟地址配置Figure4-13Core2virtualaddressconfiguration在核心上配置过虚拟地址后，即可为终端配置路由，由于PC10、30走的是core1，PC20、40走的是core2.而且汇聚层交换机以及终端所属vlan不同，其虚拟地址又是在其vlan接口下所配置的，的所以各个终端PC上的所配置的网关也不同，是何其所属的vlan接口下所配置的虚拟地址保持一致。如下图所示。图4-14PC10网关配置Figure4-14PC10gatewayconfiguration图4-15PC20网关配置Figure4-15PC20gatewayconfiguration图4-16PC30网关配置Figure4-16PC30gatewayconfiguration图4-17PC40网关配置Figure4-17PC40gatewayconfiguration在下属支行中，终端PC的网关只需要配置为所连路由器接口的地址即可，PC50的网关地址为，PC60的网关地址为,就不再以图片展示了具体配置和PC10-40相同。4.2.4交换机相关规划以及配置在该网络规划中交换相关的技术也用到了很多，其中最基础的vlan的配置前面已有介绍，下面主要围绕核心交换机上的生成树（STP）、trunk链路以及汇聚层的交换设备的配置进行介绍和图片展示。其中总部的网络架构内，交换机主要分布在核心区和汇聚层，尤其是核心区，需要为其配置STP和Trunk链路，STP主要是为了消除网络中的环路，避免因为环路的存在而造成的网络风暴，配置如下图所示。图4-18Core1STP配置Figure4-18Core1STPconfiguration图4-19Core2STP配置Figure4-19Core2STPconfiguration如图4-18和4-19所示，在Core1和Core2上配置了生成树MSTP，定义名称为HQ，版本号为2，并且将vlan1、10、30定义进实例1中，将vlan20、40定义进实例2中，在Core1上默认实例1的优先级高于实例2，在Core2上默认实例1的优先级低于实例2，这就实现了对流量的控制，避免了所有流量都走一台交换机从而造成的拥堵现象。图4-20Core1配置Figure4-20Core1configuration图4-21Core2配置Figure4-21Core2configuration如图4-20、4-21所示，对Core1、Core2的接口进行配置，将接口封装，配置上trunk链路。在汇聚层实验中的四台交换机配置基本相同，下面展示一台汇聚层交换机的配置[19]。图4-22FinanceSTP配置Figure4-22FinanceSTPconfiguration图4-23Finance接口配置Figure4-23Financeinterfaceconfiguration在下属支行中，结构比较简单，在与出口相连的路由器和防火墙下就是接入层了，在这里介绍展示一条分支的交换机配置，以Distribute1为例。图4-24Distribute1STP配置Figure4-24Distribute1STPconfiguration图4-25Distribute1接口配置Figure4-25Distribute1interfaceconfiguration4.3网络安全规划以及配置（NetworkSecurityPlanningandconfiguration）银行网络的安全问题非常重要，对农商银行网络的设计规划中，采用了L2L-VPN技术[20]，将总部和分支中接入处的路由器当作两个站点，具体应用和配置下面以图文形式介绍。首先是总部内的HQ-GW上配置第一阶段策略和预共享密钥，第一阶段配置中，由上到下配置了定义策略（number本地有效）、des加密方式、认证证书为默认的rsa-sig证书、HASH方式（默认SHA）、DH组（默认组1），预共享密钥中定义了密钥名称和对端加密点（也就是Branch），具体配置见图4-24所示。图4-26HQ-GWVPN配置Figure4-26HQ-GWVPNconfiguration接下来是第二阶段对真实数据（感兴趣流）处理的策略。图4-27HQ-GWVPN配置Figure4-27HQ-GWVPNconfiguration定义感兴趣流，也就是要保护的流量，前面的地址是源端口地址，后面的是目的端口地址。图4-28HQ-GWVPN配置Figure4-28HQ-GWVPNconfiguration然后是定义crypto-map，定义CUMT（命名本地有效）、设置对等体（对端加密点）、调用转换集（第二阶段策略）、调用感兴趣流。图4-29HQ-GWVPN配置Figure4-29HQ-GWVPN