大型银行网络运维自动化思路与实践 附商业银行数据中心自动化运维平台的设计与实现

随着金融科技发展的不断变革，金融行业的网络整体规划和建设思路也在不断追赶新时代银行业务的发展需要。网络规模的不断扩大，网络应用技术的不断提升，都对大型银行网络的日常运维提出了更多的挑战。跟紧银行业数字化转型以及金融科技一体化运维大潮，网络运维（NetOps）正在着力于引入最新的统一化、规范化、自动化运维技术，用于更好的保障金融科技系统的稳定运行。银行作为对IT系统高可用性要求极高的金融机构，对网络架构的可用性、可靠性等方面提出了更多的挑战。大型金融网络运维，涉及到资产管理、容量管理、性能管理、变更管理、应急保障等多方面的管理需求，都占用了大量的运维资源和人力成本。如何让运维人员将有限的精力专注于更有意义及挑战性的工作中，是网络运维自动化一贯坚持的思路和方向。作为网络自动化建设的实践者，我们在摸索中不断前进，从以下几个方面的进行了实践。化繁为简，构建统一的网络资产数据池在网络资产的管理方面，开展网络资产的数据标准化工作，以统一的数据标准实现对整体网络资产的管理。其目标是实现对整体网络资产的梳理和调用，避免出现资产信息在不同运维系统中数据的差异，造成网络运维过程中信息不一致、数据不统一等问题。针对网络设备资产，开展统一的设备监控管理成熟度模型建设，针对不同功能类型、部署区域、使用场景的网络设备，按照运行监控、网络连通、服务管理三个维度计算其管理成熟度评分及监控定级，最终实现设备的标准化监控配置和全生命周期的资产数据管理。解决了网络设备在日常运维过程中出现“脱管”或"半脱管'’的问题，并提升了不同网络运维系统对网络设备资产的数据交互及监控管理需求。对于网络线路资产，采取统一的线路资产数据标准化管理，实现线路资产与设备、应用信息的关联互通，提升在网络运维过程中相关信息传递的一致性及准确性。对于配置及参数资产，采取智能化分布式的配置参数采集及管理机制，在保证网络配置及参数的数据安全性同时，乂实现了网络配置动态对比及关联分析的功能，提升了以“静响“动”的运维监控能力。针对网络逻辑资产，开展统一的网络CMDB信息采集及更新机制。通过对不同类型的网络设备进行适配，采取SNMP,命令行登陆，接口登陆等方式，获取相关网络设备的数据信息，将相关信息通过统一的规则进行关联，实现对整体银行网络内IP、ARP、MAC接口数据，访问控制信息，应用系统信息，网络地址及性能容量、设备资产配置容量、机房布线容量信息的大集中，实现了对整体网络资产情况的一手掌握。破釜沉舟，打造网络变更的“人工+智能”银行网络的特点就是安全运维颗粒度及精细度程度高。在最小化严格化控制架构下，运维过程中网络人员将面对每日数以百计的网络变更及调整，相关的变更从正常的变更投产、测试开发到最普遍的用户域访问控制，都需要投入大量的人力进行变更内容的评审和准备。在安全合规的前提下，将运维人员从整体的变更流程及变更内容的准备中解脱出来，是变更自动化急需实现的目标。在变更流程的优化方面，我们尝试打破跨系统间的技术壁垒，润滑整合流程平台与运维平台之间的信息传递机制，将变更整体的申请、审核、分配、实施、复核的全周期流程进行串联，结合变更内容与网络资产数据的关联分析，实现变更内容的自动化解析和数据生成。运维人员在一个页面中可以完成整体变更流程的流转，以及变更内容的智能分析及脚本自动化生成工作。对于涉及重要生产网络区域的标准变更内容，通过自动化的方式实现对变更脚本的生成，运维人员仅需对自动化脚本进行审核，并通过相关的合规审计渠道进行变更内容的下发即可完成变更实施工作。对于开发测试、用户接入等非生产网络区域的变更，可通过自动化变更审核后即实施下发的方式实现，既提高了网络变更流转的效率，也降低的网络运维人员重复性工作的强度。此外，为了满足多活多中心应用系统架构部署的网络访问需求，我们完善了跨数据中心的网络变更一体化流程实现，通过系统CMDB智能判断，系统开发及运维人员无需知道对应地址的所属数据中心区域，即可实现一次申请，多地开通的网络变更自动化，提升了整体网络自服务的能力和水平。在变更的合规审计方面，通过实现对整体变更数据的标准化解析和智能化分析，在日常的运维过程中可快速回溯相关变更内容及数据，以及对应网络设备策略的命中情况，提高运维人员的问题分析和定位排障效率，加速整体事件处理的效率和效力，为网络安全生产保驾护航。拥抱多元，提升网络运维监管控思路随着网络规模及架构技术复杂度不断提升，传统的网络监控模式已无法满足海量的日志处理及高并发的设备数据采集需求。在事件分析及定位方面，快速交付运维人员相关的设备告警日志、性能数据趋势、历史关联信息，以及实现网络告警信息与其他专业条线告警信息的关联整合，是新时代网络运维的里程碑。在信息的采集方面，拥抱业界开源的运维监控手段，一方面实现了分布网络设备信息的高频采集，通过结合主流的网络运维监控算法，形成智能的网络监控定义，实现了对整体网络架构及设备运行状态的实时信息采集及感知。此外，利用主流高并发流处理技术，实现对海量网络设备日志的智能解析及关联分析，提升了整体网络监控的处理及分析能力。另一方面，加强旁路监控的运维辅助能力，通过使用多点部署全流量采集探针的方式，形成整个网络通信线路的多段网络流量分析链，帮助运维人员从多个维度实现对相应告警的智能分析，解决传统运维监控中关联数据缺失，辅助排障信息不足的问题。在监控的监控展示方面，通过使用统一的运维监控平台，实现了多运维条线的CMDB数据上收及整合，解决了一键获取告警及关联数据信息，跨运维部门间监控告警关联分析，应用信息与网络数据对接等问题。在运维监控的辅助方面，结合实际的网络运维场景，实现了网络状态比对、历史数据分析、快速配置及参数对比、一键问题设备隔离等操作运维场景的自动化落地，帮助运维人员在监控中更快的实现问题的定位及处置。此外，面对疫情及其他极端运维情况，我们尝试性的开展了现场运维监控+移动运维辅助+远程运维支撑的运维管理模式，在遇到复杂问题时，通过群策群力的方式，帮助相关值班人员迅速进行问题的分析和定位，并协助其进行整体的故障排除及处置。紧跟时代，提升智能网络自服务能力随着网络技术的不断演进，数据中心级SDN技术及广域网SRv6技术已逐步在银行网络架构中落地。在不断提升网络自身的健壮性及技术能力的同时，实现网络新技术与其他系统及应用技术的融合，是新的智能网络管理的机遇和挑战。在基础服务交付方面，数据中心层面实现新SDN架构的落地既实现了对整体网络资源的整合及虚拟化支撑，也实现了对大型银行网络架构下传统系统及云平台的平滑支撑。在广域网络上，通过实现了更先进的分段路由(SegmenlRouting)能力，从技术上达成了基于应用系统层面的网络通信及灾备保障，进一步提升了总、分行之间的网络传输调度及应急能力。在应用系统支撑方面，进一步实现网络对应用开发的友好性。跳出网络看网络，即站在应用系统的视角来提升网络对应用支撑的能力，通过网络的智能化服务能力，帮助应用系统在日常运行过程中发现可能存在的问题，最大化的规避系统运行中可能存在的不稳定因素，提升网络网络智能自服务能力。此外，在不断完善网络自己的运维体系建设的同时，我们已经开展了基于应用的网络流量智能调度，基于流量的应用交易关联分析・，重要网络服务的分布式网络资源分配和监控，网络安全全自动智能封禁，网络运维的集中API平台等方面的建设，并正在尝试开展系统网络的一体化运维提升建设，实现用网络而不见网络，真正做到用网络服务的“大象无形”。每一代网络有每一代网络的长征路，当今的网络运维思维已随着日新月异的IT技术而不断更新迭代。大型银行作为IT技术的“重度依赖”机构，早已站在了金融科技转型的风口浪尖。在保障网络基础架构稳定性的关键性能指标的同时，通过网络运维自动化提升整体网络团队的能力，通过网络资源的虚拟化实现网络更大的灵活性和扩展性，通过“自我革命”实现网络底层对业务应用系统的服务输出，是当前网络运维面临的新问题和新挑战。网络运维现在的本职工作，不仅仅是要提升网络的自动化运维能力，更需要提升网络对业务及应用系统的持续交付水平，争做银行数字化转型的领头羊、排头兵。商业银行数据中心自动化运维平台的设计与实现摘要：当前，商业银行数据中心处在“双态运维''模式下，如何做好稳敏共存、稳敏共进是商行数据中心必须面临的挑战，在该背景下，需要建设一个覆盖开发、测试、生产的自动化运维平台，以此来全面提升运维工作效率并降低人工操作风险。自动化运维平台需要以业务为中心，以流程为导向，帮助实现业务系统的快速上线和更新部署，满足日常运维主流场景的自动化需求，全面提升运维自动化水平，实现商业银行数据中心日常运维标准化、自动化、集中化和一体化的管理体系。耳自键词：数据中心;标准化;自动化;一体化1项目背景随着商业银行各项创新业务的快速发展，数据中心IT信息系统建设不断深化，IT基础设施规模和复杂性急剧增大，两地三中心的基础架构，动辄几百套信息系统、上万台服务器的规模，通过手工或简单脚本化操作的传统运维模式的局限性日益显现，无法满足商业银行数字化转型的需求。在当前大数据、云计算时代的背景下，必须通过自动化运维平台的建设和应用，在确保IT基础设施的安全、稳定运行的前提下，实现资源的快速部署、应用持续集成和快速交付、故障的快速应急、变更的及时响应，只有这样才能快速响应业务对IT基础设施的各类服务需求［1］。2设计目标及原则设计目标鉴于商业银行数据中心运维工作的复杂性和多样性，并考虑到建设成本和前瞻性，需采用先进的运维理念及主流的软件架构。自动化运维平台建设应做到支持各类主流基础软硬件平台，在为运维人员提供运维场景设计、开发、管理和执行的功能平台的同时，具备运维场景可定义、可配置、可定制的特点，实现运维场景从设计、开发、审批、发布、使用到回顾的全生命周期管理，合理合规地提升运维人员产能和运维管理效能，逐步实现被动运维向主动运维转型，操作运维向运维开发转型［2］。设计原则针对商业银行数据中心自动化运维平台的建设目标，遵循5个方面的原则进行建设。1）体现主动运维、向开发运维转型的要求。2）标准化、自动化、集中化和测试运维一体化的建设思路和目标。3）平台的稳定性、安全性、保密性、可靠性和完整性。4）技术先进性和可扩展性。5）体验上的易用性和美观性。3系统设计顶层架构设计平台物理架构因监管及安全的实际需要，商业银行数据中心多采用两地三中心甚至多中心的物理布局，自动化运维平台建设需要满足这一要求。所以在平台的设计上应采用分布式架构，支持多地部署、高可用和负载均衡的模式。整体架构可划分为服务层、交互层和被管设备层（Sever/Probe/Agent）3层，服务层统一管理多个交互层，交互层与被管设备层进行通信，各层之间通过加密的方式进行通信，平台应基于RPC消息服务模式实现去中心化的分布式架构，实现多中心运维自动化平台的统一和安全管理。平台逻辑架构平台逻辑架构的设计应从数据中心IT基础设施运维场景实际出发，同时考虑未来技术发展方向和业务对IT基础设施运维服务能力的要求，力求在技术方案的先进性、实用性、扩展性、可靠性等方面保持一个良好的平衡。在逻辑架构上，平台可分为运维接口层、核心组件层、系统功能层、应用场景层和界面交互层。、运维接口层：商业银行数据中心根据自身运维管理的要求，大多己经建设完成了ITSM等运维管理类系统。自动化运维平台除了提供平台自身和被管理节点之间的交互接口外，还应该提供完善的第三方接口（例如KVM、K8S、ITSM、CMDB等），其中可通过API与虚拟化系统进行交互操作，通过K8s与Dock容器集群进行编排管理，通过SNMP、SSH等方式对网络设备进行操作管理，通过HTTP/HTTPS协议与第三方系统接口进行交互协作等。核心组件层：核心组件层作为平台功能的底层支撑，主要提供平台所有前端和后台数据的处理，以及各功能模块的后台实现逻辑，平台的核心组件应设计自身知识库，并基于稳定高效的批量引擎、调度引擎和规则引擎，实现对系统功能层的有力支撑。系统功能层：利用核心组件层提供的基本能力，设计运维平台的主要系统功能，实现商业银行日常主流运维操作的覆盖，如裸机安装、软件安装、补丁安装、信息自动采集、作业管理、批量管理、运维流程编排、自动巡检和基线检查等。应用场景层：为方便人机交互，便于运维工程师操作和复用，平台应利用系统提供的功能模块对日常运维场景进行进一步的场景化封装，应将一些操作复杂、重复操作的运维场景封装为标准化、规范化的一键式操作功能，如维护变更、应急处置、持续集成部署、灾备切换、健康巡检、安全基线检查等。界面交互层：提供面向运维工程师的统一Web管理入口，以模块化的方式组织平台提供的各类组件、功能模块和应用场景，实现日常运维的统一管理。此外，面向第三方系统，通过RESTAPI的方式提供服务接口，输出平台能力。底层数据抓取设计鉴于行业的特殊性，商业银行数据中心对信息安全和数据安全都有着严格的管控要求，平台的底层数据抓取设计在应对复杂的运维环境前提下，还应遵循监管及商行内部的安全规范，做到以下6个方面。1）根据实际需要采取Agent或Agentless方式，应支持常用的脚本语言，如Shell.Powershell>PythonBat等，同时满足文件和字符2种传输模式。2）严格控制高权限用户执行，高权限用户操作时须有相应的审批和授权记0Agent与平台之间的信息传输要经过加密处理，确保底层数据在传输过程中的安全。Agent与平台的交互可根据运维环境的实际情况采用同步或异步方式，最大限度地降低对被管设备资源的消耗和影响。Agent要有自我监控，实时查看当前的健康状态，确保底层数据抓取的稳定性。6）平台顶层应具有数据抓取后处理能力，通过规则引擎可以灵活定义数据的处理逻辑，适用于合规检杳、基线比对、采集信息格式化、执行结果报表化等场景，大幅降低个性化定制开发的成本。自动化运维功能设计根据商业银行数据中心的运维环境和日常运维场景特点，平台自动化运维功能应包括资源管理、运维服务管理、报表管理等方面，同时需对运维工程师的平台操作做好权限管理和行为审计管理。3.1资源管理资源管通功能设计主要包括3个方面。I）设备资源管理：服务器、网络等设备是平台纳管的主要目标，平台应实现对被管设备的集中管理和一键纳管。为方便运维工程师选择操作设备，应能通过IP模糊查询、操作系统、中间件、归属应用等多维度进行定位，同时支持通过正则表达式等方式对设备进行灵活的标签分组和设备属性自定义。2）应用系统管理：平台应根据商业银行数据中心的日常运维职责划分实际需要，实现被管设备的应用系统归属管理，避免误操作。3）信息收集管理：实现被管设备的信息收集功能，满足报表统计、自动化巡检、合规检查、基线比对等场景。运维服务管理运维服务管理主要体现在日常运维场景的管理，实现自主提炼和封装维护变更、应急处置、软件下发、补丁安装、环境交付等日常运维场景，使其成为标准化、规范化的运维服务，以供其他运维工程师使用，从而实现降低运维技术门槛、屏蔽技术复杂度、提高运维效率。结合各运维场景的特点，运维服务管理的实现主要包括服务封装、服务审批、服务实例化、执行授权和执行可视化。服务封装：以脚本化、参数化、流程化的方式对运维场景进行服务化封装，并通过图形化、可视化的界面设计实现自主编排运维服务。服务审批：通过审批功能模块实现运维服务的发布和执行审批，对运维服务的质量和安全性进行有效管控，避免非合规操作造成的生产事故。服务实例化：通过参数化方式实现运维服务的一次封装。执行授权：通过执行授权的方式管控运维任务的执行，以确保对的人在对的时间做对的事。执行可视化：通过可视化界面实时展示运维任务的执行过程和结果，便于查看、干预。报表管理报表管理实现对平台的管理数据和运维数据的统计工作，包括平台的管理资源统计、运维任务统计、采集信息统计、执行历史统计等，为整体IT资源管理和运维工作管理提供数据支持。行为审计管理为了满足商业银行数据中心安全管理的审计要求，自动化运维平台的行为审计也是必不可少的功能。平台操作均可追溯。权限管理商业银行数据中心对运维操作有着严格的管控和审批机制，平台自身应设计完备的角色权限管理功能，提供集中统一的权限管理，遵循最小授权原则。同时，为兼顾主动运维转型，应设计运维操作、运维开发、运维审批、执行授权等不同级别的权限角色，同级别角色仍可进行增、删、改、执行等权限的细分。4系统测试及功能实现系统测试商业银行数据中心自动化运维平台测试应遵循行业测试规范，做好功能测试、运维场景测试、接口测试、UAT测试和性能测试，同时还应结合平台自身特性，做好如下测试。数据一致性测试：数据安全、执行结果符合预期是商业银行数据中心运维任务管理的重中之重，鉴于平台的多层架构设计和被管设备环境的复杂性，平台需做好在各节点网络中断、运维任务执行超时等特殊情况下的数据一致性测试，确保运维任务执行结果可控。高并发测试：鉴于平台的批量部署特点，平台需要做好单一场景和混合场景下的高并发测试，确保运维任务的正确执行，做到有令必达。Agent资源使用测试：如果平台采用Agent方式实现被管设备的纳管，则需要对Agenl资源占用情况做好疲劳性测试，确保资源使用不会对被管设备产生不良影响。网络带宽影响性测试：平台应对运维任务的并发进行监控控制和优先级设置，确保不会因并发失控导致生产带宽拥堵，必要时使用QoS等网络控制技术。系统功能实现平台功能实现应遵循高内聚低耦合的模块化设计理念，充分借鉴和参考在运维自动化领域主流的“Sever/Probe/Agent或