企业IT系统架构巡检方案

1、 企业IT系统架构巡检方案目 录 TOC o 1-3 h z u HYPERLINK l _Toc511933634 一、背景 PAGEREF _Toc511933634 h 3 HYPERLINK l _Toc511933635 二、巡检思路 PAGEREF _Toc511933635 h 3 HYPERLINK l _Toc511933636 2.1 系统架构巡检的分类 PAGEREF _Toc511933636 h 4 HYPERLINK l _Toc511933637 三、巡检工作相关定义 PAGEREF _Toc511933637 h 7 HYPERLINK l _Toc511933

2、638 3.1 巡检工作一般流程 PAGEREF _Toc511933638 h 7 HYPERLINK l _Toc511933639 3.2 巡检问题分类 PAGEREF _Toc511933639 h 8 HYPERLINK l _Toc511933640 四、巡检内容 PAGEREF _Toc511933640 h 9 HYPERLINK l _Toc511933641 4.1 架构合规性巡检 PAGEREF _Toc511933641 h 9 HYPERLINK l _Toc511933642 4.2 数据巡检 PAGEREF _Toc511933642 h 10 HYPERLINK

3、 l _Toc511933643 4.3 新业务巡检 PAGEREF _Toc511933643 h 11 HYPERLINK l _Toc511933644 4.4 系统安全巡检 PAGEREF _Toc511933644 h 12 HYPERLINK l _Toc511933645 五、巡检典型问题及分析 PAGEREF _Toc511933645 h 13 HYPERLINK l _Toc511933646 5.1 A系统业务流程中的不合理问题 PAGEREF _Toc511933646 h 13 HYPERLINK l _Toc511933647 六、巡检效果及展望 PAGEREF _

4、Toc511933647 h 15一、背景系统在规划建设过程中，一般会遵循集团的业务规范，预估本省业务发展趋势，预留一定的资源量；随着项目建设的落地，业务的不断发展，日常业务需求引起的变更，对系统的架构、性能产生一定的冲击，系统当前运行情况是否稳定，系统架构是否符合业务发展要求，需要进行一个全盘的梳理检查。我们从2016年开始探索架构治理之路，而对架构治理之前需要对系统的现状做一个全面的了解，于是进行了对IT系统架构巡检工作的研究。我们这里提出的IT系统架构巡检是对系统运行的稳定性和安全性，定期进行一个全面的检查，发现潜在风险，并结合业界最新的技术发展趋势，提供推荐的解决方案，同时为系统的规划

5、建设和运维提供技术参考。二、巡检思路巡检是一种保障系统健康运行的有效手段，是一种主动的探知，不同于被动的监控告警，可以类比于我们定期的体检，用于发现系统的早期问题的征兆，以期做到防患于未然。系统巡检思路可归为下列三点：（1）识别潜在的问题因子，及时有效的处理。（2）观察系统各项功能运行情况，改变不良的系统运行环境，避免问题因子的产生。 （3）加强对系统功能的了解，调整系统中不合理的参数和配置，提高系统健康运行水平。图1 系统巡检思路示意图 定期巡检可以建立自己的“参考值”，从测定数值的变化中更多的了解系统，并以此数据作为推断系统健康状况的参考。2.1 系统架构巡检的分类我们在系统架构巡检的探索

6、中发现针对不同类型的系统，巡检工作的关注点是不同的。目前的分类是从大的方向分为系统巡检和流程巡检，系统巡检根据系统的重要性可以进一步分为核心系统巡检和一般系统巡检。核心系统的特点是架构相对比较成熟且运行较为稳定，但同时也承担着较大的业务量，所以巡检的重点往往放在动态变化的部分上，包括日常业务上线会对当前的系统容量的影响、新业务上线对表结构和相关软件版本引起的变更、业务发展引起数据量增长导致业务性能可能存在的异动等。同时考虑到核心系统对稳定性的要求较高，日常运维中都会尽量避免对系统进行大的改动，往往也会成为架构老化的高发地带。以计费账务系统为例，在巡检过程中考虑重点关注三方面的内容：（1）关注系

7、统中变化的部分，包括业务量变化，运行环境变化和新业务上线，对于维护日常进行的内容由各专业自行抽检。（2）观察系统中数据的变化趋势，对于计费账务系统关注的主要是话单流、资金流、工单流。（3）重点巡检系统技术架构中的关键内容，主要参考浙江移动IT系统架构管控八大军规中对架构的要求，另外对计费账务系统重点检查MDB的各项情况。图2 计费账务系统巡检内容示意图非核心系统的特点是建设初期往往定位不重要，在各项建设指标上要求不高，且往往由较小的厂商负责建设，这些厂商在系统设计和开发能力存在一定不足，导致非核心系统整体成熟度较低，在架构层面还有很大的提升空间。系统整体架构依赖开发框架本身的成熟度，未在此基础

8、上做进一步的设计，在业务量统计、日志记录查询、业务稽核、系统柔性方面均存在明显缺陷。所以针对非核心系统的巡检需要先抓主要矛盾，检查整体架构上是不是存在明显的缺陷，尤其是需要警惕非核心系统中的功能影响核心系统主要业务流程的现象。公司的业务比较复杂，针对某一特定系统的巡检有的时候无法关注到某一类业务的全貌，面对业务涉及的各系统间的数据交互，有的时候需要从某一个流程入手来理清整条线的运行情况，这个时候就可能要进行流程的巡检。流程巡检的过程和系统的巡检的区别主要是要把流程梳理提前，以便确认巡检的范围，架构的巡检相应往后调整，针对流程涉及到的各个系统集中进行。图3 流程巡检一般步骤三、巡检工作相关定义3

9、.1 巡检工作一般流程图4 系统巡检一般流程巡检工作分为巡检周期和整改周期，整改周期一般在巡检周期结束时即启动，也可以在分析结果产生时提前启动。巡检一般流程如下：1、巡检开始阶段先回顾以前的巡检记录，检查之前巡检的问题哪些内容已完成整改，哪些内容整改中，同时针对近期完成整改的内容本期重点检查；2、制定本期巡检计划，列出巡检内容分发到各专业；3、各专业根据巡检内容进行巡检，收集数据；4、各专业根据收集的数据进行初步分析并将结果反馈至牵头专业；5、牵头专业汇总各专业巡检结果，并牵头进行综合分析；6、根据分析梳理并输出巡检报告；7、完成本期巡检并针对问题启动整改流程。3.2 巡检问题分类我们按照问题

10、的紧急程度和范围将所发现的问题排列如下：根据9类情况汇聚成两大类4个级别：架构问题（不符合军规或者架构上存在缺陷）：架构缺陷：架构上的重大缺陷，对系统安全运行和后续扩容有较大影响，建议下一期项目重点调整。一般缺陷：架构上的一般缺陷，对系统安全运行和后续扩容影响不大，但是造成了维护或者操作不便，建议后续调整。（比如：日志不完善）生产问题（生产运行中的问题，功能、配置、性能等等）：紧急问题：生产系统中存在重大隐患，对系统运行造成很大影响，建议立刻修正。一般问题：生产系统中的一般问题，对系统运行有影响但不紧急，建议后续修正。图5 问题分类级别四、巡检内容巡检的内容主要分为各专业巡检和综合分析两部分，

11、各专业巡检包含了各个专业根据日常的运维的经验对自己专业的内容进行专业的巡检和分析，包括架构巡检（分层、高可用、容量规划、柔性可用、日志、配置、监控、安全），运行数据巡检（话单量、工单量、KPI、日志），基础数据巡检（主机、内存、存储、网络带宽容量），业务数据（日账、错单稽核、敏感业务），新业务巡检（是否涉及表结构变更、是否涉及新增业务），系统安全巡检。综合分析是通过将收集的各专业的巡检结果及指标趋势联合起来，分析及预判可能存在的问题及风险，并提出后续整改建议。4.1 架构合规性巡检我们前期借鉴行业及集团的相关经验和实践，将涉及技术架构和应用架构的重点内容提炼为八项军规，涵盖分层、高可用、容量规

12、划、柔性可用、日志、配置、监控、安全八个方面的架构要求。架构合规性巡检以八项军规参考，在此基础上进一步细化为六十余条细项，对系统的架构合规性进行全面的检查。图6 架构合规性巡检维度4.2 数据巡检数据巡检部分涉及到基础数据、运行数据以及业务数据，这三类数据和具体的系统关系比较密切，需要专业人员根据经验制定巡检内容。其中，基础数据相对规范，涉及到主机、内存、存储、网络带宽容量的性能，但是每个系统的阈值也需要根据经验和实际情况评估（例如CPU和内存使用率，存储使用率等）。而运行数据和业务数据除了和具体的系统相关还和业务量的历史数据及业务发展情况相关（例如工单的积压量、MDB的连接数、某类业务的平均

13、处理时长等）。数据巡检需要关注数据的变化趋势，将巡检期间的数据环比之前各月的数据或者同比上一年同期数据，以评估该数据趋势是否正常，评估时往往还需要将多个数据的趋势综合分析。图7 充值流程相关数据表业务积压情况4.3 新业务巡检新业务巡检主要是考虑到系统的变更频率以及变更程度，用以评估系统的稳定程度，根据多年系统运维的经验，变更频繁的系统以及发生过重大变更的功能往往是隐患埋藏之所，所以针对一定周期内的新业务变更，尤其是涉及产生新的业务量、更改业务逻辑或变更数据表结构的需求，需要重点关注业务的运行情况以及对原有业务和功能的影响。4.4 系统安全巡检系统安全巡检其实是一个相对独立的大课题，针对待巡检

14、系统或流程的体系架构、系统集成、应用部署、安全审计、管理流程等，查找加载在系统或流程上的重点业务的管理和技术漏洞，摸清系统或流程的风险状况，并及时安排修复和整改。工作方式主要采用数据集中分析与现场访谈相结合的方式，具体包括访谈、审阅、现场渗透、远程扫描、分析性复核、重复验证、数据分析等方法，以发现审计风险、配置隐患以及网络层、系统层、应用层中的中高危风险。图8 安全巡检维度五、巡检典型问题及分析在系统巡检过程中，我们发现了一些比较典型的问题，包括业务流程不合理（尤其是非核心系统中的功能影响核心系统主要业务流程的现象），部分应用容灾环境缺失，主机软件版本缺陷，软件基础库特定条件触发Bug，旧的配

15、置数据无法适应新的业务增长等。鉴于篇幅，下面主要做一个案例分析：5.1 A系统业务流程中的不合理问题1、梳理A系统业务流程，重点关注系统间依赖情况，发现虽然核心X系统调用A系统工单打印签章属于异步流程，但是X系统业务办理中关键环节实名制认证需要的关键流程需要调用A系统相关接口，而A系统的办理流程中该核心功能是与A系统共同部署的，A系统系统故障将会影响核心系统X系统的正常业务受理，而A系统根据业务能力定位为重要而非核心系统。图9 A系统业务整体受理流程2、X系统异步调用A系统功能，A系统新建数据库记录并在处理过程中及时更新状态，而该数据库与其它应用共用且无容灾。3、A系统工单完成签章后会通过存储

16、主机（双机互备）将文件上传存储，但通过巡检两台主机的主机性能发现压力不均衡，进一步核查问题原因，发现目前存储主机的负载策略存在缺陷，先将1号机的连接池占满才会将负载分发到2号机，导致1号机在业务高峰负载偏高，而2号机负载长期偏低。4、处理措施：将A系统业务受理中的核心功能模块单独部署，并提升该模块的运维等级；将数据库迁移至有容灾环境的一体机；将营业厅A系统工单存储迁移至内容管理平台。六、巡检效果及展望在核心系统、非核心系统、核心流程的三次巡检过程中，由牵头专业统一牵头，各个专业的参与度逐步提高，在专业巡检中进行了越来越有力的配合，且提供了相当专业的意见和建议，为全面排查系统隐患，探讨系统改进的

17、方向，提升系统健康度共同做出了努力。经过三轮巡检，累计发现各类问题39个，问题分类占比如下图所示：图10 巡检发现各类问题占比我们在巡检活动积累了以下一些经验： 1、系统巡检以核心系统、非核心系统以及核心业务流程为抓手，进行了一系列的系统性巡检工作，验证了巡检工作的可行性和价值。同时，在巡检过程中制定了巡检流程及系统巡检模板，为后续的巡检工作积累了流程和工具。 2、针对巡检过程中发现的问题应本着进一步再进一步的思路，从问题表象入手深入分析问题原因，进而可以挖掘出深层次的根源和隐患。巡检过程发现的部分系统潜在风险和问题具有一定的复杂性，需要多专业共同协作。 3、非核心系统在建设过程中忽略的问题，随着非重要系统提升为重要系统，这些忽略的问题日益成为系统的隐患。同时，非核心系统中的功能影响核心系统主要业务流程的现象具有一定代表性，需要在后续的系统建设中重点关注。另外，非核心系统建设厂商在系统设计和开发能力往往存在一定不足，需要在