大型企业IT基础架构和应用运维体系

IT基础架构和应用运维体系介绍现在是1页\一共有49页\编辑于星期三基础架构及应用运维服务总体方向总体方向：通过标准化运营流程、自动化监控管理工具、培养专业化人才，提供高质量的基础架构及应用运维服务，提升服务品质、降低运营成本。服务人流程工具现在是2页\一共有49页\编辑于星期三用微软.Net技术编写的软件，需要装.Net框架IT基础架构应用程序数据操作系统虚拟化中间件主机存储网络数据中心软件程序全部层级对于个人对于企业游戏、视频软件、QQ软件、记账软件游戏存档、下载的视频、聊天记录、家庭账本WindowsXP/7/10MacOS电脑上装了Windows和Mac双系统笔记本、台式机、一体机联想/Apple/Dell硬盘、U盘、移动硬盘电信宽带无线路由器/猫书房销售系统、财务系统、ERP、办公系统客户数据、财务数据、员工数据Java/.NetWindowsServer2012RedLinux7.2IBMAIX7.0VMware，虚拟化技术，1台服务器硬件上装20个操作系统小型机、机架、刀片服务器IBM、Dell、HP、华为SAN/NAS存储网络高端/中端/低端存储EMC、HDS、华为核心网/广域网/局域网路由器、交换机、防火墙Cisco、华为数据中心/运营商IDC精密空调、UPS、消防数据库Database：mysql/OracleIT应用架构IT数据架构IT基础架构现在是3页\一共有49页\编辑于星期三基础架构及应用运维服务体系规划容灾电话视频网络服务器操作系统虚拟机存储备份数据库阿里云SAPBasis机房环境梅林机房沙河机房阿里云(公有云)统一监测控制管理平台（基础架构）基础设施配置管理容量管理问题管理变更管理发布管理统一监测控制管理平台（应用运维）配置管理可用性管理问题管理变更管理发布管理(主动/被动+自动/人工)统一服务台(呼叫中心，电话，网页，移动，微信，QQ，邮件)应用环境IT组织架构供应商管理方案框架容灾技术服务策略会议管理直播管理远程软终端电话计费电话管理网络监控带宽管理上网行为广域网加速华为监控监控工具：华为iBMC、惠普iLO戴尔DRAC资源池优化微软:

SCOM集成深化：Zabbix

或Nagios管理:Vcenter监控：无版本升级监控:HDSSVOSEMC,Unisphere管理工具：OPScenter备份监控：Zabbix

或NagiosOEM（Oracle)SCOM(MS)阿里云管理已购买、安装未部署使用：Solutionmanager监控工具：风火水电老旧设备汰换开发环境系统测试环境压测、UAT环境生产环境服务台组织⑴环境定位及建设迁移⑿统一运营服务平台（基础架构）⑿统一运营服务平台（应用运维）⑵IT资产管理(CMDB)⑷⑶⒀⑾⒁⒂⑹城市公司机房⑼私有云公有云⑽混合云管理平台印力机房⑸⑺⑻⑾⑴机房定位及建设迁移⒄⒅⒆⒇(21)

(22)

现在是4页\一共有49页\编辑于星期三行业云解决方案提供者：XX公司愿景与基础架构部的战略方向开发者：Docker商业地产应用PAAS平台服务化SAAS软件即服务IAAS基础设施云化住宅地产应用公共服务应用物业管理应用阿里公有云XX私有云虚拟化平台云管平台办公用户：VDI监控工具资产管理与CMDB服务目录与流程体系打地基当前重点推进工作行业云基础设施标准化网络存储数据库视频会议备份容灾数据库虚拟化云计算机房管理Basis对内，面向应用团队及用户的敏捷支持：

1.实现资源供给的敏捷交付

2.实现故障的准确快速定位3.实现隐患的提前预防应对现在是5页\一共有49页\编辑于星期三容灾IT应用服务策略规划与方案体系框架IT容灾技术选择IT应用分级分层及恢复次序灾难恢复全景图现在是6页\一共有49页\编辑于星期三应用级容灾方案SLBGSLBSLBWebAppDBWAN/MANSLBGSLBSLBWebAppDBCWDMA机房B机房应用服务器集群

（web、表示层）应用服务器集群

（对象层）应用级数据级现在是7页\一共有49页\编辑于星期三容灾环境管理体系容灾组织IT基础服务应用实现双中心分布式部署，AD、邮件、DNS实现重要分支机构分别接入梅林和沙河数据中心关键实现应用级容灾，RTO<8小时，RPO4小时梅林其他应用实现分级数据级容灾支撑IT业务连续性明确IT容灾日常及应急环境下的组织及职责明确IT容灾业务目标，设计为实现此目标所遵从的策略、流程及制度，以规范和指导IT容灾业务管理的各项工作IT容灾体系建设实现基础架构从部分到全环境的容灾；

实现关键应用从数据级到应用级的容灾现在是8页\一共有49页\编辑于星期三IT容灾管理体系框架《IT容灾管理政策》《IT容灾分级标准》《IT容灾建设策略》《IT容灾运维策略》《IT灾难恢复计划》《iDRP/aDRP》容灾需求管理容灾系统维护灾难恢复计划维护灾难恢复计划演练宣传与培训战略层战术层运作层容灾系统建设灾难恢复计划编制明确IT容灾业务目标，以及为实现这些目标所进行的所有决策和行动必须遵循的总方针和基本原则，并指导战术层、运作层管理体系的制订。明确IT容灾分级的方法以及针对各级别IT系统的容灾服务建议，为制定容灾方案和签署容灾协议提供指导，合理分配公司IT容灾资源明确IT容灾系统规划与建设的策略要求，以规范和指导IT容灾系统的建设、优化与扩容明确从灾难发生开始，到恢复到正常运行状态相关的行动、资源和规程，保护公司关键信息资产，指导灾难情况下快速响应、有效决策和及时恢复，保证IT服务的连续性明确IT容灾日常运维操作管理要求与实施细则，落实IT容灾政策、规范与流程等管理要求，以规范IT容灾业务管理描述在灾难中各IT系统执行的恢复程序或操作指导现在是9页\一共有49页\编辑于星期三IT容灾技术选择应用类型容灾技术Oracle（物理机）OracleDataGuardSQLServer（物理机）SQLServerDBMirrorMySQLVMwareSRM+SAN存储异步复制文件服务，操作系统，应用程序SAN存储异步复制，Rsync/Robocopy邮件ExchangeDAG分布式集群虚拟机VMwareSRM+SAN存储异步复制AD域/DNS等分布式部署应用应用分布式部署方式Distributed现在是10页\一共有49页\编辑于星期三IT应用分级和分层分级定义核心支撑面向客户交付的应用且停止服务会给公司造成重大损失。期末财务关账直接相关的应用。全员高频使用的应用，如邮件。公司外部客户使用的关键应用。重要支撑面向客户交付的应用且停止服务会给公司造成较大损失。支撑公司内部运营的应用且停止服务会给公司造成较大损失。一般停止服务会给业务造成运作不便（一般是非实时系统，业务有替代方案，可以Workaround，或对服务中断时间无特殊要求）分层定义主干承载关键信息流或者作为关键数据的数据源，具有内外部多个（两个及以上）交易数据集成关系并且直接影响利润或者财务数据完整性的应用；辅助作为主干应用的重要补充而存在；承载部分业务操作或者数据处理，为主干应用的数据节点准备数据。末端应用\工具支持局部业务效率提升，或者支持个性化的差异业务的应用/工具，应用功能上覆盖作业层过程管理或者数据加工、计算等。现在是11页\一共有49页\编辑于星期三IT应用服务策略容灾指标容灾级别容灾A级容灾B级容灾C级RTO8小时2天1周RPO4小时1天1周MBCO70%50%30%容灾方式应用级容灾应用级容灾数据级容灾DRP审视每年一次每年一次每两年一次容灾演练每年一次每年一次每两年一次资源配置在容灾建设时满足MBCO需求，采用资源配置采用独占、热站点配置模式在容灾建设时满足MBCO需求，采用资源配置采用共享、热站点配置模式在容灾建设时满足MBCO需求，采用共享、温站点配置模式基于XX当前的IT规模、IT管理成熟度及IT资源配置，将IT系统划分为容灾A级、容灾B级、容灾C级三个容灾需求等级，不同的容灾需求等级对应不同的容灾恢复要求根据IT系统分层分级属性对IT系统进行评分，根据评分结果确定IT系统容灾需求等级；由于技术限制、业务特殊要求等例外情况导致的不能匹配分级标准的IT系统，根据实际情况进行级别调整现在是12页\一共有49页\编辑于星期三关键活动管理流程支持交付联系清单（CallTree）/模板（沟通模板…)/工具…灾难恢复报告IT灾难恢复全景图ReduceRespondRecoveryResumeRestoreReturnRPO宣布灾难服务中断RTO服务重启服务返回常态灾难前灾难中灾难后时间应急响应灾难恢复事件处理服务重建危机管理(组织/协调/沟通)服务重启返回常态需求管理建设管理运维管理事件管理流程灾难应急响应及宣告流程灾难恢复及重续运行流程灾后重建与返回流程IT灾难恢复组织IT容灾生命周期管理流程现在是13页\一共有49页\编辑于星期三8SAPBasis介绍集团核心ERP-SAP系统架构SAP标准三层系统架构SAP集团及变更传输策略变更/需求传输操作流程SAPBasis职责现在是14页\一共有49页\编辑于星期三集团ERP系统架构生产环境开发测试环境Solutionmanger备份系统saprouter公用环境ERPAPPERP+Portal+PI+HRHANADBDMZ区域HANADB（DEV）ERPAPPHAHAPortalAPPPortalAPPHAERPAPPERPAPPWebDispatcherWebDispatcherHAHRAPPHRAPPHABOAPPBODBHAERPDEVPIAPPPIAPPHAPortalDEVHRDEVBODEVPIDEVWebDispatcherHANADB（QAS）ERPQASPortalQASHRQASBOQASPIQASWebDispatcherERPAPPERPAPPERP+Portal+PI+HRHANADBERP+Portal+PI+HRHANADB灾备环境ERPAPPPortalAPPHRAPPBODB+APPPIAPPWebDispatcherIDES系统ERPAPPERPAPPERPAPPPortalAPPHRAPPBODB+APPPIAPP现在是15页\一共有49页\编辑于星期三SAPBASIS职责作为SAP系统管理员的Basis,除服务器、存储等硬件管理外，还包括如下职责：现在是16页\一共有49页\编辑于星期三SAP标准三层系统架构开发系统（DevelopmentSystem）−SAP项目的实施系统，各种业务模块的客户化工作、相关的应用开发等在该系统中进行;测试系统（QualityAssuranceSystem）−SAP项目中为各种客户化和开发工作提供完整测试的系统，其中存有企业实际业务数据，用以验证客户化和开发的正确性。此系统也可作为上线前的最终用户培训环境;生产系统（ProductionSystem）−企业日常运转实际使用的系统，其中存有企业的完整业务数据，生产系统中不允许直接做客户化或开发.DEVQASPRD现在是17页\一共有49页\编辑于星期三SAP集团及变更传输策略开发系统DEVClient000SAP参考集团SAPReferenceClientClient200定制集团GoldenClientClient210开发集团SandBoxClientClient220单元测试UnitTestClient测试系统QASClient000SAP参考集团SAPReferenceClientClient300集成测试IntegrationTestClientClient310用户培训TrainingClient生产系统PRDClient000SAP参考集团SAPReferenceClientClient600生产集团ProductionClient初始集团复制路径集团刷新路径集团相关变更请求传输路径跨集团变更请求传输路径Client610预生产集团Pre-ProductionClientClient320数据转换DataConvertClient集团（Client）是一个从逻辑上划分的SAP系统的子集，从技术层面和业务层面来看，集团（Client）都是自我封闭的，一个集团（Client）拥有自己的用户主数据，应用数据和大部分配置数据，划分集团的好处是，在一个SAP系统内可以创建多个运行环境，来适应不同的业务需求。Client230沙箱演练SandBoxClient现在是18页\一共有49页\编辑于星期三变更/需求传输操作流程传输变更/需求请求者传输变更/需求请求审批者传输变更/需求管理员模块顾问ABAP开发人员用户项目经理Basis小组成员在目标系统上确认变更结果审批创建、释放传输变更请求递交传输变更请求表导入传输变更请求检查返回码

在传输变更记录表上记录传输信息NoYes现在是19页\一共有49页\编辑于星期三SAP系统集中监控–SAPsolutionmanager目标和效益：SAP各系统的OS、HANADB、系统的全面监控与警报，及时发现和定位问题，加强纠错能力。全面记录和保存监控数据，生成系统效能趋势图，提升系统前瞻管理能力SAP系统端到端问题跟踪分析，快速定位系统问题的根本原因SAP系统全方位监控端到端跟踪分析/根本原因分析现在是20页\一共有49页\编辑于星期三6存储与备份存储概况存储的数据保护及申请资源的要求备份信息推送及备份恢复演练备份需求的申请流程及需要提供的信息备份概况现在是21页\一共有49页\编辑于星期三备份系统架构图：数据异地双/单副本保存FC-SWFC-SWOpsCenter集中管理IPFC重删ICONNBU5230VMwareESXAPPAPPAPPCWDMClientNBU5230IP-SWNBU5230IP-SWNBU5230ClientVMwareESXAPPAPPAPP核心业务核心业务灾备AIR容灾复制（数据容灾）备份是离线存储的一种方式，XX当前使用的备份系统是：1.VeritasNBU备份一体机2.XX和XX两个备份域核心A类系统，如ERP，采用异地双副本方案；其他系统，采用异地交叉单副本（风险，最多损失一天数据）建设归档环境，把不常变化的冷数据归档，减少备份容量现在是22页\一共有49页\编辑于星期三数据归档的存储架构图现在是23页\一共有49页\编辑于星期三5操作系统与数据库数据库环境数据库架构数据库规范与流程操作系统规范现在是24页\一共有49页\编辑于星期三服务器环境条件：支持的操作系统：windows2008enterprisesR2、 windows2012standardR2、 Redhat7.2、Aliyun7.2、CentOS7.2规范要求：提前沟通、申请服务器存储资源（至少提前2个工作日申请）；windows平台优先使用2012standardR2,linux平台优先使用redhat6.8;应用和数据库须分开部署；数据库不能私自部署；数据库仅支持内网部署，DMZ区使用需开通防火墙策略；Linux平台应用包需部署在指定目录，定期清理应用日志;资源使用完毕之后需及时、主动与服务器管理员沟通，释放资源；操作系统规范现在是25页\一共有49页\编辑于星期三1、业务配置绑定共享监听：发生故障时，应用自动切换到备机，对应用透明2、业务配置绑定实例名称：发生故障时，需重新定义host文件的主机名所对应的IP或重新定义DNS解析时对应的IP，会有15分钟的业务影响3、业务配置绑定IP：发生故障时，必须由应用手工修改配置文件信息4、针对只读应用配置时，需要应用配置连接字符串中增加ApplicationIntent=ReadOnly声明自己的只读模式，两副本DB只能为只读模式SQLAlwaysOn架构介绍现在是26页\一共有49页\编辑于星期三1、业务配置绑定共享监听：发生故障时，应用自动切换到备机，对应用透明2、业务配置绑定实例名称：发生故障时，需DBA手工切换备机作为主节点，并重新定义host文件的主机名所对应的IP，会有10分钟的业务影响3、业务配置绑定IP：发生故障时，必须由应用手工修改配置文件信息SQLFailOver架构介绍现在是27页\一共有49页\编辑于星期三1,VIP：虚拟IP，是动态绑定到物理网卡上的，可以在节点间浮动，而网卡上的公共IP保持不变。2,

scanIP：简单客户端连接名。做了域名解析后这是一个唯一的名称，在整个公司网络内部唯一，并且在DNS中可以解析为scanIP的ip地址，客户端连接的时候只需要知道这个名称，并连接即可。ORACLERAC架构介绍现在是28页\一共有49页\编辑于星期三1,应用服务连接到主数据库读写；2,主数据库通过二进制日志把数据复制到从数据库；3,可在应用服务器更改配置实现主从数据库切换。MYSQL主备架构–微V现在是29页\一共有49页\编辑于星期三不允许私自部署DB环境，统一由架构组部署应用和DB需物理隔离数据库仅支持部署在内网或者云平台RDS上，DMZ及外网不允许部署DB环境服务器管理员密码及DB密码不允许共用、外泄或邮件传输IT运维须通过统一入口（堡垒机），不允许在服务器上安装第三方工具访问DBDB服务器不允许上外网不允许测试开发环境直连生产环境，并做开发及测试需遵循权限最小化原则DB服务器管理员权限不授权给应用Sa及管理员权限不授权给应用不允许测试开发环境直接转生产程序发布及新功能上线需提前知会DBA参与和架构组讨论应用架构通知DBA阶段性回收权限告知备份管理员备份对象告知架构组监控对象权限规范安全规范环境标准上线流程服务渠道资源申请前需和架构组讨论应用架构提前沟通、申请服务器资源及数据恢复需求（至少提前2个工作日申请）数据库规范与流程介绍现在是30页\一共有49页\编辑于星期三4虚拟化与云计算虚拟化（VMWare）架构公有云（阿里云）架构公有云（阿里云）价格虚拟化及云计算规范虚拟化及云计算资源申请流程公有云（阿里云）热门产品现在是31页\一共有49页\编辑于星期三LANxx容灾中心容灾KEYxx数据中心Vcenter2Vcenter1现状：虚拟化由10个刀箱组成，测试1个、生产7个、容灾2个（刀箱品牌：HW、HP、DELL）;生产和测试开发池隔离，生产业务按级别划分，A级应用容灾到xx机房（容灾建设中）；非测试虚拟机每周进行一次全备份，数据保留一份;生产DBPRODDMZ测试虚拟化（VMWARE）架构介绍现在是32页\一共有49页\编辑于星期三弹性计算:

数据库:存储与CDN:云盾:公有云（阿里云）热门产品介绍现在是33页\一共有49页\编辑于星期三虚拟化及云计算规范介绍服务器申请规范要求：

申请资源前，请提前准备应用架构及需求与虚拟化、云计算的万科负责人沟通并确认最终资源规格、分布，再进入平台提交资源申请流程；新业务需求通过虚拟化及云计算实现，如业务特殊，必须使用硬件服务器，所属项目组需计划采购硬件服务器的预算，硬件规格由万科服务器对接人和申请人最终确认，并进行招投标采购硬件服务器；申请人需明确应用级别，申请非硬件资源时满足3-6个月需求即可，不足时可申请扩容；需通过堡垒机远程访问管理服务器，提前申请堡垒机工具使用权限；阿里云上部署应用需在申请资源时提供所需的业务端口信息，默认所有端口是被禁止的；阿里云资源开启后就开始计费,不再使用的资源需提前半个月通知管理员停止续费；虚拟化资源不再使用时，请填写下线流程,回收资源，避免造成资源浪费或资源紧张；现在是34页\一共有49页\编辑于星期三机柜规格：42U（U是国际通用的机柜内设备安装所占高度的一个特殊计量单位，1U=44.45mm）尺寸：600mm（宽）*800mm（深）*2000mm（高）每一个数字之间的高度为1U机房常见设备------机柜现在是35页\一共有49页\编辑于星期三塔式服务器机架式服务器刀片服务器机房常见设备------服务器现在是36页\一共有49页\编辑于星期三存储路由器交换机防火墙机房常见设备--路由器，交换机，防火墙，存储现在是37页\一共有49页\编辑于星期三精密空调UPSUPS：不间断电源。是当交流电网（市电）输入发生异常或中断时，它可以继续向负载供电，并能够保证供电质量精密空调：可以给机房提供一个恒温恒湿的环境，24*365H全年持续工作。

机房常见设备------UPS、精密空调现在是38页\一共有49页\编辑于星期三机房常见设备------消防、发电机发电机消防消防：七氟丙烷在灭火过程中能保护设备发电机：市政停电后，长时间为IT设备供电现在是39页\一共有49页\编辑于星期三实物资产管理系统建设思路（IT，行政）实物资产建设思路：范围公司全部实物资产，包括IT设备，软件，系统行政资产一线公司由公司管理资产，如网络设备，服务器等与财务资产关系所有财务资产与实物资产实现一一对应关系两个系统实现实时对接，自动更新相关数据计划一期实现公司及一线由公司管理资产二期与SAP、CMDB打通SAP财务帐管理(模块)实物资产管理系统（实物账+IT资产及配置项+低值办公）1:1对应每笔软硬件资产IT运营CMDBAPIData交互流程交互IT服务管理（应用运维基础架构）API现在是40页\一共有49页\编辑于星期三实物资产管理系统建设思路（IT，行政）-CMDB示例现在是41页\一共有49页\编辑于星期三视频会议管理-服务精细化管理标准巡检会前准备会中支持会后复盘设备标准会议室标准网络标准设备会议室网络系统会前沟通及会议流程接入方式及责任分工参会方设备及系统确认会前测试会议准入会议监控网络监控问题响应会议关闭客户回访分析复盘改进方案会议室预订系统带宽管理系统网络监控系统视频会议电脑视频直播系统现在是42页\一共有49页\编辑于星期三私有云高度可扩展性、动态负载平衡及高利用率核心数据与业务自己掌握，安全，适合核心内部应用减少维护成本精细化管理（维护人员精兵化）个性化业务需求（如：基础配置定制化）云管平台全局统一纳管自动化监控运维资源调度发放成本与运营分析现在是43页\一共有49页\编辑于星期三基础设施云管理平台现在最大问题是申请及审批多次沟通，基础架构分配操作只需要半天，而审批沟通至少需要4天，未来：申请人线上实时查询、自助申请，经理线上查询并审批，预估从原来的5天缩短到最多2天。统一管理平台，对接各种云资源统一资源使用分析及成本优化统一对外交付资源提升资源交付效率xx机房计算、存储xx机房计算、存储阿里云（公有云）计算、存储、网络云管平台统一资源计算、存储、成本员工自助申请实时查询资源成本经理线上审批实时查询资源成本管理员线上分配现在是44页\一共有49页\编辑于星期三统一监管控平台（基础架构）整合所有监控系统运行、报警信息，并实时通知相关人员；如发现问题，更新统一运营平台，生成工单；实时监测资产变化信息，自动更新资产配置库。运营数据量化分析，服务绩效考核网络电话/视频会议数据库基础应用机房环境虚拟机系统/阿里云存储/SAN备份SAPBasis操作系统服务器（含刀片）统一监控平台（基础架构）基础设施网络监控带宽管理上网行为广域网加速华为监控会议管理直播管理远程软终端电话计费系统电话管理系统OEM（Oracle)SCOM(MS)版本监控分发SCOM域管理AD邮件监控风火水电正在选型Vcenter偏重管理，缺乏监控功能云管理平台自带集成监控工具HDSSVOSEMCUnisphere有管理工具OPScenter，但没有备份监控工具已安装未部署--SolutionmanagerSCOM+Zabbix版本监控分发自带集成监控工具，如：华为iBMC、惠普iLO戴尔DRAC

统一运营服务平台（基础架构）

IT资产管理(CMDB)现在是45页\一共有49页\编辑于星期三统一运营服务平台-核心服务流程配置管理发布管理变更管理问题管理事件管理业务部门、最终用