面向业务思维的企业IT运维转型

1、面向业务思维的企业IT运维转型当运维遇到业务思维会擦 出什么火花运维与开发的距离有多远？开发VS运维价值驱动性阶段性 社交性责任驱动性长期性 宅男性工 作 特 性思 维 模 式开放的业务思维封闭的工厂思维目录CONTENTS1、从扎篱笆的维护思路到混沌思维2、当日常工作遇到敏捷思维3、用产品思维建设应急服务台4、监控故障中的数据思维01 从“扎篱笆”的维 护思路到混沌思维传统运维VS云化运维哪里不足，篱笆“扎”哪里传统运维对象特点：相对独立简单的系统运维方式：“扎篱笆”式运维云化运维对象特点：复杂，多变运维方式：扎不完的“篱笆”？扎不完的“篱笆”复杂系统：复杂适应系统（CAS）复杂适应系统理论

2、的核心是适应产生复杂性。复杂 系统中的成员被称为有适应性的主体。所谓具有适 应性是指它能够与环境以及其他主体进行交互作用。 主体在这种持续不断的交互作用的过程中，不断地 “学习”或者“积累经验”，并且根据学习到的经 验改变自身结构和行为方式。例如：蚁群、人类免疫系统、全球股市等云化系统就像一个CAS系统“黑天鹅”事件：难以预测且影响重大的事件引发了你不知道的问题，造成了重大影响“灰犀牛”事件：大概率且影响巨大的潜在危机一次重大事故发生之前，已经有超过99次小事故发生复杂适应系统中的黑天鹅与灰犀牛如何应对不要预测谨慎预防危中取机保持冗余不要负债如何面对黑天鹅三大特点不可预测影响重大事后可解释如何

3、面对灰犀牛如何面对要承认危机的存在要准确定义灰犀牛事件性质要采取行动，不要静立不动不要浪费危机站在顺风处，及时发现危机五个阶段否认得过且过判断性惊恐行动or崩溃混沌工程是在分布式系统上进行实验的科学，旨在提升系统容错性， 建立系统抵御生成环境中发生不可预知问题的信息。混沌工程是一种生成新信息的实验。通过实践对系统有更新的认知传统测试是使用特定方式对某一块进行特定测试。给定特定条件，系统将发出特定输出。浙江移动如何对抗黑天鹅：引入混沌工程建立稳定状态的假设用多样的现实世界事件做验证在生成环境中进行实验最小化爆炸半径自动化实验以持久运行（初期可以先不考虑）混沌工程的特点混沌红蓝攻防实践：哪吒行动守

4、方：淬火出真金实战中淬炼联合应急保障能 力，打磨网络云架构质量攻方：斗海方长成主动理性挖掘网络云的短 板与隐患，提升技术掌舵 远航能力关注业务异常、云服务异常、Mano管理异常的所有可能场景，聚焦符合集团重大故障 定义的关键场景，最大化理性试错已知问题不直接进行攻击，但可以间接攻击故障无法恢复，主动联合排障攻击手段与日志应进行记录，在应急结束后进行共享攻方 原则主动查漏补缺，提升系统与平台健壮性聚焦重大故障定义，遵从联合应急保障流程，先恢复再修复，先应急再优化根据故障影响范围，最早在触发集团重大故障时限前5分钟执行切换，最大化磨炼团队问题跟踪与解决方案梳理，秉承最快原则守方 原则业务切换故障解

5、决攻方/守方 得分结果判 定NA1/4守方赢2/33/2攻方赢4/1评分原则02 当日常工作遇到 敏捷思维“瀑布式”运维工作方式制定演练计划制定演练方案召开演练方案评审会 * N按变更执行演练演练顺利，皆大欢喜；演练出问题， 分析原因+问责常见的运维工作方式当日常工作引入敏捷思维红蓝攻防引入敏捷思维-框架Scrum角色：三个团队斗海队（攻方）淬火队（守方）太乙队（裁判）约定：斗海队和淬火队无身兼两职人员不得以任何形式透露或帮助对方每个团队内分别定一人为“教练”角色，教练负责让团地在约定范围内协同红蓝攻防引入敏捷思维-框架Scrum工件：三种物件约束物件 可攻击范围不可攻击限制（太乙队负责）输入

6、输出物件攻击行动总待办列表攻击迭代待办列表（输入物件，斗海队负责）防御工事提升待办列表（输出物件，淬火队负责）防御工事完成列表（输出物件，淬火队负责）过程物件战斗现象时间表（斗海队淬火队各一份）战斗攻击方操作时间表（斗海队）战斗防守方操作时间表（淬火队）红蓝攻防引入敏捷思维-框架Scrum事件：三类活动三个迭代活动：战役活动（5天一次战役，每次战役可以发生攻防双方多次战斗，含战役准备、战斗开展、 战役回顾三个部分）战斗活动（在战役中攻方每发生一次冲锋，攻防交战后，打扫完战场，算做一次战斗）防御工事活动（提升防御能力的活动，与战役活动不关联，即独立开展）五个战场活动：战役准备会、日站会、战斗、战

7、斗回顾会、战役回顾会 两个防御工事活动：提升准备会、提升看板、提升回顾会五个价值观 Scrum价值观承诺、专注、开放、尊重、勇气红蓝攻防引入敏捷思维-价值观承诺 愿意对目标、约定做出承诺专注 把心思和能力都用活动及你承诺的达成目标上 开放 打破部门墙、公司墙，精诚合作尊重 打破甲乙方上下级，每个人都有他独特的背景和经验 勇气 有勇气做出承诺，履行承诺，接受别人的尊重哪吒行动 价值观迭代 Sprint冲刺战役迭代战斗迭代防御工事迭代红蓝攻防引入敏捷思维-流程回顾会 Sprint回顾会战斗回顾会输出战斗现象时间表红蓝攻防引入敏捷思维-会议总战役回顾会攻方战役回顾会输出攻击行动总待办列表守方战役回顾

8、会输出防御工事提升待办列表输出战斗攻击方操作时间表 Independent 独立性-每个待办都是能独立完成的，且和其他待办尽量没有依赖，否则事情难以落地。出处战斗防守方操作时间表 NegotiableValuable Estimable Trackable Testable可协商性-每个待办都是可以细化，在后续解决时可以变通。有价值-每个待办一定要有对故障处理过程的精益价值。 可估算-每个待办都可以估算大概的难度、优先级。可跟踪-每个待办能够分发出去，能有结果收回。 可测试性-每个待办都可以测试是否做完整。03 用产品思维建 设应急服务台服务台的重要性：专家 机器？专家 客服 机器!自动化简化

9、、标准化应急服务的设想&我们在路上高效，准确，实时，交互专家 指导机房 现场拓扑 关联设备 状态一键 拉人黄金圈法则：从为什么开始为什么：使命，理念如何做：方法，措施做什么：现象，成果用精益画布做应急服务【 问题】【 解决方案】APP+PC客户端 网页及时通信，多屏4共享一键拉起会议【独特卖点】【 竞争壁垒】1、多人多流视频共享技术展9示数据指标。【用户】远程应急的参与人员：领导应急经理专业组值班人员专业组二线专家业务负2责人监控人员无法快速拉齐相通过多路视频流关人员共享，让远程应远程人员无法获急如同面对面的知实时进展应急作战13【关键指标】故障8时使用应急工作台的频次拉起作战室的时 间【渠道

10、】内部5的应急工作中推广使用。通过公众号和现 场演示等方式推广到地市。【成本分析】Demo 开发成本：13人、15天（demo）服务器成本：四核CPU，4g 内存，8g【收入分析】降低MTTR，提升客户感知04 监控故障中的 数据思维IT系统只做四件事：采集、数据分析、交互、决策执行数据分析交互采集决策执行数据采集数据处理数据分析决策执行ICT系统运维VS商业数据分析数据采集商业大数据采集VS运维数据采集数据处理用户画像：根据用户社会属性、生活 习惯和消费行为等数据抽象出来的标 签化用户模型。设备“画像”：根据设备的类型、 资源信息、性能信息、告警信息等 数据抽象出来的结构化的设备模型。VS配置项编号设备类型机柜位置设备型号设备IP业务系统名称 操作系统版本告警信息性能数据 日志信息端口信息故障根因智荐VS千人千面:通过引入的用户偏好维度包 括：性别，购买力，店铺，浏览记录、 搜索习惯、历史购买订单类型等信息, 实现不同的账号搜索展示页面呈现排 序的不同商品。根因智荐:将指标、系统、网元之间建立 动态拓扑，叠加设备的健