物流行业的DevOps敏捷转型

1、技术创新 变革未来物流行业的DevOps敏捷转型封闭挫折探索反思改变成长一个团队成长的故事 目录/Contents 我们的团队我们的队伍负责顺丰集团私有云建设和运维自数字化、自动化规 划、设计及实现，并日常运营工作的展开与持续。规划设计实现运营 我们的职能我们的职能覆盖IT基础架构、云计算和技术运维：基础设施IDC、网络、存储、服务器组件技术和架构操作系统、数据库、中间件、消息件、负载均衡私有云基于KVM、DOCKER、OSS的等开源技术的自研私有云技术运维非应用底层技术运维 目录/Contents 故事开始的地方技术组件全面开源START2014年上半年执行架构标准化2014年下半年完成配置

2、管理 和监控的建设 2015年上半年当时的技术栈KafkaServerStorageNetwork JDK故事的起因操作失误带来系统异常变多服务时效和质量下降服务对象倍数增长运维规模快速增长 最初的出发点反思工作不能靠人来堆！自动化！还是自动化！ 目录/Contents 当时的自动化研发自发的有意识、有研发能力的同学自己玩零散的单兵作战，无顶层规划设计不受控的研发、测试、部署范围无有效管理解放自己的限于自动化自己手头高频工作偏末端执行的自动化具体操作环节无规模效果不解决运维规模化问题 自动化雷区深处教训不受管理的自动化研 发近似于埋雷！雷区深处场景01：规模性异常规模对象运维+不受管理的自动化

3、研发.雷区深处场景 02：不定时不定期的意外事件规模运维团队+不受管理的自动化研发. 多么痛的领悟可能带来规模性破坏！可能带来信息安全风险！ 反思随意性伴随着高风险！运维研发工作必须规范化！目录/Contents 第一个全职DEV团队全新团队主管和成员全部外招 产品玩法现学现用敏捷研发初创团队直接跨入敏捷自带想法乔布斯式的坚持当OPS 邂逅DEV事不关己的心旁观怀疑的眼神上帝的语言解放者的姿态 怎一个难字了得OPS老司机学习新语言 存在明显的瓶颈。ChefRobbyJava全新的技术栈 折翼目 标 失 守能 力 未 成士 气 低 落组织能力DEV团队初次进入阶段性问题DEV和OPS走不到一起，

4、 必须进行目标整合。技术方法 目录/Contents 二次反思责责任不清，相互踩踏.利工作转移，成长期待法赤膊上阵，前者中箭权人员冗余，无人拍板技无交叉经验 入轨系 统中间件DB负载均衡日志查看性能展示存储VM防火墙数据提取用户授权自助交付自动化、标准化自服务技术封装、自助编 排编排管理任务调度外围系 IAMSBALANT统调用 CMDB OMATP配置管理作业执行资 源KVMESXDockerDST公有云敏 捷瀑 布项 目 组OPSDEVJavaPython Golang利责技法权 敏捷模式开发规模： 30人研发模式不限规模： 8人系统与编排项目式管理可编程基础架构（资源）需求负责制DEVO

5、PS定责试法 外科手术项目 管理架构 设计原子服 务研发系统 设计平台 研发DEVSAPMDEVOPS 第一个迭代发布3月下旬需求确认4月底交付测试5月下旬生产发布4月初设计和研发5月上旬用户验证 维石诞生 药不能停20%50%80%60%050100检讨迭代周期太长，线上缺陷多回归科学与理性OPS和DEV必须有双方认可的共同目标，对于需求这个工作交 叉工作面必须有共同的语言和解密规则。问题透明目标 认同语言互通方法 科学 班长和辅导员高效的研发工作流和工具模仿、体会、感受、转变科学的研发工作理念和方法潜入式的思维模式引导DevOPSDevOPS顾问自动化团队病号EPG软件工程导师 临床复诊分

6、析对标DEVOPS模型构建与集成全手工团队合作没有充分的沟通协同组织文化未理解和执行架构标准交付与部属全手工测试全手工周期质量管理长周期且不稳定 组织文化团队合作构建与集成交付与部属测试质量管理健身计划质量运营导入Scrum引入研发工作自动流水线设定目标，成立辅助型导师和助教团队项目组质量跟踪 大家都是这样干的！现在用的方法就是好的吗？现在的方法我们够熟练！熟练就意味着高效吗？已经够忙了不要再折腾！忙是否也有低效的原因呢？何必如此形式化？形式背后的目的和意义清楚吗？暗流 薪火资源 交付组容器组容量 管理组迭代变得 有节奏工作效率 提升旗帜榜样的力量培育不搞一刀切的运动式强推， 选取优良的种子进

7、行培育，当众人看到种子发芽、开花、结果 的事实，用数据告诉众人改变带来的结果变化，消除认知的盲区。交付质量 有提高沟通成本 下降 其他组其他组其他组其他组其他组其他组需求管理构建与集成测试交付运维速度和质量需求 管理代码 管理缺陷 管理自动 构建代码 质量单元 管理功能 测试性能 测试配置 管理自动 部署监控 管理变更 管理JiraGITMavenSonarJunitRobotJmeterEasyDlyASMITSMJenkinsDisconf Docker基础组件资源池运维研发工作流水线种子团队很给力，虽然曲折，坚持完成了导入！宣导DevOps文化： 不责怪，共担当， 同受益！理解与包容 0

8、510152025版本1版本2 版本3 版本4 版本5 版本6 版本7 版本8 版本9 版本10 版本11 版本12 版本13 版本14 版本15thinkDB维石数据平台丰市0510152025版本1版本2 版本3 版本4 版本5 版本6 版本7 版本8 版本9 版本10 版本11 版本12 版本13 版本14 版本15thinkDB维石数据平台丰市种子团队的变化-版本与缺陷 种子团队：维石紧急版本数/迭代生产缺陷数/迭代种子团队的变化-测试种子团队：维石转测通过率/迭代转侧延迟率/迭代0%20%40%60%80%100%版本1版本2版本3版本4thinkDBAPM丰市维石数据平台0%20%

9、40%60%80%100%版本1版本2版本3版本4thinkDBAPM丰市维石数据平台 自助交付覆盖标准资源交付的主要场景第一次价值兑现 目录/Contents 问题来了协同成本高企交付速度变慢交付质量恶化重复作业增加需求持续 增加 团队逐年 变大成长的困惑尝试成功后需求开始爆发且团队规模的变大：进化组织能力需要进阶!项目制转产品群制扩大吞吐能力，同时承载更多产品研发.引入产品经理负责制培育小团队的作战能力统一需求管理整合需求，完整设计，降低多团对重复作业测试资源和能力服务化测试需要和研发有匹配的火力 效率质量成本能力复制u 在各团队推广研发自动化工作流水线。u 在产品群范围团队导入规模敏捷。

10、燎原 规模敏捷准备调研制定方案培训实施与优化有备无患识别并解决实施风险团队关键角色花名册真实的声音团队调研组建Scrum团队团队敏捷实施路线图同欲同求工作坊授业解惑产出各个团队的Scrum 实施计划实践出真知敏捷顾问进驻团队带领团队SM及团队实施 过程改进工作精准投放Scrum培训课程准备各团队需求就绪 真实的声音需求拆分及定义需求评审迭代计划需求变更信息透明交付在需求没有明确情况如 何进行敏捷开发？敏捷开发工作量评估不 准确需求没有明确便要求开 展开发工作功能点拆分评估无法精 确，导致计划推行阻碍需求分析和产品设计阶段研发过程阶段交付阶段缺设计环节，复杂项目 难把控质量和拆分粒度在需求没有明

11、确情况如 何进行敏捷开发？需求分析不明确导致回 顾时发现场景考虑不全需求没有明确便要求开 展开发工作需求不明晰，延期版本需求未及时就绪需求三方签核不到位（前端/后端开发，需求方） 需求开发时间评估不准 确，导致发布延迟临时需求提出，影响 工作效率，影响工作 交付需求变化较快，会打 乱原有计划上线前改动需求需求变更需求信息更新太快， 无法保证需求信息的 传递开发过程反馈不主动， 不透明的发版风险迭代内的开发，测试 进度不透明开发流程不透明开发进度不明朗信息不同步缺对产品的说明，用户 对复杂业务操作不熟悉交付功能与需求有出入交付的功能不符合需求交付功能与需求有出入开发进度不明朗发布流程不完善三种队

12、伍B队：技术团队研 发组，离散游击队A队：技术团队研发 组，建制小组头狼：成熟榜样团队导入研发工作自动流水线 不导入敏捷先导入研发工作自动流水线再导入敏捷，同步做导入前工作已受益研发工作自动流水线已受益于敏捷模式泥沙俱下123546随着研发工作自动流水线的导入梳理、整理、清理！浮尘扫去，问题显现配置 混乱架构违规组件非标监控全无 改善一直在进行中，虽然点滴，但弥足可贵！统一需求管理盘点项目制转产品群制由单一产品研发到同 时开展5个产品开发关联协同比较顺畅引入产品经理交付速度有提升需求理解不深刻产品运营投入少有效整体设计有改善团队间重复作业减少测试能力服务化转测效率提高了转测通过率提高了交付后异

13、常降低了规模敏捷进行中，效果待查 收获丰云系统 丰箱系统计算资源对象存储系统丰备系统存储和备份资源维石平台 作业平台交付和日常运维平台丰途系统网络资源ThinkDB系统APM系统数据库服务和性能管理平台 效果成本专业赋能，夸组织沟通成本降低资源管理规则植入，科技资产的利用 能力提高质 量交付严格按 照标准被自 动执行测试、生产 和容灾环境 的保持严格 一致性自动化变更引发的生产异常控 制到0起效 率交付速度由天提升到分钟级打破专业壁垒，解放各部门 综合工作能力更多地可作业窗口，盘活时 间自动化变更将生 产交付异常控制 到0起所有操作可追索 可审计用户和权限按职责严格界定安全 复盘组织 文化 测试团队构建与部署与合作集成交付质量 管理有团队支持整个组织的敏 捷实践，团队认可精益敏 捷，度量体系已经成熟。开发、测试和运维团队的集 成环境已经实现，团队成员 得到的尊重，贡献被认可构建度量收集，可 视化并采取行动。软件部署使用全自动 自服务一键式过