某云DevCloud的DevOps项目管理实践课件

1、某云DevCloud的DevOps项目管理实践某云DevCloud的DevOps项目管理实践2016年9月2016年12月DevCloud公测项目管理代码托管编译构建HUAWEI CONNECT 2016正式亮相发布项目管理代码托管DevCloud 1.0发布代码检查部署服务发布服务启动2015年4月2015年7月2017年9月CloudIDE发布流水线服务发布2017年1月HUAWEI CONNECT 2017 DevCloud 2.0发布移动应测试发布Wiki特性发布文档管理特性发布团队规模：几个人 几十人 几百 人2018年2月高校解决方案发布接口测试发布承办2018华为软件精英挑战赛2

2、018年10月HUAWEI CONNECT 2018华为开源镜像站发布HiChat沟通协作特性发布背景：华为云DevCloud团队的规模化成长历程2016年9月2016年12月DevCloud公测HUAWE2015年，第一次上线耗时数周， 开发、测试、运维各自运作2016年，部署自动化，测试自动化， 系统解耦，上线周期2周，上线耗费 3-6小时2017年，引进流水线，服务独立 发布，每天5次发布，上线耗费30 分钟-1小时2018年，微服务独立发布，每天10-20次发布，上线耗费纵向解耦的小系统演进 / 各个微服务/特性，可由独立团队并行开发交付构架演进架构解耦，最小可行产品是敏捷的保障1.

3、架构与系统解耦，做到组件化，乃至微服务化：2. 需求分WEB UIDB后端服务负载均衡WEB UI后端服务负载均衡单点登录table1table2缓存MQWEB UIDB订单API GATEWAY库存缓存购物车DBDBMQAPI GATEWAYDB订单详情页库存CACHE价格DBDBMQWEB UI下单DB老系统WEB UI后端服务负载均衡单点登录缓存MQDBDB尽量垂直划分服务；比较独立的新业务优先采用微服务架 构；优先抽象通用服务；优先抽象比较容易识别的，边界比较明 显的服务；优先抽象核心服务；采用绞杀者模式。DB老系统系统拆分为颗粒度合适的可DevOps的单元，是架构支持DevOps的基

4、础WEB UIDB后端服务负载均衡WEB UI后端服务负载均衡一站式微服务管理平台构建测试发布上线监控运维部署DevOps）服务注册负载均衡限流降级分布式事务灰度发布调用链跟踪服务发现JavaGoJSPhpPython.Net容 器 服 务开发环境测试环境预发布环境生产环境资源调度镜像管理容器编排安全服务分布式数据库应用性能管理应用运维管理分布式日志服务分布式缓存服务/云 服 务中 间 件分布式配置服务分布式消息服务分布式任务调度Metric服务通信12 Factors基准代码依赖配置后端服务构建、发布、运行进程端口绑定并发快速启动、优雅终止环境等价日志管理进程设计和开发214678弹性伸缩9

5、微 服 务 治 理10115快 12速 反 馈持 续 交 付（3全面支持云原生应用12设计原则的一站式微服务管理平台一站式微服务管理平台构建测试发布上线监控运维部署DevOps计划开发集成测试部署供应商业计 划需求监控产品经理技术经理开发工程师产品经理技术经理开发工程师产品运营产品运营技术经理开发工程师产品经理产品经理技术经理开发工程师产品运营产品运营服务1服务2服务3服务N业务部门（Business）研发部门（Dev）商业 计划需求用例特性计划Go-to-market设计开发重构单元 测试Bug修复部署供应配置编排部署报告监控运营部门（Ops）市场运营/需求 管理/项目管理/.经理/研发工程

6、 师/测试工程 师.平台运维/基础 架构运维团队流程组织：服务/微服务全功能团队，产品经理负责制 流程：全流程整合，高度自动化，一键发布转型前转型后转型在敏捷转型基础上，进一步横向整 合从业务-研发-运营的团队和全流 程。DevOps转型Agile Dev 转型市 场 及 销 售商 业 开 发客 户 支 持对特性/部件/服务，完整的实施规划/需求/设计/开发/测试并独立部署、交付、运维（DevOps场景）的项目型团队。面向云服务/微服务的架构，向敏捷/DevOps全功能团队转型计划开发集成测试部署供应商业计 划需求监控产品经理技术经理开规划设计创新研发洞察竞分运维监控运营维护客户反馈集中决策项

7、目经理PLTLSDESDESDETETETESEAM1. 项目经理对结果负责，向上汇报；项目经理基于 商业判断垂直决策。Core Team微服务团队1微服务团队2微服务团队3项目经理/PO AM团队/SEG 产品经理群 运维I&VPDFSD/SL1. 核心团队基于商业运营情况向上对齐，获取决策 支持；服务团队自主运营。启发式决策SRE安全/可靠性原子服务1原子服务2产品 服务2产品 服务1产品 服务3产品服务族1. 微服务化团队基于数字化运营结果进行自主决策；组织发展基于运营结果。SDE/SLSDE/SLUXSDE/SLPDSREUXPD原子 服务3“自主生长”构架演进201520162017

8、2018逐渐转型为自主经营的全功能团队规划设计创新研发洞察竞分运维监控运营维护客户反馈集中决策项目POUE运营PLSE开发测试运维Sponsor：干系人（项目/业务/服务）PO：Product Owner，负责产品规划、设计、分析 运营：负责产品运营UE：UCD工程师，负责用户研究、交互设计、美工、视觉PL：微服务/特性经理Service Leader，兼任敏捷ScrumSE：技术leader，系统工程师，负责架构、系统设计 开发：负责代码实现测试：负责测试验证运维：负责部署、发布、运维、监控重塑角色设置，实现快速自我决策由“集团军作战”转变为“班长的战争”，按照特性/微服务组建 80% 代码

9、覆盖率漏洞扫描开源扫描制品版本控制自动化环境准备不可变的服务器集成测试性能测试每次提交触发自动化构建、部署、 测试自动变更单低风险发布特性开关持续交付： DevCloud实践，每日持续交付流水线解读：自动部署下载源码、编译构建组件包归档发布自动化RF接SLB一次灰度用户二次灰度用户三次灰度用户集群ALv1灰度Lv2灰度Lv3灰度1%资源池9%资源池45%资源池45%资源池灰度发布策略2 Lv1 deploy5 Lv2 deploy8 Lv3-1 deploy1 Lv1 offlineLv1 onlineLv2 offlineLv2 onlineLv3-1 offline9 Lv3-1 onli

10、ne部署服务一键回滚在线验收测试A/B测试重要新特性友好用户先体验持续反馈：灰度发布策略驱动自动化部署与回滚SLB一次灰度用户二次灰度用户三次灰度用户集群ALv1Lv友好用户测试Private Preview编码完成Code Complete公测Public Preview商用GA服务完成开发验证正式开放给用户商用， 市场价格收取相应费用正式商用前，选取特定友好 用户来体验、试用36个月商用前，对最终租户开放进行 公开测试或免费试用36个月不可见定向邀请少量客户所有客户可申请无限制专题推广活动、引流、促活宣传预热资源准备规模部署/扩容特定区域部署持续反馈：灰度发布，友好/公测完备流程，产品、运

11、营、运维配合友好用户测试编码完成公测商用服务完成开发验证正式开放给用户商数据采集数据分析规划调整SLA故障 利用率产品用户资源运维营销PV UV官网热力图客服数据API调用 实例类型 实例数量资源总量 区域用量 增长率付费用户 转换率 流失率咨询 报障 投诉事件、折扣、引流VoC : Voice of Customer用户画像系统（精准的用户研究）用户行为分析系统（用户高频操作&场景）：PV/UV，智能路由，增长黑客模型数据中台（核心业务数据，北极星指标体系）VOC系统：用户需求反馈和统计分析特性开关轻松实现A/B测试持续反馈：VoC 驱动，持续规划，数据分析，动态调整，有错就改数据采集数据分

12、析规划调整SLA产品用户资源运维营销PV U能力成熟度 等级交付周期交付质量研发效率交付稳定度四层快速闭环小迭代高节奏交付自动化&可视化流水线自动化持续部署缩短单点耗时高效标准化环境个人级团队级产品级企业级全功 能团 队关键能力域关键能力项需求计划管理管理松耦 合架 构自动运营化运驱动维开发过程持续质量 管理集成保证持续交付运维&运营可视 数 据 环 境 持 续 化 与 管 理 管 理 部 署 可 追溯云上基础设施敏捷管理持续反馈：分层构建能力成熟度能力成熟度 等级交付周期交付质量研发效率交付稳定度四层快速闭1. 敏捷管理客户联合敏捷/众创全功能团队，2-Pizza Team.服务/微服务团队

13、，服务自治，自助部署上线产品管理（产品定义、竞品分析、需求排序）Epic-Feature-User Story，战略举措到执行落地Story实现客户价值，独立可交付，需求可追溯Scrum（站立会议，回顾，看板可视，ShowCase验收）Dog Food（吃狗粮）2. 持续交付服务/微服务架构，解耦预留架构优化/技术改进管道代码分支策略，少冲突，快合并持续集成并自动化，流水线Chaos Monkey/可靠性验证安全（Built-In Sec）Alpha/Beta/类生产环境自动化部署3. 持续反馈监控、运维，日志，应用性能分析VoC管理及其响应重点客户结对关怀灰度发布，友好/公测/商用运营（宣传

14、预热，主页推广，活动引流）数据驱动，快速修正，动态调整规划持续学习与改进（主动建议，鼓励改进）敏捷管理持续交付持续反馈云原生DevOps实践全景1. 敏捷管理客户联合敏捷/众创2. 持续交付服务/微服务架架构解耦服务化架构：服务解耦、实现独立服务化组织IT/工具 环境DevRelease类生产快速发布通道数据反馈平台持续交付流水线开发&运维 作业流组合与规划服务开发部署及发布运维管理持续反馈新需求识别代码通知与改进运维交接灰度发布和秒级回滚等能力Scrum运作公测服务流程已批准规划线上线下协同商用DOD云上问题处理问题处理SLA变更管理持续需求规划PI执行友好用户测试E2E全功能团队，开发运维

15、一体化，对团 队充分授权由基于Gate（Charter/DCP）的业务 决 策，转变为基于OBP的周期性审视开发与运维的协同，更短的周期，更快的反馈支持服务的独立交付，自动化的环境部署重用已有的成熟工具，引入先进的开源和 商用软件，实现轻量级端到端DevOps工具 链架构服务化解耦，支持按服务小包独立交 付；构建变更能力持续规划，定期审视（节奏固定）4321OBP 定期审视OBP发布发布发布发布建立服务化组织，对经营和客户体验负责全功能团队：产品经理、开发、测试、运维、运营跨功能一体化商业决策Ops云服务 项目立项 服务规划华为云DevCloud基于云原生时代的DevOps体系框架架构解耦服务

16、化架构：服务解耦、实现独立服务化组织IT/工具 消费者业务全球标志性的科技品牌运营商业务客户最佳战略合作伙伴企业业务数字化转型的使能者和最佳合作伙伴云业务做客户稳定可靠、安全可信、持续创 新的云伙伴，推进实现“用得起、用 得好、用得放心”的普惠AI计算和云存储与服务器视频监控企业EI数据中心企业通信AI平台私有云网络能源大数据分析云服务信 息 分 发 与 呈 现信 息 处 理 与 存 储信息的学习与推理信息传送智能终端联接智能手机无线网络智能运维可穿戴式终端固定网络企业网络家庭智能终端核心网IoT网络车载终端运营支撑系统全场景生活体验服务+智能可信是企业/消费者/运营商/政府接受、信任华为的基

17、础服务全球运营商面向不同的客户群提供ICT产品，服务170个国家，业务范围广、研发场景多消费者业务全球标志性的科技品牌运营商业务客户最佳战略合作伙伴产业互联网：传统产业借助互联网优势，提升内部效率和对外服务能力，转型升级互联网产业融合发展1970S1990S20072015PC时代PC互联网移动互联网万物互联2025联接数：1000亿用户数：10亿+用户数：30亿+用户数：40亿+联接数：160亿产业互联网流量规模数据消费互联网到产业互联网，万物互联产业互联网：传统产业借助互联网优势，提升内部效率和对外服务能1968软件危机1980s1950s2000s1983软件工程7个基本原理人月神话揭示

18、本质关注人、技术、过程面向对象、CMM、瀑布、需求工程Chaos + Delay Stability + ReliabilityStability + Reliability Velocity + ReliabilityVelocity + Reliability ?敏捷，精益 DevOps，CICD IaaC，微服务AIOps DevSecOps Clean Code Built-In X思路：借鉴硬件制造，管理偏差20202001敏捷宣言2009DevOps思路：敏捷迭代，响应市场变化客户群：航天，金融软件客户群：企业软件客户群：互联网/移动互联网 消费者软件客户群：万物互联，全行业第一阶段尝试解决软件开发 质量、可控、有序问题第二阶段尝试解决软件开发 效率、速度问题第三阶段尝试解决软件产品 可信问题回顾软件工程发展史，就是管理和技术并行，迎接挑战的历史19681