版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
打造云上数字化研发模式:中国某著名企业企业级DevOps落地实践研发云平台建设背景及成效研发云平台工具搭建实践研发云平台规模应用实践目录研发云平台企业级管理实践经验总结与后续展望01研发云平台建设背景及成效建设平台拟解决的关键问题 背景:重点解决研发创新资源的“统筹、协同、共享”问题目标:建成中国某著名企业统一的研发协作与管理平台,成为国家云的重要组成部分关键问题一研发项目的统筹管理实现科研项目全生命周期管理实现项目过程与成果的可视化管理实现项目质量的量化评估机制关键问题二研发资源的协同与共享实现科研基础设施的开放共享实现项目成果的统一入库与共享实现研发资源的协同关键问题三研发效率与质量提升实现敏捷开发DevOps的规范流程、方法与工具提升研发效率、提升研发质量研发云平台建设发展历程 探索期:云上一体化筑基期:数字化&自动化集团下属分子公司或不同IT团队分散建设自用DevOps工具,随着业务规模与IT组织持续扩大,出现了流程与技术管控难、建设成本高、人才分散等问题2020前分散建设完成基础架构与关键功能建设,初步具备DevOps服务能力,正式开始支持中国某著名企业研发上云研发打造完整DevOps平台工具链和端到端服务能力,并梳理形成研发上云流程规范,整合历史工具,并完成集团全面推广2022-20232021研发云1.0成长期:智能化研发云2.0-3.02024 研发云4.0持续完善平台自动化、数字化能力,结合AI技术和研发大模型,提升平台智能化水平,并全面对外推广赋能2020
研发云立项2020年初,中国某著名企业研发云建设的研究与规划启动。同年,规划通过中国某著名企业管理层决议,研发云正式立项项目启动研发云平台应用成效 一站式云上协作DevOps全流程协作
统一能力底座7大领域
30+能力中心多维度效能度量研发全过程客观度量质量与成效量化评估AI全面赋能研发大模型AI辅助开发、智能助手统一资源服务网络、数据资源开发测试资源服务降本增效:节约企业成本超2亿元/年;上线时间缩短30%、
问题减少70%、管理效率提升30%科创:项目研发研发、成果,云上统一协作与管理政企:产数交付产数研发底座、集成交付建成全集团研发上云统一技术底座,实现资源的统筹、协同与共享推进研发全域智能化,AI赋能科技创新和数字化转型央某著名企业上云用云典型案例国际红点设计大奖研发运营(DevOps)解决方案平台类先进级(最高级)IAI全球设计奖第三届鼎新杯数字化转型应用优秀案例全面服务31家省、23家专业公司及中通服体系云网:生产部署业务上云、数字化运营截止9月,平台主要活动数据日活用户(人)4.5万研发项目(个)3.5万代码托管(行)223亿编译构建(次)831万生产部署(次)311万纳管资源池(个)250接入生产集群(个)2500纳管主机(台)86万研发云平台能力全景图 需求分析、需求管理产品设计、业务评审开发测试集成交付运维业务需求需求分析需求评审产品设计设计评审详细设计编码单元测试测试用例设计系统测试版本检验版本发布部署监控事件管理架构设计设计中心评审中心原型设计需求评审UI设计文档评审设计规范提测评审验收评审外部应用规划管理...API管理API
hubAPI管理API测试运营、度量测试中心资源中心集成中心制品中心部署中心资源订购持续构建制品管理灰度发布分权分域支持信创依赖管理蓝绿发布资源管理调度执行入库检测自动部署流水线编排自研制品库容器部署安全中心用例管理静态扫描任务管理代码溯源自动测试开源合规分布式测试安全全景视图规划︑立项数据中台自动化中心流程引擎数据汇聚数据资产管理数据分析数据智能规则引擎由30+能力中心构成的一站式面向DevOps的端到端研发工具链科创专区门户能力开放科研管理研发积分度量中心模板化...数据开放标准专利组织积分项目视图个人工作区应用开放科技评奖团队积分组织视图事件开放成果产品化个人积分团队视图帮助中心积分规则工时管理代码中心云IDEAI共享中心代码托管代码编写AI编程助手开源社区代码评审代码调试AI测试助手组件广场AI文档助手安全网关代码运行组件检查AI客服助手自研代码库插件广场大模型引擎组件扫描基础能力用户中心监控日志消息API网关操作审计文档空间WIKI敏捷中心版本中心…在线文档空间管理问需管理版本规划协同编辑页面管理工作项管理发布关联知识文档wiki知识迭代/工时管理版本跟踪权限控制权限管理项目集管理02研发云平台工具搭建实践实现复杂组织下的用户、项目和资产管理 以“项目”为基本的运作单位,提供进行研发活动的协作空间及工具链;项目的研发过程中会形成“资产”,主要包括代码库、制品库、流水线等;顶级机构(如集团)下每个机构均可作为一个“租户”租户自主管理账号、机构、项目、人员角色等;每个租户的管理范围为本机构及下级机构;项目、用户账号,均挂在某个“租户”下。用户包括三个级别的角色机构(租户)级角色:在整个平台范围内有效,可执行已授权的机构级操作;项目级角色:仅在项目范围内有效;项目资产的权限角色:独立于项目角色,仅在项目资产内有效。实现复杂组织下的研发流程管理 需 业务需求求 用户需求管 市场研究理 用户调研业务需求产品需求需求分派到项目中业务需求池原始需求分级需求池产品需求池需求提交需求评估需求研发需求发布需求验收价值评估需求流程业务反馈闭环工作项状态反馈工作项版本信息关联/项目交付管理敏态项目A稳态项目B产品特性技术研究用户故事产品特性测试缺陷产品需求运营需求测试缺陷任务任务任务任务版本规划需求待办列表版本1项目范围需求待办列表迭代计划 迭代实施迭代待办 计划 评审 开发列表迭代1项目计划 实施开发版本/里程碑1 开发设计版本/里程碑2 文档需求、文档、提测、发布评审测试 发布测试验证测试验收报告迭代回顾项目集产品集仪表板缺陷修复安全管控复盘&回顾自主优化.…..Wiki团队管理产品特性技术研究发布上线进度缺陷修复安全管控上线文档自主优化.…..质量适配复杂研发管理需支持各类研发管理场景,项目制、产品制、父子项目、机构内项目集、跨机构研发链项目,需具备可灵活配置、按层级管理的协同工具能力多态开发协同需支持稳态(瀑布)开发模式、敏态(敏捷Scrum)开发模式与双态开发模式等分层多维开发协同审批流程贯通需支持研发关键过程与产物的审批流程线上执行与留档,简化流转过程,提升研发审批效率搭建面向大规模研发的基础能力——代码库 重点问题:大规模高并发、统一接入、多模式支持技术方案多集群分布式:统一应用控制层,集群多节点分布;代码分片读写分离,可配置动态扩展;支持代码库均衡负载读写策略可靠性保障:集群分片可扩展,多集群主从复制,保证数据一致性和安全性统一接入:构建访问控制网关,多种代码库接入,多种协议统一代理和转发多开发模式:支持多主干、多分支等开发模式访问控制网关实践成效高峰超过4万+次/天的代码提交高峰超过19万+次/天的代码拉取平台限制非源码的超大文件上传,基本保证代码库仅存放源码,修正了项目组不正确的习惯搭建面向大规模研发的基础能力——流水线 重点问题:跨资源池、分布式节点支持,动态调度、全栈及信创支持技术方案跨资源池:统一管理资源池,根据项目属性分配流水线的执行资源区域分布式动态节点:统一的应用层进行流水线节点编排、管理;根据任务量动态创建流水线节点,满足业务水平扩展的需求、并提高资源的利用率创新调度模式:集中式的任务缓存、调度、队列映射,充分利用流水线集群资源,提高流水线执行效率及稳定性全技术栈:支持Maven、Gradle、NodeJS、Python、C、C++、Ruby等开发语言的编译能力、嵌入ARM、FPGA等的构建平台/环境:涵盖Linux、Ubuntu、Windows、Android、Arm、信创及自定义环境等编译依赖环境实践成效高峰4200次+/小时的流水线执行搭建面向大规模研发的基础能力——制品库 重点问题:统分结合、大规模镜像同步、灵活配置、各类制品类型支持“统分结合”的跨地域多集群管理:二方库在多个集群间权限统一、制品统一,单点上传多点共享;项目制品库跨地域、多集群分片化管理,负载分担复杂环境下的大规模镜像同步:适应现网复杂网络环境、异构镜像库之间准实时同步;污点镜像仓库(慢同步)自动发现配额管理和制品清理:多粒度、多维度配额控制;支持文件名、元数据、时间等灵活过滤的制品清理任务全栈支持:涵盖各类开发语言/技术栈的依赖,涵盖主流操作系统工具包自研制品库:实现自主,突破原商用制品库的容量和性能瓶颈,单套集群支持10万+制品仓库,并可作水平扩展集群一各省镜像库:Harbor、Docker
Registry全栈支持generic、maven、docker、npm、pypi、conan、go、nuget、gitlfs、rpm……集群二复杂网络环境大规模镜像同步集群管理:统分结合二方库:权限、制品统一,单点上传多点共享项目库:分片管理、负载分担灵活的配额管理多元化制品清理资源池A集群化资源池B............技术方案实践成效全平台共管理7万+个制品库制品库访问高峰1300万+次/天高峰期镜像同步任务1.5万个/天搭建面向大规模研发的基础能力——部署中心 重点问题:复杂部署环境支持、多场景部署方式、高并发下的稳定可靠技术方案复杂部署环境支持:云网CCSE、K8s、主机、第三方集群;私有k8s、私有主机;用户特定环境多种部署工具支持:yaml、helm、脚本、可视化配置分布式高可用部署任务机制:支持可配置的部署任务运行节点及限流机制,保证部署任务高并发情况下安全稳定运行灰度发布功能:确保客户部署对象新版本的平稳过渡和稳定性实践成效单日峰值1.2万+次,每小时峰值1400+次,平均每次部署任务完成约20个微服务部署超大规模产品的编译构建与发布某专业公司的大型平台应用,通过流水线编排,实现最大的超过200个微服务的CICD一方面提升流水线执行效率和大型流水线编排能力,另一方面提供过程改进的最佳实践/方法论给项目团队,促进项目团队开发过程持续改进搭建面向大规模研发的基础能力——分布式测试能力 xx公司资源池研发云平台内网互联网研发云SASE云端接入服务器yy公司资源池研发云SASE接入客户端预置区及组件研发云测试中心分布式测试能力示意图重点问题:云边协同分布式、全主流工具链支持、大并发高可用技术方案自研云原生测试引擎:采用云边协同架构,分布式测试代理接入用户被测环境全工具链支持:容器化集成JMeter、RF、Pytest、Junit等工具,灵活可扩展多种场景支持:Web
UI、分布式性能压测等多种测试场景多种部署环境支持:测试代理支持集群化、高可用,支持K8s、主机等多种部署方式API测试工具:集成API全生命周期管理工具系列(API文档、API测试、APIMock、
API
Hub),浏览器插件代理直达被测环境实践成效管理共1.7万+测试库,归集150万+测试用例,高峰48万+次/月用例执行累计超8000万次自动化执行,高峰160万+次/月的脚本执行建成“集团1+N测试环境”,接入超过70家机构(省公司、专业公司、供应商)研发全生命周期安全管理 安全全生命周期:覆盖需求、开发、构建、部署、运维各阶段,关联需求、代码、组件、制品、部署等众多扫描和评审结果需求安全:业务设计审批、技术设计审批源头安全:企业级组件管理,组件安全、组件、组件入库审批过程安全:代码质量及代码安全、质量门禁产出安全:制品安全、部署审批安全台账、漏洞预警与溯源:汇集研发过程中代码、组件、制品、部署多维数据,形成综合的安全台账数据库,实现安全漏洞追溯。研发全生命周期关联资产打通 以版本为串接主线,跟踪产研需求,及开发过程相关流程和资产;数据贯穿“规划/需求——开发——构建——测试——部署”全流程,实现制品的可追溯管理。AI
X
DevOps工程实践 阶段一:AI辅助研发人员为主导AI辅助研发人员提升个体效率阶段二:AI协同AI替代部分研发角色研发人员和AI协同完成任务阶段三:AI自主多智能体协同,由大模型进行规划完成复杂任务研发人员承担审查和改进的角色打造满足研发场景需求的多模型底座和基于大模型能力的系列化AI能力,提供AI驱动的DevOps工具链和研发流程。03研发云平台规模应用实践推广与规模应用——工具的稳定和安全是基础 根据目标做好平台的规划设计,架构上要充分考虑稳定性、扩展性和安全性,给领导层以足够的信心做推广使用;作为统一使用的平台,功能上要兼顾广度和深度,简专业性,满足各类不同的使用场景;需要按生产系统对待,保障平台稳定、安全的运行,并做好灾备,因此要组建专业的平台运维和运营支撑团队;1个门户+N个能力中心的总体架构积木式设计,各能力中心松耦合,支持独立部署升级公共能力复用,支持快速构建新能力中心能力开放,支持快速集成推广与规模应用——做好平台间平滑过渡 基础数据:组织、用户、项目等迁移实践超大规模迁移,实现多类异构平台数据的安全、无损迁移迁移步骤导入——组织、用户整理组织、用户信息,进行批量数据导入创建——项目整理项目清单,梳理项目名称、主责单位、负责人等项目信息,在平台上批量创建项目迁移——工作项、测试数据、Wiki、文档为迁移中的重点,也是难点,常涉及异构系统间的数据迁移,需要与具体项目组沟通,做好迁移数据模型对齐,保障核心数据不会因迁移而丢失迁移——代码、测试脚本做好迁移工具或脚本,因涉及资产权限,可由平台方统一处理,或交由项目组执行迁移/新建——流水线、制品也会存在异构问题,需根据实际工作量采用迁移或重建方案,测试编译构建流程,形成新的制品做好平台间的平滑过渡方案,是平台能否成功推广使用的关键按落地单位、组织、项目的难影响力做好推广计划;做好迁移方案和试点项目验证,尽可能地对原有的数据和资产作完整迁移,并且充分考虑如何保障数据安全;迁移过程不能对用户造成太大影响,更不能中断用户在进行的工迁作移;内容(数据类)迁移实施要有执行力不宜拖沓,避免在新旧平台间模棱两可。工作项数据:需求、任务、缺陷等测试数据:测试计划、测试用例、测试执行等迁移内容(资产类):文档:常规文件、Wiki代码:代码库、分支流水线:编译构建、部署等制品:外部依赖组件、项目制品自动化测试:测试脚本、代码质量与安全扫描规则等建设二级运营体系 研究院研发云团队集团统筹、协调重大问需评审研发云问需池建设运营二线技术支持…集约运营本地运营集团研发云专家组需求统筹、处理省公司1企业池运营需求归口管理组织问需验收一线技术支持......省公司N企业池运营需求归口管理组织问需验收一线技术支持......专业公司N企业池运营需求归口管理组织问需验收一线技术支持......专业公司1企业池运营需求归口管理组织问需验收一线技术支持......…本地运营团队1本地运营团队本地运营团队本地运营团队平台的集约运营工作以问需管理模块为统一入口各单位本地运营团队需开通企业问需池,归口管理本单位一线问需;
研发云项目组开通“研发云问需”池,所有问需采用在线管理方式。
“集团集约团队+各单位本地运营团队”一二线协同支撑各单位本地运营团队建立一线支撑通道,优先支撑处理一线问需;集约运营团队建立“集团集约团队+各单位本地运营团队“二线支撑群,提供二线技术支持。AI+平台运营:智能客服 搭建AI助手,辅助日常的运营工作:基于大语言模型的智能助手,辅助用户使用研发云平台,解决使用过程中的问题使用领域数据进行模型微调+外挂专业知识库+平台帮助文档,提供更精确的回答提供多轮会话功能,提供自然对话式的用户体验持续优化持续升级基座大模型持续优化语义检索精度,丰富和完善平台使用指引、DevOps领域知识库实践成效减少30%日常运营作人工答疑的工作功能上线至今,总用户数5万+人,总提问超170万+次04研发云平台企业级管理实践企业级研发数字化 研发数据资产化构建研发效能统一指标库及数据模型;建立关键业务数据资产目录,涵盖各数据类资产;研发数据流处理及批处理,实现数据仓库分层建设,涵盖研发全流程,追踪组织、项目、个人的研发活动。数据OpenAPI能力,提供跨应用的数据查询服务,实现各应用模块间的松耦合;数据订阅系统,为各机构提供规范化数据以实现个性化应用,开放数据宽表。研发流程自动化基于规则引擎和消息中心,以数据和事件驱动流程,实现各应用间按规则联动。数字化应用研发效能度量,包括组织、项目、个人的度量仪表板,合规检查,研发积分,工时自动计算;个人工作区,整合个人研发应用和数据,打造研发统一入口。集中呈现个人参与的项目、待办、工作项等常用功能个性化推送高相关性事项提醒统一指标库&数据模型统一数据汇聚流处理&批处理数据资产目录数据质量管理OpenAPI服务个人工作台数据能力开放数据资产数据仓库规则引擎消息中心效能度量(仪表板、合规检查、研发积分、自动工时)应用间的规则联动...数据订阅管理数字化应用企业级研发度量体系建设 组织用户概况组织工作项概览组织全景视图组织项目概览组织开发概览组织工时概览组织部署概览组织质量概览组织知识概览个人研发情况项目进展需求交付周期项目全景视图项目里程碑交付质量概览需求累计流图CI/CD成功率CI/CD频率与耗时……代码提交趋势代码提交次数新增工作项数团队全景视图代码新增行数新增缺陷数完成工时测试用例执行数新增测试用例数……文档总数预警瓶颈约束可视化资源闲置和浪费聚合关键效能指标关键指标呈现研发效能、研发质量、人效组织效能指标视图项目效能指标视图团队效能标视图构建项目、组织、个人维度的度量指标和视图,平台功能覆盖面越广,统计的数据越具参考性;切忌堆砌指标,要精简以综合维度的统计为主,如项目里程碑完成情况,各版本、迭代的效能、质量统计;要注意度量报表的权限设计,避免出现越权访问。企业级研发规范化落地 建立研发管理流的规范化协同,及各关键研发环节的规范;规范通过平台功能落地,并尽量通过规则作自动化处理,减
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高中地理选择性必修2教学设计:长江流域协作开发与环境保护
- 初中物理九年级质量与密度二轮复习教学设计
- 高中一年级语文《时代担当与未来想象》教学设计
- 小学二年级美术教学设计《听听画画》核心素养导向下的跨感知表达实践
- 九年级数学《锐角三角函数》教学设计:基于相似模型的核心素养培育路径
- 小学五年级美术珍爱国宝古代陶瓷艺术教学设计
- 高中物理选择性必修一教学设计:电池电动势内阻测量与能源可持续发展
- 七年级语文整本书阅读分层提优教学设计
- 高中劳动技术教学设计:雪冬寻味·大米发糕传统工艺与现代创新
- 初中化学九年级化合价与化学式及物质分类复习教案教学设计
- 2026全球牙科诊疗椅人机工程学创新设计与用户体验提升分析报告
- 2025 重症脓毒症与感染性休克救治指南(中文版)完整原文 + 详细解读
- 2026年重症医学5c考试题库带答案
- 洗衣机装配工岗前工艺控制考核试卷含答案
- 《数字人民币智能合约互联互通建设管理规范》编制说明
- 四川省政府采购评审专家考试真题库及答案(完整版)-四川评标评审专家
- ICU三管感染防控集束化管理
- 【高盛】变革中的中国:聚焦产能周期-延迟的转折点
- 无创呼吸机气道湿化管理
- 专题01实数的混合运算(60题)专项训练数学北师大版2024八年级上学期
- 临床主动脉夹层患者护理个案汇报
评论
0/150
提交评论