新概念公益项目的DevOps实践

1、新概念公益项目的DevOps实践技术创新，变革未来项目背景云顶云助力外研社“新概 念英语”公益助学活动为保证全国中小学生的学习需求， 外研社与云顶云合作推出公益助学 活动，免费向社会开放新概念英 语正版音频。疫情期间助力广大 师生“停课不停学”，为广大英语 学习者提供完善的英语学习环境。 接到需求后，分布在全国各地尚未 归津的云顶云研发团队与技术团队 积极配合， 克服网络差、异地协 作、需求急、技术风险高等困难， 使公益活动如期上线。项目分析时间紧压力大协作难测试难项目成果连续作战 4 天 4 夜，不只 96 小时持续发布 7 版，不断迭代完善流量激增19.4倍，扛住了！钉钉语音会议 30+

2、次参与的同学 20+ 名项目架构方案解析：主要基于容器服务ACK微服务+DevOps威力显现！应用容器化享用容器组资源编排能力优化容器组集群计算资源稳定性高两级伸缩架构弹性低成本内容分发网络CDN有效分担源站压力项目解读：两级弹性伸缩设置HPA：当CPU平均使用率达到70%或 内存使用率达到80%时，会水平扩展POD 数量，以提高热点服务的能力。设置ESS：当CPU平均使用率达到75%或 内存使用率达到80%时，会向K8S集群中 添加两台ECS，以提高系统整体的服务能 力。项目实践：HPA实践心得问题1：在压测过程中发现，POD分布不均匀，相互间存在资源争抢的 现象，导致服务器资源富裕而性能提

3、升不上去的情况。解决办法：对于资源消耗较高的服务使用硬性反亲和，资源消耗相对较 低的使用软性软亲和方式可以有效利用服务器资源，提高整体系统性能。问题2：POD的CPU和内存的基准值配置错误，导致使用率始终超过弹 性伸缩的阈值，POD直接弹缩到最大值。解决办法：调大request值，将使用率控制在HPA值之下。问题3：POD启动消耗的资源较大，启动瞬间会将POD数量弹至最大 值，从而导致整体资源使用率过高。解决办法：等服务启动稳定后再配置HPA规则即可解决。项目解读：基于容器服务的DevOps开发团队测试团队运维团队DevOps用例工具平台接口工具 接口用例 平台既理解业务架构也理解技术架构分层

4、自动构建与实施能力测试用例积累与流转环境自动构建应用自动发布工具间账号统一日志收集与分析异常捕获与报警代码审查与安全CI/CD构建与发布管理代码仓库：基于ACK的GitLab集成系统：基于ACK的Jenkins镜像分发：阿里云镜像服务环境切换：ACK测试/生产集群（命名空间）灰度发布：ACK原生支持日志管理Kafka ClusterKafka BrokerKafka BrokerKafka BrokerZooKeeperYdy LogService GatewayAliCloud LogServiceThirdParty LogSDK ClientYdy LogService Processo

5、rDocker & K8s System LogsService LogsException EventsElastic Search ClusterES NodeES NodeKibanaSleuth TracingsFronted LogsLocal LogSDK ClientMySQL LogsNoSQL LogsLogStash测试管理单元测试：Junit单机测试：Jmeter性能测试：PTS利用PTS，我们进行了100多轮不同接口不同规模的压力测试，快速地定 位问题、解决问题和回归验证，是项目压力测试的绝世神器！监控管理容器监控：容器服务自带+钉钉机器人告警集群监控：阿里云云监控自带

6、应用日志：基准镜像集成frontail，业务日志输 到本地，同时推送至指定端口可由浏览器查看异常捕获：基于ACK自建Sentry服务监测错误并 提取有用信息用于分析日志分析：通过SLS进行K8S日志采集与应用日 志采集，利用SLS的各种日志统计分析等功能配置管理更新的配置秒级自动下发到各机器，降低配置手动分发的工作量通过接入 ACM 配置监听接口，各应用端的配置可立即生效，无需重启应用所有配置监听、更改和版本信息自动记录在案，增强了审计、版本管理、诊断等方面的能力在传统架构中，如果配置信息有变更，通常需要 登录服务器并手动修改配置来使配置生效不采用：手动维护分支与配置的关系基于K8S的Conf

7、igMap来管理阿里巴巴配置管理项目：NacosACM配置管理与springcloud config对比的优势体现springcloud config弊端:无法做到公共配置的抽取无管理化界面配置刷新依赖MQ中间件无配置管理API限流降级QPS限流：基于Sentinel限流对象：网关服务三方日志服务项目总结总结起来，该公益项目能快、准、狠地完成，主要得益于以下几个方面：项目采用了微服务架构，模块之间耦合度较低，新功能上线可滚动发布，加上团队具备 DevOps能力，因此保质保量地完成了研发任务。项目完全基于阿里云的容器服务ACK构建，同时得益于阿里云强大而全面的产品矩阵来加 持，使整个项目的稳定性、可靠