容器服务(CaaS)平台V2.0-技术白皮书

联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 1 页页 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 2 页页 目目 录录 第第 1 章章 系统概述系统概述 4 1 1 建设背景建设背景 4 1 2 痛点分析痛点分析 4 1 3 系统简介系统简介 4 1 4 建设目标建设目标 5 第第 2 章章 系统架构系统架构 6 第第 3 章章 CI 在应用大流量的情况 能做到秒级的扩容 开发环节 开发环节 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 8 页页 CI流程CI流程 DeveloperDeveloperGitlabGitlabCaaS CICaaS CIK8SK8SDocker registryDocker registry Commit and push code Webhook触发构建镜像 代码编译 通过否 控制台提示或邮件 通知 是 执行测试 通过 镜像升级自动部署 到测试环境 是 打包镜像 否 在registry存储生成 的项目镜像版本 上图为开发环节开发人员从提交代码到发布到测试环境的整个过程 测试环节 测试环节 测试环节流程跟开发环节流程一样 建立测试项目并进行 CI 流程进行验收测试 以前端框架 为 angular 为例 采用 protractor selenium 方案 GITLAB 建立测试项目 编写 protractor 测试脚本 模拟浏览器执行测试 提交代码 执行 protratcor 镜像到 selenium 环境进行测试 测试完毕将测试结果通过 nginx 镜像发布出来 运维环节 运维环节 手工将测试通过的镜像发布到生产环境中 运维人员可进行从硬件 操作系统到运行时平台的安装 配置 运行监控 升级和优化 等工作 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 9 页页 第第 4 章章 功能功能说明说明 4 1 功能清单功能清单 软件功能项目软件功能项目功能说明功能说明 代码仓库 关联私有 Gitlab 代码仓库 可以轻松选择代码项目 进行构建 项目管理管理所有的项目 工程管理管理每个项目下的工程以及构建镜像的配置 开发集成 构建记录 记录项目的每一次构建 可以查看构建的状态 日志 构建者等全方位信息 应用管理管理所有的应用 服务管理管理应用的所有服务以及部署配置 容器管理管理所有服务的容器实例 存储管理管理容器的挂载存储卷 配置管理管理服务部署的所有配置项 负载均衡 将流量分摊 引导到服务的每个实例 提高服务的整 体可用性和吞吐量 应用管理 弹性伸缩运行中的部署可以随时进行扩容缩容 增减实例个数 基础镜像添加用于工程构建需要的基础镜像 应用市场应用发布到应用市场便于实施一键安装体验 交付中心 项目镜像工程构建生成的镜像库 集群管理 每个集群需要配置一套 kubernetes 您可以在控制台 上将集群的各项设置记录下来方便添加主机 日志收 集等 此外可以管理集群的 namespace 主机管理 查看集群内各个主机的配置 状态 可以随时快速添 加主机 可以为主机打标签和划分生产 测试环境运维管理 监控管理 针对物理资源进行主机级别的监控 针对业务进行部 署 实例 容器的多层级监控 用户能够从全局和底 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 10 页页 4 2 开发集成开发集成 由代码仓库和项目管理组成 通过关联 Gitlab 上的项目在 CaaS 上走 CI 流程构建可部署的项目 镜像 4 2 1 代码仓库代码仓库 功能说明 将 Gitlab 上具有权限的项目做关联 自动生成 Gitlab 的 webhook 用于代码提交后自动触发 CI 构建流程 关联的项目用于项目构建镜像时选用 关联代码库 选择需要构建镜像的项目代码库 关联后自动生成 Gitlab 的 webhook 查看 webhook 查看设置到 gitlab 上的 webhook 信息 4 2 2 项目管理项目管理 功能说明 项目是一组工程的集合 是管理需要构建镜像的项目以及构建镜像配置 新增项目 新增项目信息 项目成员 管理成员对项目的权限 删除项目 删除已创建的项目信息 4 2 3 工程管理工程管理 功能说明 对项目的所有工程进行管理 管理工程构建配置以及构建记录等 新建工程 创建工程构建配置信息 用户可选择使用代码仓库进行构建 也可以不使用代码仓 库构建 创建的工程配置用于生成 dockerfile 文件 删除工程 删除已创建的工程构建配置信息 工程构建 点击构建按钮 选择代码仓库的分支以及版本 点击确定后将使用工程构建配置生 成的 dockerfile 生成项目镜像并存储到 docker 仓库中 工程详情 列出工程的基本信息 构建配置以及构建记录 构建记录 列出手工构建或者自动触发构建的记录 每条记录可以查看构建日志以及停止构建 操作 层单元多角度监控主机和服务的运行状况 告警管理设置告警策略 告警发送到用户短信或邮箱 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 11 页页 4 3 应用管理应用管理 用于将项目生成的镜像部署到测试环境或生产环境上 镜像升级可自动触发升级 对于运行的 镜像可停止 扩缩容 升级回滚等操作 4 3 1 应用管理应用管理 功能说明 应用是一组服务的集合 集群采用 Kubernetes 作为分布式容器管理工具 用户可以将应用的镜 像部署到生产或测试环境中 用户可以管理正在运行的业务 进行升级回滚 扩容缩容 日志查看 异常恢复 启动停止等操作 新建应用 新建应用信息 并添加成员的权限 删除应用 删除已定义的应用 应用详情 点击详情进入应用管理界面 可新增应用的服务以及管理应用的部署配置和运维操 作 下图为应用详情界面 4 3 2 服务管理服务管理 功能说明 列出所有应用的服务 并对服务的部署配置进行管理 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 12 页页 新增服务 新增服务信息 填写部署到集群环境的 K8S 部署配置以及负载均衡信息 删除服务 修改已创建的服务信息以及部署配置信息 重启服务 重启正在运行的服务 停用流服务 停用正在运行的服务 启用服务 启用停用的服务 升级 回滚 镜像升级可触发自动升级 升级后可回滚到指定旧版本的配置 修改部署配置后 保存就对部署配置版本升级一个新版本 会提示用户是否升级 扩容 缩容 正在运行的服务可点击扩容缩容按钮对实例进行手动伸缩服务的实例数量 填写 伸缩实例的数量即可完成伸缩功能 自动伸缩 填写是否开启自动伸缩的开关以及 CPU 或内存的阈值 当业务访问需求变化触发阈 值则进行实例的自动伸缩以满足业务需求 部署详情 展示部署的信息 列表显示部署触发的事件以及错误信息 4 3 3 容器管理容器管理 功能说明 管理所有服务部署产生的所有容器实例 可以查看容器日志以及采用 web 界面 ssh 登录到容器 的控制台 日志查看 查看容器内服务产生的日志 控制台 点击控制台则以 root 身份 ssh 登录到容器的控制台查看容器内服务状态 4 4 交付中心交付中心 4 4 1 基础镜像基础镜像 功能说明 添加用于构建项目镜像的基础镜像 以满足项目工程构建的需求 新增基础镜像 新增基础镜像 添加的信息有基础镜像的仓库地址 镜像名称和版本 删除基础镜像 删除基础镜像 4 4 2 项目镜像项目镜像 功能说明 列表显示通过项目管理中通过项目构建配置产生的镜像 按项目名分类管理该项目所有工程所 有分支以及各个版本的镜像 删除镜像 删除项目下某个分支某个版本的镜像 原则上不允许删除镜像 以免回滚操作找不 到镜像导致回滚失败 因此删除镜像需在系统配置中配置私有仓库的 token 认证才允许删除 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 13 页页 其他镜像 在私有仓库中无法进行分类的镜像全部划分到其他镜像列表中 4 4 3 应用市场应用市场 功能说明 由奕云发布或第三方发布的可一键部署的应用 通常为已写好 K8S 编排文件的应用 部署 应用市场上的应用可点击部署按钮一键或少量修改后进行部署 填写应用名称 修改并 确认编排文件无误后即刻创建应用 发布应用 发布到应用市场的应用通常包括应用的图标 市场分类 编排文件 项目镜像 按 文件夹形成规范 将具备规范的软件包放置于指定目录即可将应用发布到应用市场上 首先从公网 上加载奕云发布的官方应用 然后再加载指定目录上的第三方应用 下图为应用市场界面 4 5 运维管理运维管理 4 5 1 集群管理集群管理 功能说明 管理多个 K8S 集群 对于拥有 developer 权限以上的用户 可以为该集群添加主机并设置主机 的工作场景 主机标签 是否用于构建等信息 新增集群 新增集群信息 填写 K8S 集群的 APISERVER etcd dns 日志开启等信息 集群设置 对添加的集群信息进行查看和修改 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 14 页页 删除集群 删除已定义的集群信息 命名空间 添加集群命名空间 不同团队可以拥有不同的命名空间 不同命名空间的服务名 部署名 POD 名称可以相同 集群成员 添加成员并设置集群成员的权限 4 5 2 主机管理主机管理 功能说明 维护集群中的节点 可添加 K8S 节点以及管理节点标签 添加主机 通过选择主机类型是 centos 或 ubuntu 类型 将生成的命令拷贝到主机上执行即添 加一个 K8S 的节点 标签设置 管理该主机的标签 可添加 删除用于该主机的标签 用于服务部署时编排到该主 机 主机设置 设置该主机的工作环境是测试环境还是正式生产环境以及是否用于 CI 构建镜像 实例列表 列出运行于该主机的容器实例 可以查看该实例的日志和 ssh 进日控制台查看服务 状态 4 5 3 监控管理监控管理 功能说明 奕云监控管理提供多维度的主机和运行实例的监控 通过列表和图表方式呈现给用户 监控列表 列出主机或容器的资源占比 监控指标有 CPU 占用 内存占用 磁盘读写占用 网 络流入流出占用比 图标监控 以曲线图和饼状图方式呈现的监控数据 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 15 页页 4 5 4 告警管理告警管理 功能说明 告警管理用于添加报警策略 用户可以自定义主机组以及用户组 当主机组满足告警策略定义 的阈值时 发送邮件或短信给用户组中定义的用户 新建模板 新建告警策略模板 用户可选择主机或容器实例进行监控 设置告警逻辑 当告警 产生时发送的邮件模板和用户组 添加主机组 添加运用于告警模板的主机组合 对不同的主机组可设置不同的告警策略模板 添加用户组 添加接收告警邮件或短信的用户组 未恢复告警 列表显示未恢复的告警 只有 master 权限才可以删除未恢复的告警 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 16 页页 第第 5 章章 运行环境运行环境 5 1 服务器环境服务器环境要求要求 CaaS 平台可以直接部署于物理机上 也可以部署于虚拟机上 普通方案如下 角色建议配置数量备注 K8S 主控制器 CaaS 服务 Etcd 服务 CPU4 核以上 内存 8G 硬 盘 200G os Centos7 或 ubuntu16 4 1 台主控制服务器 用于编 排管理调度 需定期备 份 etcd 数据 CI 自动构建系统CPU4 核以上 内存 4G 硬 盘 100G os Centos7 或 ubuntu16 4 1 台 CI 流程构建镜像 如无 需构建可忽略 Docker 仓库 CaaS 数据库 CPU4 核以上 内存 4G 硬 盘 500G 以上 os Centos7 或 ubuntu16 4 1 台镜像存储以及 mysql 数 据存储 K8S 服务节点CPU4 核以上 内存 16G 以 上 硬盘 100G os Centos7 或 ubuntu16 4 3 台 K8S 节点 业务承载节点 视业务规模而定 访问 量并发量大的应用需适 当增加内存或服务器 业务承载存储CPU4 核以上 内存 4G 以上 硬盘容量视业务而定 os Centos7 或 ubuntu16 4 业务数据存储 如果已 有数据存储系统如 oracle 数据等则可忽略 高可用方案如下 角色建议配置数量备注 K8S 主控制器 CaaS 服务 Etcd 服务 Haproxy 代理 CPU4 核以上 内存 8G 硬 盘 100G os Centos7 或 ubuntu16 4 1 台主控制服务器 用于编 排管理调度 三台 K8S 主控制器只有一台正常 使用 K8S 主控制器CPU4 核以上 内存 8G 硬1 台主控制服务器 用于编 联奕科技联奕科技 新一代数字校园建设领航者新一代数字校园建设领航者 联奕科技股份有限公司联奕科技股份有限公司 第第 17 页页 Etcd 服务盘 100G os Centos7 或 ubuntu16 4 排管理调度 K8S 主控制器 Etcd 服务