中国移动研究院赵奇慧在上海举办Kubecon峰会上的演讲：Cloud Native is Good,but How to Apply it in Telecom Network

butHowtoApplyitinTelecomQihuiZhaoQihuiZhao335G控制面第三方APP5G用户面边缘计算5G用户面边缘计算第三方APP5G控制面第三方APP5G用户面边缘计算5G用户面边缘计算第三方APPCMCC网络云现状中国移动从2015年起以推动网络转型为目标中国移动从2015年起以推动网络转型为目标，建设电信级增强网络云，明确下一代网络整体设计，制定NFV/SDN技术方案体系，通过6+期的试点有效推动网络云的商用进程。截止去年，整体规模已超13万服务器，承载5GC、IMS、EPC等46+类网元，云化比例超85%，其中5G云化比例达100%。东北华北保定西北保定西安郑州华东北南京西南成都华中西南成都金华华东南广州华南广州5G控制面5G用户面边缘计算第三方APP•边缘：核心网用户面网元（UPF）、MEP、垂344Os-Ma-nfvoNFVO(网元FCAPS管理和编排)现网OSS传统北向增强接口Or-VnfmVe-Vnfm-em虚拟网元北向接口虚拟化网元管理（VNFM）OMCOr-ViVe-Vnfm-vnf虚拟化网元（VNF）Vn-NfVi-VnfmOs-Ma-nfvoNFVO(网元FCAPS管理和编排)现网OSS传统北向增强接口Or-VnfmVe-Vnfm-em虚拟网元北向接口虚拟化网元管理（VNFM）OMCOr-ViVe-Vnfm-vnf虚拟化网元（VNF）Vn-NfVi-VnfmNf-Vi物理资源管理（PIM）虚拟化平台（Hypervisor）Vi-Ha硬件管理接口网络设备、安全设备等SDN控制器服务器存储网络云技术参考架构VM的增、删、改、查NFV+SDN架构示意图4Part2：网络云引入云原生分析6ITIT模式：大型互联网企业E2E全栈架构，自建自营模式为主；先实践再总结，持续迭代；更关注弹性和业务敏捷性CT模式：主流运营商多厂商集成，设备采购&交付模式；注重标准化、规范化；更加关注电信级业务的高可靠性网络云云原生可借鉴IT云原生成功经验，但需要结合CT建设方式及业务特点，综合定义符合CT实际情况的云原生引入技术及方法。微服务77.容器颗粒度小，降低资源碎片化.裸机容器可以节省虚拟层开销.容器颗粒度小，降低资源碎片化.裸机容器可以节省虚拟层开销网络云云原生演进的驱动力当前基于虚拟化技术的网络云已进入规模商用阶段当前基于虚拟化技术的网络云已进入规模商用阶段，持续向云原生演进可进一步提高网络资源利用率、加速业务创新、提升管理运维效率，推动网络云从易用向好用演进。云化现状和挑战网络云引入云原生价值云化现状和挑战现状：虚拟化技术实现底层硬件通用化及资7Part3：对一些关键问题的思考9虚拟层云原生技术引入现状虚拟层从全球主要运营商云原生商用情况看从全球主要运营商云原生商用情况看，引入云原生是发展趋势，但受限于技术和产品成熟度等情况，目前以容器引入为主，实际规模商用案例少、建设规模相对较小，整体仍处于商用探索阶段。虚拟机容器层虚拟机容器层虚拟层 •直接选择公有云的技术能力和运营模式AMF微服务实现示例运维管理OMU-主高高AA微服务BCCAB对云原生技术按收益、难度评估分为A、对云原生技术按收益、难度评估分为A、B、C三类优先级，可有计划、按需求逐步试验和引入。具体引入场景可遵循先支撑后核心、先2B后2C、先边缘后集中的引入策略。DPU卸载方案Metal3DPU卸载方案Metal3裸机容器资源池：裸机管理如何管理裸机是首要问题。针对不同的场景，业界已经给出了各自的解决方案，比如OpenstackIronic方案、RackShift方案以及Metal3-io方案等场景1容器层以虚拟层为底座构建场景1容器层以虚拟层为底座构建使用使用DPU卸载CLoudAgent场景2容器层单独成池场景2容器层单独成池RackShiftRackShift等节点内的容器之间机密容器gvisorInclavareContainers节点内的容器之间机密容器gvisorInclavareContainers护实验室测试数据（基于kata2.5.2）通过网络安全策略进行管控安全容器（按需）裸机容器资源池：容器安全容器比虚拟机有更好的易用性和更高的性能容器比虚拟机有更好的易用性和更高的性能，但容器在安全性方面存在短板。在工程建设阶段，除了大家所熟知的容器共享宿主机内核的安全问题外，还有很多不容忽视的安全问题工程阶段的容器安全问题工程阶段的容器安全问题节点同控制面之间节点同控制面之间、节点之间场景1：节点完全交给客户使用可以轻易对控制面或其他节点发起攻击场景2：节点托管给平台容器可能越权到节点对控制面或其他节点发起攻击安全容器（按需）安全容器（按需）...…………微服务：网元业务微服务划分...…………微服务：网元业务微服务划分网元业务微服务化建议遵循五大基本原则。结合设计原则、标准化要求、电信网元现状及发展趋势，网元微服务可分为接口类、业务类、中间件类，每类可包含一个到多个功能性微服务。此外，可辅以微服务治理体系，提供运行态网元微服务管理，降低端到端管理难度。微服务拆分相关公共能力可沉淀为PaaS实现多网元共享。…………>网元内无状态设计/或主备设计，微服务模块升级不影响在线业务>网元无状态设计方法 >网元内无状态设计/或主备设计，微服务模块升级不影响在线业务>网元无状态设计方法 微服务：网元无状态设计及灰度升级当前当前，网元设计已经或多或少考虑无状态化（如将用户数据集中到UDM中、VNF内部使用独立数据库存储业务上下文等可进一步对网元内部数据进行分类，考虑多种数据状态及处理机制，实现状态管理精细化和优化。灰度升级可以支撑业务在不浪费过多额外资源的情况下实现升级，依托无状态化设计，灰度升级的优势将进一步显性化。景包括：数据/状态不重要、可随时抛弃并重1研发测试3 自动化：CI-CT-CD流程优化思路1研发测试3 自动化：CI-CT-CD流程优化思路基于网络云建设的实践经验总结基于网络云建设的实践经验总结，依托云原生理念，建议进一步完善"产品研发-测试认证-交付运维"端到端衔接和循环反馈机制，提升全流程自动化、敏捷化水平，充分释放网络云化价值红利NFVO+Ve-Vnfm-vnfVn-NfKubernetesbasedContainerInfrastructureNf-ViNFVIPhysicalHW管理：性能数据管理NFVO+Ve-Vnfm-vnfVn-NfKubernetesbasedContainerInfrastructureNf-ViNFVIPhysicalHW管理：性能数据管理PPPPIMPIMNFVOVNFMVNFNFVOCNF管理：CNF生命周期管理NFVOVNFMVNFNFVOCNF管理：CNF生命周期管理当前行业主要采用当前行业主要采用Helm+K8S+Operator(optional)的方式对CNF进行部署、升级、状态运维、删除等操作，CNF生命周期管理流程需与现有NFV架构及MANO流程进行融合。VIMVIMsCaaSCaaS4.HelmChart及Value8.CNFdeploymentC9.CNFinstantiationnotifyVNF实例化流程示意图CNF实例化流程示意图云原生目标技术架构建议 CIM：容器基础设施管理器(如k8s)CCM：容器集群管理器(发放CIM/CIE节点、构建集群)PIM：物理基础设施管理器(当前虚拟化方案中已采用)云原生目标技术架构建议 CIM：容器基础设施管理器(如k8s)CCM：容器集群管理器(发放CIM/CIE节点、构建集群)PIM：物理基础设施管理器(当前虚拟化方案中已采用)CIE：容器基础设施引擎(如Docker、Containerd)考虑Kubernetes、Prometheus、Helm、CloudControllerManager等云原生领域开源软件已逐步成为事实标准，未来网络云的云原生技术架构可基于容器层充分整合编排能力，推动NFV架构向更简洁、更灵活演进。‐CIM承担VNFM、OMC对CNF的生命周期管理、业务配置、扩缩‐多集群管理模式下，仅节点物理网络需SDNC编排，也无需加载‐弹性裸金属的生命周期管理、节点网络的编排等功