大规模Kubernetes集群的巡检

1、不再混乱大规模 Kubernetes 集群的巡检议程为什么需要巡检怎么做巡检除了巡检，我们可以做的更多大规模 Kubernetes 集群面临的现状数以万计的节点不同硬件不同内核，软件，kubelet数以十万计的 Pods数以万计的 job 类型 Pod数以百计的控制器数以百计的自定义资源类型如此之多的资源，这么大的 Kubernetes 真的达到了所 说的最终致么？一些例子IP ConflictService InterruptDangling ResourcesPodsPVsCRDsInconsistent with External SystemCMDBIPAM为了一致性我们需要一种方法来

2、更深入的了解我们的 Kubernetes 集群我们需要什么高效性数以万计的节点数以十万计的 Pod数以百计的资源扩展性跨团队，跨组织数以百计的关注点我们需要什么（续）可观测行审查监控我们的实践ProvidersPodTask QueueIP CRDsTriggersOutput仅仅这些就够了么？每个集群一个巡检服务单台物理机性能有限任务众多，争抢严重无法横向扩展不够通用仅仅是一个内闭环Knative为什么需要 Knative ?使用 Serverless 来横向扩展我们巡检使用 CloudEvent 来使我们的巡检更具有扩展性构建一个 Framework 而不仅仅是一个内部服务拥抱 Serve

3、rless 之后的巡检EventKnativeBroker TriggerTasks Pod InspectorIPAM InspectorSub&PubProvidersRPCSend inspect resultActions Self-healingDingTalkSub&Pub怎样云构建套完整的巡检体系业务上的其他问题IPAMCMDBAPPOPSK8S clusterMonContainerNode基础设施和业务存在巨大代沟BusinessGap Infrastructure缺乏全视角的状态巡检IP conflictImperativeGiant Container like VM J

4、ust Resource AllocationDeclarativeFlexible Containers in Pod Works more迁移到 Kubernetes 的一些改变Application InspectionScheduler System InspectionInfra InspectionnodePouchdK8S CoreExternal DependencyK8s EventTradeServerIDCNet8orkMonitoring System lipaySearchAlerting System巡检的边界Ops EventControlScrape Sourc

5、eStoreData AnalyzeMonitoringAccess LayerProduct LayerTenant MgmtSecurity CtrlInspection MgmtSelf-healing MgmtK8S ExportNPDCMDBIPAMtsdbSLSMNSMongoDBInspectorAlert ManagerSelf-healing OperatorGatewayAPI ServerGrafanaControl PlatformObservation PlatformDiagnose如何打造巡检自愈体系InspectorMonitoring ControlUI(Gr

6、aph)Inspection ControlConfigureUsersqueryeventruleInspection MetricsAlert MetricsOverall Optimization MetricsSelf-healing Detailmonitorruleeventevent如何打造巡检自愈闭环Configure巡检和自愈引擎ObservationHealing巡检结果处理Kubernetes 集群如何走向 AIOpsEvent CenterRules CenterSelf-healing EngineEventCronjobRealtime ProcessRules U

7、pdateSystem MetricsControl DataNodes MetricsLogging InfoScheduler System Data PlatformK8SclusterK8SclusterSelf-healing ExecutePods MetricsData FeedbackCluster EventsOperation EventsNetwork EventsData AnalyzeBatch Data AnalyzeMachine LearningCombined ComputingBuildingServingData, Schedule, Control, Ops Closed LoopScheduler ControlCluster UpdateAlgor