容器云部署运维手册

容器云部署运维手册容器云部署运维手册

一、概述

本手册旨在为容器云的部署和运维提供系统性的指导，涵盖从环境准备到日常管理的全过程。通过遵循本手册的步骤和规范，可以确保容器云环境的高效、稳定运行。主要内容包括环境准备、部署流程、运维管理、故障排查等核心环节。本手册适用于系统管理员、运维工程师及相关技术人员，可作为日常工作的参考依据。

---

二、环境准备

在开始容器云部署前，需要完成以下准备工作，确保基础环境满足要求。

（一）硬件资源准备

1.服务器配置

-CPU：建议8核以上，根据实际负载需求调整

-内存：建议32GB以上，最小16GB

-硬盘：SSD硬盘优先，建议500GB以上可用空间

-网络带宽：千兆以太网或更高

2.网络规划

-物理网络：配置至少两个网络接口，分别用于管理流量和数据流量

-VLAN规划：建议划分至少三个VLAN（管理、核心、存储）

-子网规划：预留足够的IP地址空间

（二）软件环境准备

1.操作系统要求

-推荐使用CentOS7.x或Ubuntu18.04/20.04

-必须为服务器启用虚拟化支持（VT-x/AMD-V）

2.依赖软件安装

-Docker：建议版本19.03及以上

-Kubernetes：建议版本1.20及以上

-CNI网络插件：如Calico或Flannel

-etcd：Kubernetes集群存储

3.安全配置

-关闭防火墙非必要端口

-配置SSH密钥认证，禁用root远程登录

-启用SELinux或AppArmor安全模块

---

三、部署流程

（一）单节点部署

1.安装Docker

更新系统

sudoapt-getupdate&&sudoapt-getupgrade

安装必要依赖

sudoapt-getinstall-yapt-transport-httpsca-certificatescurlgnupg2software-properties-common

添加Docker官方仓库

curl-fsSL/linux/ubuntu/gpg|sudoapt-keyadd-

安装DockerEngine

sudoapt-getinstall-ydocker-cedocker-ce-clicontainerd.io

验证安装

sudodocker--version

2.安装Kubernetes组件

添加Kubernetes仓库

sudoapt-getinstall-ykubeadmkubeletkubectl

设置kubelet服务

sudosystemctlenablekubelet

sudosystemctlstartkubelet

3.初始化Master节点

初始化Kubernetes集群

sudokubeadminit--pod-network-cidr=/16

保存join命令到文件

sudokubeadminit--pod-network-cidr=/16|teekubeadm-join.log

复制第一个join命令

sudocatkubeadm-join.log|grep-o"kubeadmjoin.:.\n"

4.加入Worker节点

在Worker节点执行以下命令：

根据Master节点的join命令加入集群

sudokubeadmjoin<master-ip>:<master-port>--token<token>--discovery-token-ca-cert-hashsha256:<hash>

（二）多节点集群部署

1.环境准备

1.节点规划

-Master节点：1-3台

-Worker节点：根据需求配置

-每个节点建议配置相同硬件环境

2.网络连通性测试

-确保所有节点间网络可达

-测试节点间Ping通性

2.部署流程

1.初始化Master节点

-执行与单节点相同的初始化命令

-保存join命令

2.部署etcd集群

-使用KubernetesStatefulSet部署etcd

-配置持久化存储

3.部署网络插件

-推荐使用Calico网络插件

```bash

kubectlapply-f/manifests/calico.yaml

```

4.加入Worker节点

-执行相同的join命令

-验证节点状态：

```bash

kubectlgetnodes

```

---

四、运维管理

（一）日常监控

1.资源监控

-使用Prometheus+Grafana监控集群资源

-配置监控指标：

-CPU使用率

-内存使用率

-磁盘I/O

-网络流量

2.应用监控

-部署heapster或PrometheusNodeExporter

-配置应用健康检查

（二）日志管理

1.收集配置

-部署Fluentd或Elasticsearch日志收集系统

-配置Kubernetes日志输出到收集系统

2.查询工具

-安装Kibana进行日志查询

-配置索引模板

（三）自动扩缩容

1.Helm部署

-使用Helm安装自动扩缩容工具

```bash

helminstallstable/prometheus--namespacemonitoring

```

2.配置规则

-设置基于CPU/内存阈值的自动扩缩容

-配置扩缩容冷却时间

---

五、故障排查

（一）常见问题

1.节点加入失败

-检查网络连通性

-验证token有效性

-检查kubelet配置文件

2.Pod无法拉起

-检查Docker服务状态

-验证镜像拉取权限

-检查Pod资源限制

3.网络问题

-验证CNI插件状态

-检查Pod网络策略

-验证etcd集群状态

（二）排查工具

1.诊断命令

```bash

检查节点状态

kubectlgetnodes-owide

检查Pod详情

kubectldescribepod<pod-name>

检查网络连通

kubectlexec<pod-name>--ping<other-pod>

```

2.调试工具

-kubectldebug

-netcat端口检测

-etcdctl集群状态检查

---

六、安全维护

（一）访问控制

1.RBAC配置

-创建命名空间隔离

-配置最小权限角色

```bash

kubectlcreatenamespaceproduction

kubectlcreaterolebindingdefault-view--namespaceproduction--clusterroleview--subjectkind:Namespace,imagePullSecrets:[]

```

2.API服务器访问

-配置客户端证书认证

-限制API服务器访问IP

（二）定期维护

1.组件更新

-使用Kubernetesrollingupdate

-定期更新镜像版本

2.安全扫描

-部署Clair漏洞扫描工具

-定期执行安全扫描

```bash

kubectlapply-f/coreos/clair/master/clair.yaml

```

3.备份策略

-定期备份etcd数据

-备份关键配置文件

---

七、附录

（一）常用命令清单

|操作|命令示例|

|--------------------------|--------------------------------------------------------------------------|

|初始化Master节点|kubeadminit--pod-network-cidr=/16|

|加入节点|kubeadmjoin<ip>:<port>--token<token>--discovery-token-ca-cert-hashsha256:<hash>|

|查看节点状态|kubectlgetnodes-owide|

|查看Pod状态|kubectlgetpods-n<namespace>|

|部署Flannel网络|kubectlapply-f/coreos/flannel/master/Documentation/kube-flannel.yml|

|部署Calico网络|kubectlapply-f/manifests/calico.yaml|

（二）推荐工具

1.监控工具

-Prometheus

-Grafana

-cAdvisor

-Heapster

2.日志工具

-Fluentd

-Elasticsearch

-Kibana

-ELKStack

3.网络工具

-Calico

-Flannel

-WeaveNet

-Cilium

4.运维工具

-Helm

-k9s

-Prometheus-Alertmanager

-Falco

---

本手册提供容器云部署运维的全面指导，通过系统化的步骤和规范操作，可以确保容器云环境稳定高效运行。建议在实际操作中结合具体环境进行调整和优化。

容器云部署运维手册

一、概述

本手册旨在为容器云的部署和运维提供系统性的指导，涵盖从环境准备到日常管理的全过程。通过遵循本手册的步骤和规范，可以确保容器云环境的高效、稳定运行。主要内容包括环境准备、部署流程、运维管理、故障排查等核心环节。本手册适用于系统管理员、运维工程师及相关技术人员，可作为日常工作的参考依据。

本手册重点介绍基于主流开源技术的容器云搭建方案，以Kubernetes（k8s）为核心，结合Docker作为容器运行时，并集成常用的网络、存储和监控组件。手册内容力求详实，不仅提供操作步骤，还包含配置说明、参数解释和常见问题解决方法，以帮助读者快速掌握容器云的部署与运维技能。

---

二、环境准备

在开始容器云部署前，需要完成以下准备工作，确保基础环境满足要求。

（一）硬件资源准备

1.服务器配置

-CPU：建议采用多核处理器，如IntelXeon或AMDEPYC系列。对于生产环境，每台计算节点建议配置8核或更多核心，以应对容器化应用的高并发需求。对于非计算密集型任务，如日志处理、数据分析等，可适当降低CPU配置。CPU的选用应考虑未来业务增长带来的性能压力。

-内存：内存是容器云中的关键资源，直接影响性能。建议每台服务器配置至少32GBRAM，对于内存密集型应用（如大数据处理、缓存服务），建议64GB或更高。同时，需要合理规划内存分配，避免单个容器占用过多内存导致系统不稳定。

-硬盘：存储性能对容器云的I/O密集型应用至关重要。建议使用NVMeSSD或高性能SAS/SATA硬盘，总容量建议不低于500GB，并留有足够的余量。应采用RAID配置以提高数据可靠性和读写性能。根据应用需求选择合适的文件系统，如ext4、XFS等。

-网络带宽：容器云环境对网络带宽要求较高。建议配置千兆以太网或更高速的网络接口卡（NIC），并确保交换机支持高带宽和低延迟。对于大规模集群，可考虑使用10Gbps或25Gbps网络。网络架构设计时需考虑网络分区、冗余和负载均衡。

2.网络规划

-物理网络：建议配置至少两个网络接口卡，一个用于管理网络（ManagementNetwork），另一个用于数据网络（DataNetwork）。管理网络用于集群管理和控制平面通信，数据网络用于容器间及容器与外部网络之间的通信。

-VLAN规划：合理的VLAN规划有助于隔离不同类型的网络流量，提高网络安全性。建议至少划分三个VLAN：

-VLAN10：管理网络，用于KubernetesAPI服务器、etcd集群和管理节点间通信。

-VLAN20：核心网络，用于Worker节点间的Pod通信和跨节点服务通信。

-VLAN30：存储网络，用于容器存储访问（如NFS、iSCSI等）。

-子网规划：为每个VLAN规划独立的IP子网，并预留足够的IP地址空间。例如：

-管理网络：/24

-核心网络：/24

-存储网络：/24

-公网访问（如有）：/24

-DNS和DHCP：确保网络中配置了可用的DNS服务器和DHCP服务器，为集群节点提供IP地址分配和域名解析服务。

（二）软件环境准备

1.操作系统要求

-推荐版本：对于生产环境，建议使用CentOSStream8或RockyLinux8，或UbuntuServer20.04LTS/22.04LTS。这些操作系统经过充分测试，与Kubernetes等组件兼容性良好。

-内核要求：必须为服务器启用虚拟化支持（VT-x/AMD-V），并在BIOS中关闭安全启动（SecureBoot）。检查内核参数，确保以下参数设置合理：

```bash

sysctl-a|grep-ivm

```

-系统更新：在部署前，确保所有系统组件都已更新到最新稳定版本：

```bash

sudoaptupdate&&sudoaptupgrade-y

sudoyumupdate-y

```

2.依赖软件安装

-Docker：作为容器运行时，需要安装最新稳定版的DockerEngine和DockerCompose。安装步骤因操作系统而异：

-Ubuntu/Debian：

```bash

sudoapt-getinstall-yapt-transport-httpsca-certificatescurlgnupg2software-properties-common

curl-fsSL/linux/ubuntu/gpg|sudogpg--dearmor-o/usr/share/keyrings/docker-archive-keyring.gpg

echo"deb[arch=$(dpkg--print-architecture)signed-by=/usr/share/keyrings/docker-archive-keyring.gpg]/linux/ubuntu$(lsb_release-cs)stable"|sudotee/etc/apt/sources.list.d/docker.list>/dev/null

sudoapt-getupdate

sudoapt-getinstall-ydocker-cedocker-ce-clicontainerd.io

```

-CentOS/RockyLinux：

```bash

sudoyumremovedockerdocker-clientdocker-client-latestdocker-commondocker-enginedocker-engine-latestdocker-containerddocker-containerd-enginedocker-selinuxdocker-engine-storage-driver

sudoyuminstall-yyum-utils

sudoyum-config-manager--add-repo/linux/centos/docker-ce.repo

sudoyuminstall-ydocker-cedocker-ce-clicontainerd.io

```

-Kubernetes：安装Kubernetes组件（kubelet、kubeadm、kubectl）。建议使用官方推荐的安装方式：

```bash

Ubuntu/Debian

sudoapt-getinstall-yapt-transport-httpsca-certificatescurlgnupg2software-properties-common

curl-fsSL/apt/doc/apt-key.gpg|sudogpg--dearmor-o/usr/share/keyrings/kubernetes-archive-keyring.gpg

echo"deb[signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg]https://apt.kubernetes.io/kubernetes-xenialmain"|sudotee/etc/apt/sources.list.d/kubernetes.list

sudoapt-getupdate

sudoapt-getinstall-ykubeletkubeadmkubectl

CentOS/RockyLinux

sudocat<<EOF|sudotee/etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=1

gpgkey=/yum/doc/yum-key.gpg

repo_gpgcheck=1

sslverify=1

sslcert=/etc/pki/ca-trust/source/anchors/RPM-GPG-KEY-google.gpg

EOF

sudoyuminstall-ykubeletkubeadmkubectl

```

-CNI网络插件：选择并安装合适的CNI网络插件。Calico和Flannel是常用的选择：

-Calico：

```bash

kubectlapply-f/manifests/calico.yaml

```

-Flannel：

```bash

kubectlapply-f/coreos/flannel/master/Documentation/kube-flannel.yml

```

-etcd：etcd是Kubernetes的分布式键值存储，用于保存集群状态。可以采用以下方式部署：

-使用KubernetesStatefulSet部署：

```bash

kubectlapply-f/coreos/etcd/master/images/stable/3.x/etcd.yaml

```

-使用独立部署方式（需自行配置）

-其他工具：根据需要安装如下工具：

-helm：Kubernetes的包管理工具：

```bash

curl/helm/helm/master/scripts/get-helm-3|sudobash

```

-k9s：Kubernetes的终端客户端：

```bash

curl-shttps://webinstall.dev/k9s|sudobash

```

-Prometheus和Grafana：用于集群监控：

```bash

安装PrometheusServer

helminstallprometheusprometheus-community/prometheus--namespacemonitoring

安装Grafana

helminstallgrafanagrafana/grafana--namespacemonitoring

```

3.安全配置

-防火墙：根据需要开放必要的端口。默认情况下，Kubernetes需要开放以下端口：

-API服务器：6443

-etcd：2379-2380

-KubernetesDNS：53

-kube-proxy：10259-10269

-Pod网络（根据CNI插件）：通常为10-10000范围内的随机端口

```bash

sudofirewall-cmd--permanent--add-port=6443/tcp

sudofirewall-cmd--permanent--add-port=2379-2380/tcp

sudofirewall-cmd--permanent--add-port=53/tcp

sudofirewall-cmd--permanent--add-port=10259-10269/tcp

sudofirewall-cmd--reload

```

-SSH安全：禁用root远程登录，使用SSH密钥认证：

```bash

sudosed-i's/^PermitRootLoginyes$/PermitRootLoginno/'/etc/ssh/sshd_config

sudosed-i's/^PasswordAuthenticationyes$/PasswordAuthenticationno/'/etc/ssh/sshd_config

sudosystemctlrestartsshd

```

-SELinux/AppArmor：启用SELinux或AppArmor提高安全性：

```bash

sudosetenforce1

sudosed-i's/^SELINUX=enforcing$/SELINUX=permissive/'/etc/selinux/config

或启用AppArmor

sudoaa-status--enabled

```

---

三、部署流程

（一）单节点部署

单节点部署适用于测试、开发或小型应用场景，包含Master和Worker功能于一台服务器上。

1.安装Docker

安装Docker是容器化部署的基础，以下是详细步骤：

a.更新系统

```bash

sudoapt-getupdate&&sudoapt-getupgrade-y

```

b.安装依赖

```bash

sudoapt-getinstall-yapt-transport-httpsca-certificatescurlgnupg2software-properties-common

```

c.添加Docker仓库

```bash

curl-fsSL/linux/ubuntu/gpg|sudogpg--dearmor-o/usr/share/keyrings/docker-archive-keyring.gpg

echo"deb[arch=$(dpkg--print-architecture)signed-by=/usr/share/keyrings/docker-archive-keyring.gpg]/linux/ubuntu$(lsb_release-cs)stable"|sudotee/etc/apt/sources.list.d/docker.list>/dev/null

```

d.安装Docker组件

```bash

sudoapt-getupdate

sudoapt-getinstall-ydocker-cedocker-ce-clicontainerd.io

```

e.验证安装

```bash

sudodocker--version

```

f.配置Docker

-将当前用户添加到docker组，以便无需sudo运行docker命令：

```bash

sudousermod-aGdocker${USER}

注销并重新登录使更改生效

```

-配置Docker守护进程（可选）：

```bash

sudomkdir-p/etc/docker

sudonano/etc/docker/daemon.json

```

添加以下内容：

```json

{

"exec-opts":["native.cgroupdriver=systemd"],

"log-driver":"json-file",

"log-opts":{

"max-size":"10m",

"max-file":"3"

},

"storage-driver":"overlay2"

}

```

重启Docker服务：

```bash

sudosystemctldaemon-reload

sudosystemctlrestartdocker

```

2.安装Kubernetes组件

安装Kubernetes组件需要在服务器上部署kubelet、kubeadm和kubectl。

a.添加Kubernetes仓库

```bash

sudoapt-getinstall-yapt-transport-httpsca-certificatescurlgnupg2software-properties-common

curl-fsSL/apt/doc/apt-key.gpg|sudogpg--dearmor-o/usr/share/keyrings/kubernetes-archive-keyring.gpg

echo"deb[signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg]https://apt.kubernetes.io/kubernetes-xenialmain"|sudotee/etc/apt/sources.list.d/kubernetes.list

```

b.安装Kubernetes组件

```bash

sudoapt-getupdate

sudoapt-getinstall-ykubeletkubeadmkubectl

```

c.设置kubelet服务

-启用kubelet开机自启：

```bash

sudosystemctlenablekubelet

```

-启动kubelet服务：

```bash

sudosystemctlstartkubelet

```

-检查kubelet状态：

```bash

sudosystemctlstatuskubelet

```

3.初始化Master节点

初始化Master节点是创建Kubernetes集群的第一步，需要执行以下操作：

a.获取网络插件信息

-选择一个CNI网络插件，例如Flannel。使用Flannel需要获取其网络CIDR范围：

```bash

kubectlapply-f/coreos/flannel/master/Documentation/kube-flannel.yml

等待Pod运行正常后，查看FlannelPod的日志

kubectllogs<flannel-pod-name>-nkube-system

```

日志中会包含类似`PodCIDR:/16`的信息，这就是Flannel分配的网络CIDR。

b.初始化Master

-执行初始化命令，指定网络CIDR：

```bash

sudokubeadminit--pod-network-cidr=/16

```

-初始化成功后，会输出一系列信息，包括：

-Join命令：用于将Worker节点加入集群

-etcd证书信息

-API服务器地址

-将输出内容保存到文件：

```bash

sudokubeadminit--pod-network-cidr=/16|teekubeadm-join.log

```

c.配置kubectl访问

-创建一个用于Kubernetes管理的用户：

```bash

mkdir-p$HOME/.kube

sudocp-i/etc/kubernetes/admin.conf$HOME/.kube/config

sudochown$(id-u):$(id-g)$HOME/.kube/config

```

-验证kubectl访问：

```bash

kubectlgetnodes

```

d.部署网络插件

-根据选择的网络插件，执行相应的部署命令。例如使用Flannel：

```bash

kubectlapply-f/coreos/flannel/master/Documentation/kube-flannel.yml

```

-等待网络插件部署完成：

```bash

kubectlgetpods-nkube-system

```

-验证网络连通性（可选）：

```bash

kubectlruntmp--rm-i--tty--imagebusybox--sh

在Pod中执行ping命令测试网络

ping

```

4.加入Worker节点

在Worker节点上执行以下步骤加入集群：

a.更新系统

```bash

sudoapt-getupdate&&sudoapt-getupgrade-y

```

b.安装Docker和Kubernetes组件

-安装Docker（与Master节点步骤相同）

-安装kubelet、kubeadm、kubectl（与Master节点步骤相同）

c.加入集群

-从Master节点的`kubeadm-join.log`文件中复制Join命令，执行：

```bash

sudokubeadmjoin<master-ip>:<master-port>--token<token>--discovery-token-ca-cert-hashsha256:<hash>

```

-常见问题：

-如果token过期，可以从Master节点重新生成：

```bash

sudokubeadmtokencreate--print-join-command

```

-如果遇到证书问题，可以删除旧的证书并重新生成：

```bash

sudokubeadmdeletetoken<token>

sudokubeadminit--pod-network-cidr=/16

```

d.验证加入

-在Master节点检查Worker节点状态：

```bash

kubectlgetnodes-owide

```

-Worker节点应显示为Ready状态

（二）多节点集群部署

多节点集群部署适用于生产环境，需要部署Master节点和多个Worker节点。

1.环境准备

a.节点规划

-Master节点：建议配置2-4台服务器，每台配置不低于8核CPU、32GB内存、500GBSSD。主要运行KubernetesAPI服务器、etcd集群、调度器等核心组件。

-Worker节点：根据业务需求配置数量，每台配置不低于4核CPU、16GB内存、300GBSSD。运行容器化的应用服务。

-网络规划：确保所有节点间网络连通，推荐使用VLAN隔离不同类型的网络流量。

b.网络连通性测试

-在所有节点间测试Ping通性：

```bash

ping<other-node-ip>

```

-检查SSH免密登录：

```bash

ssh<other-node-user>@<other-node-ip>

```

2.部署流程

a.初始化Master节点

-在一台Master节点上执行与单节点部署相同的初始化步骤：

```bash

更新系统

sudoapt-getupdate&&sudoapt-getupgrade-y

安装Docker和Kubernetes组件

...（与单节点相同）

初始化Master

sudokubeadminit--pod-network-cidr=/16

```

-保存Join命令和etcd证书信息。

b.部署etcd集群

-使用KubernetesStatefulSet部署高可用的etcd集群：

```bash

kubectlapply-f/coreos/etcd/master/images/stable/3.x/etcd.yaml

```

-配置持久化存储（例如使用NFS或Ceph）：

```bash

kubectleditstatefulsetetcd-nkube-system

添加storageClassName和volumeClaimTemplates

```

c.部署网络插件

-推荐使用Calico网络插件，提供更丰富的网络策略功能：

```bash

kubectlapply-f/manifests/calico.yaml

```

-等待网络插件部署完成：

```bash

kubectlgetpods-nkube-system

```

d.部署CoreDNS

-部署KubernetesDNS服务：

```bash

kubectlapply-f/coreos/flannel/master/Documentation/kube-flannel.yml

或使用CoreDNS

kubectlapply-f/coredns/coredns/master/Corefile.yaml

```

e.加入Worker节点

-在每台Worker节点上执行相同的加入步骤：

```bash

更新系统

sudoapt-getupdate&&sudoapt-getupgrade-y

安装Docker和Kubernetes组件

...（与单节点相同）

加入集群

sudokubeadmjoin<master-ip>:<master-port>--token<token>--discovery-token-ca-cert-hashsha256:<hash>

```

-在Master节点验证所有Worker节点已加入：

```bash

kubectlgetnodes-owide

```

f.配置kubectl访问

-在所有节点上配置kubectl访问：

```bash

mkdir-p$HOME/.kube

sudocp-i/etc/kubernetes/admin.conf$HOME/.kube/config

sudochown$(id-u):$(id-g)$HOME/.kube/config

```

g.安装kubectl自动补全

-在bash环境中：

```bash

echo'source<(kubectlcompletionbash)'>>~/.bashrc

source~/.bashrc

```

-在zsh环境中：

```bash

echo'source<(kubectlcompletionzsh)'>>~/.zshrc

source~/.zshrc

```

h.验证集群

-检查集群状态：

```bash

kubectlgetnodes-owide

kubectlgetpods--all-namespaces

```

-部署一个测试Pod：

```bash

kubectlrunnginx--image=nginx-ndefault

kubectlgetpods-ndefault

```

---

四、运维管理

（一）日常监控

日常监控是确保容器云稳定运行的关键环节，需要建立完善的监控体系。

1.资源监控

-监控工具：推荐使用Prometheus+Grafana组合。Prometheus作为数据采集和存储系统，Grafana作为可视化平台。

-部署Prometheus：

```bash

helminstallprometheusprometheus-community/prometheus--namespacemonitoring

```

-配置监控指标：

-CPU使用率：监控每个节点的CPU使用百分比

-内存使用率：监控每个节点的内存使用量和交换空间使用量

-磁盘I/O：监控磁盘读写速度和IOPS

-网络流量：监控每个节点的入出网流量

-Kubernetes组件：监控API服务器、etcd、kubelet、kube-proxy等组件的运行状态和资源消耗

-自定义监控：

-对于自定义应用，可以配置Prometheus的exporter（如NodeExporter、cAdvisor、JMXExporter等）暴露指标

-使用`kubectl`部署exporter：

```bash

部署NodeExporter

kubectlapply-f/prometheus/node-exporter/releases/download/v1.3.0/node-exporter-1.3.0.tar.gz

```

2.应用监控

-Kubernetes自带监控：Kubernetes自带的Heapster（已废弃）被CoreMetrics取代，可以通过`kubectltop`命令查看资源使用情况：

```bash

查看Pod资源使用情况

kubectltoppods--all-namespaces

```

-部署监控代理：推荐使用ElasticStack（ELK）或Datadog等监控平台收集应用日志和指标

-配置健康检查：

-在Deployment或Pod定义中配置livenessProbe和readinessProbe：

```yaml

spec:

containers:

-name:my-app

livenessProbe:

httpGet:

path:/health

port:8080

initialDelaySeconds:60

timeoutSeconds:5

readinessProbe:

httpGet:

path:/ready

port:8080

initialDelaySeconds:30

timeoutSeconds:5

```

3.监控面板配置

-Grafana配置：

-创建新的Dashboard

-添加Prometheus数据源

-配置各种图表展示CPU、内存、磁盘、网络等指标

-创建告警规则，例如：

```json

{

"type":"alerting",

"name":"CPU使用率过高",

"query":"rate(container_cpu_usage_seconds_total{job='node',cluster='my-cluster'}[5m])by(namespace)>90",

"for":1h,

"timeout":"5m",

"message":"节点{{$__range}}的CPU使用率超过90%",

"condition":{

"type":"less",

"operator":">",

"value":90

}

}

```

（二）日志管理

日志管理对于故障排查和系统分析至关重要，需要建立集中化的日志收集和分析系统。

1.收集配置

-部署Fluentd：Fluentd是一款流行的日志收集器，可以配置为收集Kubernetes中的日志：

```bash

创建FluentdDeployment

kubectlapply-f/fluent/fluentd-kubernetes-daemonset/master/fluentd-daemonset-0.20-debian.yaml

```

-配置Fluentd：

-在Fluentd配置文件中添加Kubernetes日志收集规则：

```xml

<source>

<syslogtag="kubernetes">

<filterkubernetes>

@typetail

path/var/log/containers/.log

pos_file/var/log/containers/pos

tagkube.

<parse>

@type正则

path/var/log/containers/.log

expression/^(?<logtime>[^\[])\[([^\]]+)\](?<loglevel>[A-Z]+)(?<message>.)$/

time_format%Y-%m-%d%H:%M:%S

</parse>

</filter>

</syslog>

</source>

```

-配置目标存储：

-将日志发送到Elasticsearch：

```xml

<matchkube.>

@typeelasticsearch

hostlocalhost

port9200

logstash_formattrue

include_tag_keytrue

tag_key@log_name

index_prefixfluentd-kubernetes

</match>

```

2.查询工具

-Elasticsearch：作为日志存储和分析引擎，需要部署和配置Elasticsearch集群。

-Kibana：作为Elasticsearch的可视化界面，提供日志查询、分析和告警功能。

-配置索引模板：

```json

{

"index_patterns":["fluentd-kubernetes-"],

"settings":{

"number_of_shards":3,

"number_of_replicas":1

},

"mappings":{

"properties":{

"@timestamp":{"type":"date"},

"message":{"type":"text"},

"level":{"type":"keyword"},

"source":{"type":"keyword"},

"container":{"type":"keyword"}

}

}

}

```

3.日志轮转

-配置日志轮转：在Kubernetes中配置日志轮转策略，防止日志文件无限增长。

-使用logrotate：在节点上配置logrotate脚本，定期清理日志文件。

```bash

创建logrotate配置文件

sudonano/etc/logrotate.d/kubernetes-logs

```

添加以下内容：

```

/var/log/containers/.log{

daily

missingok

rotate7

compress

notifempty

create644rootroot

}

```

（三）自动扩缩容

自动扩缩容（HorizontalPodAutoscaler,HPA）可以根据负载自动调整Pod数量，提高资源利用率。

1.Helm部署

-使用Helm安装HPA：

```bash

安装HPA

helminstallstable/prometheus--namespacemonitoring

安装HPA

helminstallhpastable/horizontal-pod-autoscaler--namespacedefault

```

-配置HPA规则：

```yaml

apiVersion:autoscaling/v2beta2

kind:HorizontalPodAutoscaler

metadata:

name:my-app-hpa

namespace:default

spec:

scaleTargetRef:

apiVersion:apps/v1

kind:Deployment

name:my-app

minReplicas:1

maxReplicas:10

metrics:

-type:Resource

resource:

name:cpu

target:

type:Utilization

averageUtilization:50

```

2.配置规则

-基于CPU/内存阈值的自动扩缩容：

-CPU阈值：

```yaml

metrics:

-type:Resource

resource:

name:cpu

target:

type:Utilization

averageUtilization:70

```

-内存阈值：

```yaml

metrics:

-type:Resource

resource:

name:memory

target:

type:Utilization

averageUtilization:70

```

-配置扩缩容冷却时间：

-设置扩缩容的最小间隔时间：

```yaml

spec:

scaleTargetRef:

...

minReplicas:1

maxReplicas:10

metrics:

...

behavior:

scaleUp:

minReplicas:1

maxReplicas:10

adjustmentType:Percent

cooldown:30

scaleDown:

minReplicas:1

adjustmentType:Percent

cooldown:30

```

-配置扩缩容策略：

-线性扩缩容：每次增减固定数量Pod

-百分比扩缩容：根据负载百分比调整Pod数量

-缩容策略：防止频繁缩容导致应用不稳定

---

五、故障排查

故障排查是运维工作的重要组成部分，需要掌握常见问题的诊断方法和解决技巧。

（一）常见问题

1.节点加入失败

-检查网络连通性：

```bash

ping<master-ip>

```

-验证token有效性：

```bash

sudokubeadmtokenlist

```

-检查kubelet配置：

```bash

sudocat/etc/kubernetes/kubelet.env

```

-查看kubelet日志：

```bash

sudojournalctl-ukubelet-f

```

-检查etcd状态：

```bash

sudoetcdctlclusterstatus

```

-解决方法：

-确保所有节点时间同步：

```bash

sudontpdate

sudosystemctlenablentp

```

-检查防火墙设置，确保API服务器端口开放

-重新生成token并再次尝试加入

2.Pod无法拉起

-检查Docker服务状态：

```bash

sudosystemctlstatusdocker

```

-验证镜像拉取权限：

```bash

sudodockerpullnginx

```

-检查Pod资源限制：

```bash

kubectldescribepod<pod-name>

```

-查看Pod日志：

```bash

kubectllogs<pod-name>

```

-检查网络配置：

```bash

kubectlgetsvc-n<namespace>

kubectlgetendpoints-n<namespace>

```

-解决方法：

-确保Docker镜像已下载到本地

-检查Pod配置文件中的资源限制是否合理

-验证网络插件是否正常工作

-检查Pod的容器镜像是否损坏

3.网络问题

-验证CNI插件状态：

```bash

kubectlgetpods-nkube-system

```

-检查Pod网络策略：

```bash

kubectlgetnetworkpolicy-n<namespace>

```

-验证etcd集群状态：

```bash

sudoetcdctlclusterstatus

```

-测试Pod间通信：

```bash

kubectlruntmp--rm-i--tty--imagebusybox--sh

在Pod中执行ping命令

ping<other-pod-ip>

```

-解决方法：

-确保CNI插件已正确部署

-检查网络策略是否配置错误

-重新配置etcd集群

-检查网络配置是否正确

（二）排查工具

1.诊断命令

-检查节点状态：

```bash

kubectlgetnodes-owide

```

-检查Pod详情：

```bash

kubectldescribepod<pod-name>

```

-检查网络连通：

```bash

kubectlexec<pod-name>--ping<other-pod-name>

```

-检查API服务器状态：

```bash

kubectlgetcomponentstatus

```

-检查etcd状态：

```bash

sudoetcdctlclusterstatus

```

-检查网络配置：

```bash

kubectlgetnetworkpolicy-n<namespace>

kubectlgetendpoints-n<namespace>

```

2.调试工具

-kubectldebug：创建一个临时的调试Pod，用于诊断问题：

```bash

kubectlruntmp--rm-i--tty--imagebusybox--sh

```

-netcat端口检测：

```bash

在Master节点上

sudoapt-getinstall-ynetcat

在Pod中

nc-zv<master-ip><port>

```

-etcdctl：用于管理etcd集群：

```bash

sudoetcdctlgetcluster

sudoetcdctlgetmember

```

-calicoctl：用于管理Calico网络：

```bash

calicoctlgetnode

calicoctlgetnetworkpolicy-n<namespace>

```

---

六、安全维护

安全维护是保障容器云安全运行的关键环节，需要采取多种措施提高系统安全性。

（一）访问控制

访问控制是容器云安全的第一道防线，需要合理配置权限和认证机制。

1.RBAC配置

-创建命名空间隔离：

```bash

kubectlcreatenamespaceproduction

```

-配置最小权限角色：

```bash

创建查看权限

kubectlcreaterolebindingdefault-view--namespaceproduction--clusterroleview--subjectkind:Namespace,imagePullSecrets:[]

创建编辑权限

kubectlcreaterolebindingdefault-edit--namespaceproduction--clusterroleedit--subjectkind:Namespace,imagePullSecrets:[]

```

-配置服务账户：

```bash

kubectlcreateserviceaccountdefault--namespacedefault

```

-绑定服务账户权限：

```bash

kubectlcreaterolebindingsystem-metrics-reader--namespacemonitoring--clusterrolesystem:reader--usersystem:serviceaccount:monitoring:prometheus

```

-配置Kubernetes管理员访问：

```bash

创建Kubernetes管理员用户

kubectlcreateuseradmin

创建用户凭证

```

容器云部署运维手册

一、概述

本手册旨在为容器云的部署和运维提供系统性的指导，涵盖从环境准备到日常管理的全过程。通过遵循本手册的步骤和规范，可以确保容器云环境的高效、稳定运行。主要内容包括环境准备、部署流程、运维管理、故障排查等核心环节。本手册适用于系统管理员、运维工程师及相关技术人员，可作为日常工作的参考依据。

---

二、环境准备

在开始容器云部署前，需要完成以下准备工作，确保基础环境满足要求。

（一）硬件资源准备

1.服务器配置

-CPU：建议8核以上，根据实际负载需求调整

-内存：建议32GB以上，最小16GB

-硬盘：SSD硬盘优先，建议500GB以上可用空间

-网络带宽：千兆以太网或更高

2.网络规划

-物理网络：配置至少两个网络接口，分别用于管理流量和数据流量

-VLAN规划：建议划分至少三个VLAN（管理、核心、存储）

-子网规划：预留足够的IP地址空间

（二）软件环境准备

1.操作系统要求

-推荐使用CentOS7.x或Ubuntu18.04/20.04

-必须为服务器启用虚拟化支持（VT-x/AMD-V）

2.依赖软件安装

-Docker：建议版本19.03及以上

-Kubernetes：建议版本1.20及以上

-CNI网络插件：如Calico或Flannel

-etcd：Kubernetes集群存储

3.安全配置

-关闭防火墙非必要端口

-配置SSH密钥认证，禁用root远程登录

-启用SELinux或AppArmor安全模块

---

三、部署流程

（一）单节点部署

1.安装Docker

更新系统

sudoapt-getupdate&&sudoapt-getupgrade

安装必要依赖

sudoapt-getinstall-yapt-transport-httpsca-certificatescurlgnupg2software-properties-common

添加Docker官方仓库

curl-fsSL/linux/ubuntu/gpg|sudoapt-keyadd-

安装DockerEngine

sudoapt-getinstall-ydocker-cedocker-ce-clicontainerd.io

验证安装

sudodocker--version

2.安装Kubernetes组件

添加Kubernetes仓库

sudoapt-getinstall-ykubeadmkubeletkubectl

设置kubelet服务

sudosystemctlenablekubelet

sudosystemctlstartkubelet

3.初始化Master节点

初始化Kubernetes集群

sudokubeadminit--pod-network-cidr=/16

保存join命令到文件

sudokubeadminit--pod-network-cidr=/16|teekubeadm-join.log

复制第一个join命令

sudocatkubeadm-join.log|grep-o"kubeadmjoin.:.\n"

4.加入Worker节点

在Worker节点执行以下命令：

根据Master节点的join命令加入集群

sudokubeadmjoin<master-ip>:<master-port>--token<token>--discovery-token-ca-cert-hashsha256:<hash>

（二）多节点集群部署

1.环境准备

1.节点规划

-Master节点：1-3台

-Worker节点：根据需求配置

-每个节点建议配置相同硬件环境

2.网络连通性测试

-确保所有节点间网络可达

-测试节点间Ping通性

2.部署流程

1.初始化Master节点

-执行与单节点相同的初始化命令

-保存join命令

2.部署etcd集群

-使用KubernetesStatefulSet部署etcd

-配置持久化存储

3.部署网络插件

-推荐使用Calico网络插件

```bash

kubectlapply-f/manifests/calico.yaml

```

4.加入Worker节点

-执行相同的join命令

-验证节点状态：

```bash

kubectlgetnodes

```

---

四、运维管理

（一）日常监控

1.资源监控

-使用Prometheus+Grafana监控集群资源

-配置监控指标：

-CPU使用率

-内存使用率

-磁盘I/O

-网络流量

2.应用监控

-部署heapster或PrometheusNodeExporter

-配置应用健康检查

（二）日志管理

1.收集配置

-部署Fluentd或Elasticsearch日志收集系统

-配置Kubernetes日志输出到收集系统

2.查询工具

-安装Kibana进行日志查询

-配置索引模板

（三）自动扩缩容

1.Helm部署

-使用Helm安装自动扩缩容工具

```bash

helminstallstable/prometheus--namespacemonitoring

```

2.配置规则

-设置基于CPU/内存阈值的自动扩缩容

-配置扩缩容冷却时间

---

五、故障排查

（一）常见问题

1.节点加入失败

-检查网络连通性

-验证token有效性

-检查kubelet配置文件

2.Pod无法拉起

-检查Docker服务状态

-验证镜像拉取权限

-检查Pod资源限制

3.网络问题

-验证CNI插件状态

-检查Pod网络策略

-验证etcd集群状态

（二）排查工具

1.诊断命令

```bash

检查节点状态

kubectlgetnodes-owide

检查Pod详情

kubectldescribepod<pod-name>

检查网络连通

kubectlexec<pod-name>--ping<other-pod>

```

2.调试工具

-kubectldebug

-netcat端口检测

-etcdctl集群状态检查

---

六、安全维护

（一）访问控制

1.RBAC配置

-创建命名空间隔离

-配置最小权限角色

```bash

kubectlcreatenamespaceproduction

kubectlcreaterolebindingdefault-view--namespaceproduction--clusterroleview--subjectkind:Namespace,imagePullSecrets:[]

```

2.API服务器访问

-配置客户端证书认证

-限制API服务器访问IP

（二）定期维护

1.组件更新

-使用Kubernetesrollingupdate

-定期更新镜像版本

2.安全扫描

-部署Clair漏洞扫描工具

-定期执行安全扫描

```bash

kubectlapply-f/coreos/clair/master/clair.yaml

```

3.备份策略

-定期备份etcd数据

-备份关键配置文件

---

七、附录

（一）常用命令清单

|操作|命令示例|

|--------------------------|--------------------------------------------------------------------------|

|初始化Master节点|kubeadminit--pod-network-cidr=/16|

|加入节点|kubeadmjoin<ip>:<port>--token<token>--discovery-token-ca-cert-hashsha256:<hash>|

|查看节点状态|kubectlgetnodes-owide|

|查看Pod状态|kubectlgetpods-n<namespace>|

|部署Flannel网络|kubectlapply-f/coreos/flannel/master/Documentation/kube-flannel.yml|

|部署Calico网络|kubectlapply-f/manifests/calico.yaml|

（二）推荐工具

1.监控工具

-Prometheus

-Grafana

-cAdvisor

-Heapster

2.日志工具

-Fluentd

-Elasticsearch

-Kibana

-ELKStack

3.网络工具

-Calico

-Flannel

-WeaveNet

-Cilium

4.运维工具

-Helm

-k9s

-Prometheus-Alertmanager

-Falco

---

本手册提供容器云部署运维的全面指导，通过系统化的步骤和规范操作，可以确保容器云环境稳定高效运行。建议在实际操作中结合具体环境进行调整和优化。

容器云部署运维手册

一、概述

本手册旨在为容器云的部署和运维提供系统性的指导，涵盖从环境准备到日常管理的全过程。通过遵循本手册的步骤和规范，可以确保容器云环境的高效、稳定运行。主要内容包括环境准备、部署流程、运维管理、