Kubernetes集群的搭建与DevOps实践（下）- 部署实践篇

本文将详细介绍生产级Kubernetes集群的搭建步骤、CI/CD流水线配置、监控部署和故障排查方法并提供可执行的命令和配置文件。
适合读者：运维工程师、DevOps工程师、想动手搭建K8s集群的技术人员
前置阅读：建议先阅读《架构设计篇》了解整体架构和技术选型

目录

• 一、环境准备
  
• 二、中间件部署
  
• 三、Kubernetes集群搭建
  
• 四、CI/CD流水线搭建
  
• 五、应用部署实践
  
• 六、监控与日志
  
• 七、故障排查与问题解决
  
• 八、总结与检查清单
  

一、环境准备

1.0 网络规划

网络规划是部署的第一步，合理的网络架构能确保安全隔离和高效通信。
1.0.1 VPC与子网规划

采用三层子网架构，实现网络隔离：

1. VPC网络: 10.0.0.0/16
2. ├── entry子网:      10.0.10.0/24  (公网入口层)
3. ├── middleware子网: 10.0.20.0/24  (中间件层)
4. └── k8s子网:        10.0.30.0/24  (应用服务层)

复制代码

子网CIDR用途部署服务器entry子网10.0.10.0/24公网入口、运维管理entry-01, jumpservermiddleware子网10.0.20.0/24中间件服务middleware-01k8s子网10.0.30.0/24K8s集群master-01~03, node-01~02K8s内部网络规划：
网段CIDR用途Pod网段172.16.0.0/16Pod IP分配（Calico管理）Service网段10.96.0.0/12Service ClusterIP1.0.2 安全组配置

Entry子网安全组（公网入口）：
方向端口来源/目标用途入站80, 4430.0.0.0/0Web访问入站10022运维IP白名单SSH管理（非标准端口）出站ALL0.0.0.0/0允许所有出站K8s子网安全组：
方向端口来源/目标用途入站6443entry子网K8s API Server入站30080, 30443entry子网Ingress NodePort入站ALLk8s子网内部集群内通信入站ALL172.16.0.0/16Pod网络通信出站ALL0.0.0.0/0允许所有出站Middleware子网安全组：
方向端口来源/目标用途入站3306, 6379, 8848等k8s子网中间件服务端口入站10022entry子网SSH管理出站ALL0.0.0.0/0允许所有出站1.0.3 服务器互访规则

graph LR    subgraph entry子网        Entry[Entry节点]        Jump[JumpServer]    end        subgraph middleware子网        MW[Middleware]    end        subgraph k8s子网        Master[K8s Master]        Worker[K8s Worker]    end        Internet((互联网)) --> |80/443| Entry    Entry --> |6443| Master    Entry --> |30080| Worker    Jump --> |10022| Master    Jump --> |10022| MW    Worker --> |3306/6379/8848| MW    Master --> |3306/6379/8848| MW1.1 服务器清单

角色主机名IP示例配置说明Entryentry-0110.0.10.102C/4GNginx + Squid代理Middlewaremiddleware-0110.0.20.108C/32GMySQL、Redis等K8s Masterk8s-master-0110.0.30.104C/8G控制平面K8s Masterk8s-master-0210.0.30.114C/8G控制平面K8s Masterk8s-master-0310.0.30.124C/8G控制平面K8s Workerk8s-node-0110.0.30.208C/32G工作节点K8s Workerk8s-node-0210.0.30.218C/32G工作节点JumpServerjumpserver10.0.10.204C/8G堡垒机1.2 基础设施初始化

在部署K8s之前，需要完成基础设施的初始化配置。
1.2.1 服务器基础配置

所有服务器执行：

1. #!/bin/bash
2. # 服务器基础配置脚本
4. # 1. 设置主机名（根据服务器角色修改）
5. HOSTNAME="k8s-master-01"
6. hostnamectl set-hostname $HOSTNAME
7. echo "127.0.0.1 $HOSTNAME" >> /etc/hosts
9. # 2. 时区配置
10. timedatectl set-timezone Asia/Shanghai
11. timedatectl set-ntp yes
13. # 3. 内核参数优化
14. cat > /etc/sysctl.d/local.conf << EOF
15. # 文件描述符
16. fs.file-max = 512000
18. # TCP优化
19. net.core.rmem_max = 67108864
20. net.core.wmem_max = 67108864
21. net.core.somaxconn = 4096
22. net.ipv4.tcp_syncookies = 1
23. net.ipv4.tcp_tw_reuse = 1
24. net.ipv4.tcp_fin_timeout = 30
25. net.ipv4.tcp_keepalive_time = 1200
26. net.ipv4.ip_local_port_range = 10000 65000
27. net.ipv4.tcp_max_syn_backlog = 4096
29. # 开启BBR拥塞控制
30. net.ipv4.tcp_congestion_control = bbr
32. # 禁用IPv6
33. net.ipv6.conf.all.disable_ipv6 = 1
34. net.ipv6.conf.default.disable_ipv6 = 1
35. EOF
36. sysctl -p /etc/sysctl.d/local.conf
38. # 4. 系统资源限制
39. cat > /etc/security/limits.conf << EOF
40. *         hard    nofile      512000
41. *         soft    nofile      512000
42. root      hard    nofile      512000
43. root      soft    nofile      512000
44. EOF
46. # 5. SSH安全配置
47. cat > /etc/ssh/sshd_config << EOF
48. Include /etc/ssh/sshd_config.d/*.conf
49. Port 60022
50. PermitRootLogin prohibit-password
51. PubkeyAuthentication yes
52. PasswordAuthentication no
53. ClientAliveInterval 60
54. ClientAliveCountMax 5
55. EOF
56. systemctl restart sshd

复制代码

2.2 Docker Compose配置

1. #!/bin/bash
2. # 入口服务器Nginx配置
4. # 1. 安装Nginx
5. apt-get update
6. apt-get install -y nginx
8. # 2. 配置Nginx（支持stream模块用于TCP负载均衡）
9. cat > /etc/nginx/nginx.conf << EOF
10. user www-data;
11. worker_processes auto;
12. pid /run/nginx.pid;
14. events {
15.     worker_connections 20480;
16.     multi_accept on;
17. }
19. # TCP负载均衡（用于K8s API Server）
20. stream {   
21.     include /data/nginx/stream-sites-enabled/*;
22. }
24. http {
25.     sendfile on;
26.     tcp_nopush on;
27.     tcp_nodelay on;
28.     keepalive_timeout 65;
29.     client_max_body_size 0;
30.    
31.     include /etc/nginx/mime.types;
32.     default_type application/octet-stream;
33.    
34.     log_format main '[\$time_local] \$remote_addr -> '
35.                     '"\$request" \$status \$body_bytes_sent '
36.                     '"\$http_user_agent" \$request_time';
37.    
38.     access_log /data/nginx/logs/access.log main;
39.     error_log /data/nginx/logs/error.log;
40.    
41.     gzip on;
42.     gzip_types text/plain text/css application/json application/javascript;
43.    
44.     include /data/nginx/sites-enabled/*;
45. }
46. EOF
48. # 3. 创建目录结构
49. mkdir -p /data/nginx/{stream-sites-enabled,logs,sites-enabled,conf.d}
50. chown -R www-data:www-data /data/nginx

复制代码

2.3 MySQL优化配置

1. # K8s API Server TCP负载均衡（6443端口）
2. cat > /data/nginx/stream-sites-enabled/k8s-apiserver.conf << EOF
3. upstream k8s-apiserver {
4.     server 10.0.30.10:6443 max_fails=3 fail_timeout=30s;
5.     server 10.0.30.11:6443 max_fails=3 fail_timeout=30s;
6.     server 10.0.30.12:6443 max_fails=3 fail_timeout=30s;
7. }
9. server {
10.     listen 6443;
11.     proxy_pass k8s-apiserver;
12.     proxy_timeout 3s;
13.     proxy_connect_timeout 1s;
14. }
15. EOF

复制代码

2.4 启动中间件

1. # Ingress节点HTTP负载均衡
2. cat > /data/nginx/conf.d/k8s-ingress.conf << EOF
3. upstream ingress_nodes {
4.     server 10.0.30.20:30080;
5.     server 10.0.30.21:30080;
6. }
7. EOF
9. # 应用站点配置示例
10. cat > /data/nginx/sites-enabled/app.conf << EOF
11. server {
12.     listen 80;
13.     server_name app.example.com;
14.    
15.     location / {
16.         proxy_pass http://ingress_nodes;
17.         proxy_set_header Host \$host;
18.         proxy_set_header X-Real-IP \$remote_addr;
19.         proxy_set_header X-Forwarded-For \$proxy_add_x_forwarded_for;
20.     }
21. }
22. EOF
24. systemctl reload nginx

复制代码

1. #!/bin/bash
2. # JumpServer一键部署
4. # 使用官方脚本快速部署
5. curl -sSL https://resource.fit2cloud.com/jumpserver/jumpserver/releases/download/v3.10.17/quick_start.sh | bash
7. # 修改配置（可选）
8. # vim /opt/jumpserver/config/config.txt
9. # 常用配置项：
10. # - HTTP_PORT=80
11. # - HTTPS_PORT=443
12. # - DOMAINS="jumpserver.example.com"
14. # 重启服务
15. cd /opt/jumpserver-installer-v3.10.17
16. ./jmsctl.sh restart

复制代码

1. #!/bin/bash
2. # Docker引擎安装与配置
4. # 1. 安装依赖
5. apt-get update
6. apt-get install -y ca-certificates curl gnupg lsb-release
8. # 2. 添加Docker官方GPG密钥（使用阿里云镜像）
9. curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | \
10.     gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
12. # 3. 添加Docker仓库
13. echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] \
14.     https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | \
15.     tee /etc/apt/sources.list.d/docker.list
17. # 4. 安装Docker
18. apt-get update
19. apt-get install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin
21. # 5. 配置Docker
22. mkdir -p /data/docker
23. cat > /etc/docker/daemon.json << EOF
24. {
25.   "log-driver": "json-file",
26.   "log-opts": {
27.     "max-size": "100m",
28.     "max-file": "3"
29.   },
30.   # 设置代理（可选）
31.   "registry-mirrors": [
32.     "https://docker.m.daocloud.io"
33.   ],
34.   # docker数据目录
35.   "data-root": "/data/docker"
36. }
37. EOF
39. # 6. 启动Docker
40. systemctl enable docker
41. systemctl restart docker
43. # 7. 验证安装
44. docker info
45. docker compose version

复制代码

5.2 Ingress路由配置

1. #!/bin/bash
2. # 服务器安全加固
4. # 1. 安装fail2ban防暴力破解
5. apt-get install -y fail2ban
7. # 2. 配置fail2ban
8. cat > /etc/fail2ban/jail.local << EOF
9. [DEFAULT]
10. ignoreip = 127.0.0.1/8 ::1
11. bantime = 3600
12. maxretry = 3
13. findtime = 600
14. banaction = iptables-multiport
16. [sshd]
17. enabled = true
18. port = 10022
19. logpath = /var/log/auth.log
20. maxretry = 3
21. bantime = 3600
22. EOF
24. # 3. 启动fail2ban
25. systemctl enable fail2ban
26. systemctl restart fail2ban
28. # 4. 查看状态
29. fail2ban-client status sshd

复制代码

5.3 ConfigMap和Secret使用

1. # 立即关闭
2. swapoff -a
4. # 永久关闭：删除fstab中的swap行
5. sed -i '/swap/d' /etc/fstab

复制代码

在Deployment中引用：

1. cat > /etc/modules-load.d/k8s.conf << EOF
2. overlay        # OverlayFS文件系统
3. br_netfilter   # 网桥过滤
4. EOF
6. modprobe overlay
7. modprobe br_netfilter
9. # 验证
10. lsmod | grep -E "overlay|br_netfilter"

复制代码

六、监控与日志

6.1 Prometheus + Grafana部署

6.1.1 部署Node Exporter

1. cat > /etc/sysctl.d/k8s.conf << EOF
2. # K8s必需参数
3. net.ipv4.ip_forward = 1
4. net.bridge.bridge-nf-call-iptables = 1
5. net.bridge.bridge-nf-call-ip6tables = 1
7. # 连接跟踪优化
8. net.netfilter.nf_conntrack_max = 524288
10. # TCP优化
11. net.ipv4.tcp_keepalive_time = 600
12. net.ipv4.tcp_keepalive_intvl = 30
13. net.core.somaxconn = 32768
15. # 文件描述符
16. fs.file-max = 2097152
17. EOF
19. sysctl --system

复制代码

6.1.2 Prometheus配置

1. cat >> /etc/security/limits.conf << EOF
2. # Kubernetes resource limits
3. * soft nofile 655360
4. * hard nofile 655360
5. * soft nproc 655360
6. * hard nproc 655360
7. EOF

复制代码

6.2 告警规则示例

1. # 添加Docker镜像源（containerd包含在其中）
2. curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | \
3.   gpg --dearmor -o /etc/apt/keyrings/docker.gpg
5. echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
6.   https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | \
7.   tee /etc/apt/sources.list.d/docker.list
9. apt-get update
10. apt-get install -y containerd.io

复制代码

6.3 日志收集方案

使用Filebeat收集容器日志到Elasticsearch：

1. mkdir -p /etc/containerd
3. cat > /etc/containerd/config.toml << 'EOF'
4. version = 2
6. [plugins."io.containerd.grpc.v1.cri"]
7.   # 使用国内镜像
8.   sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"
9.   
10.   [plugins."io.containerd.grpc.v1.cri".containerd]
11.     [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
12.       runtime_type = "io.containerd.runc.v2"
13.       [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
14.         SystemdCgroup = true  # 使用systemd作为cgroup驱动
15.   
16.   [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
17.     [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
18.       endpoint = ["https://docker.m.daocloud.io"]
19.     [plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.k8s.io"]
20.       endpoint = ["https://k8s.m.daocloud.io"]
21. EOF
23. systemctl daemon-reload
24. systemctl restart containerd
25. systemctl enable containerd

复制代码

七、故障排查与问题解决

7.1 常见问题速查表

问题现象可能原因排查命令解决方案Pod一直Pending资源不足kubectl describe pod 增加节点或调整资源请求Pod CrashLoopBackOff应用启动失败kubectl logs 检查应用配置和依赖ImagePullBackOff镜像拉取失败kubectl describe pod 检查镜像地址和凭证Service无法访问Endpoints为空kubectl get endpoints 检查Pod标签和selectorIngress 502后端Pod未就绪kubectl get pods检查readinessProbeOOMKilled内存不足kubectl describe pod 增加内存限制节点NotReady网络或kubelet问题kubectl describe node 检查kubelet和网络插件DNS解析失败CoreDNS问题kubectl logs -n kube-system -l k8s-app=kube-dns重启CoreDNS7.2 排查命令速查

1. # 添加阿里云Kubernetes源
2. curl -fsSL https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | \
3.   gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
5. echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] \
6.   https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main' | \
7.   tee /etc/apt/sources.list.d/kubernetes.list
9. # 安装指定版本
10. apt-get update
11. apt-get install -y kubelet=1.28.6-1.1 kubeadm=1.28.6-1.1 kubectl=1.28.6-1.1
13. # 锁定版本，防止意外升级
14. apt-mark hold kubelet kubeadm kubectl
16. # 启用kubelet
17. systemctl enable kubelet

复制代码

7.3 典型案例分析

案例1：Pod频繁OOMKilled

现象：Pod每隔几小时重启，状态显示OOMKilled
排查：

1. apt-get install -y chrony
3. cat > /etc/chrony/chrony.conf << 'EOF'
4. server ntp.aliyun.com iburst
5. server ntp.tencent.com iburst
6. driftfile /var/lib/chrony/chrony.drift
7. makestep 1.0 3
8. rtcsync
9. EOF
11. systemctl restart chrony
12. systemctl enable chrony

复制代码

原因：JVM堆内存设置与K8s限制不匹配
解决：

1. cat >> /etc/hosts << EOF
2. 10.0.30.10  k8s-master-01
3. 10.0.30.11  k8s-master-02
4. 10.0.30.12  k8s-master-03
5. 10.0.30.20  k8s-node-01
6. 10.0.30.21  k8s-node-02
7. 10.0.10.10  k8s-api-lb
8. EOF

复制代码

案例2：跨节点Pod通信504

现象：同节点Pod通信正常，跨节点返回504超时，失败率约50%
快速排查：

1. # 热数据盘（SSD）：MySQL、Redis
2. mkdir -p /data/hot
3. mount /dev/vdb1 /data/hot
5. # 冷数据盘（HDD）：Elasticsearch、MinIO
6. mkdir -p /data/cold
7. mount /dev/vdc1 /data/cold
9. # 写入fstab自动挂载
10. echo '/dev/vdb1 /data/hot ext4 defaults 0 0' >> /etc/fstab
11. echo '/dev/vdc1 /data/cold ext4 defaults 0 0' >> /etc/fstab

复制代码

根本原因：云平台安全组只允许了节点网络，未允许Pod网络CIDR
解决：在安全组添加规则：

• 入站：ANY - Pod网络CIDR（如172.16.0.0/16）
  
• 出站：ANY - Pod网络CIDR（如172.16.0.0/16）
  

详细案例分析：参见《故障排查实战》篇

八、总结与检查清单

8.1 部署前检查清单

检查项命令/操作预期结果系统时间同步timedatectlSystem clock synchronized: yesSwap已关闭free -hSwap行全为0内核模块已加载lsmod | grep br_netfilter有输出containerd运行正常systemctl status containerdactive (running)kubelet已启用systemctl is-enabled kubeletenabled网络连通性节点间ping测试全部通镜像源可访问crictl pull nginx成功拉取8.2 部署后验证清单

检查项命令预期结果所有节点Readykubectl get nodesSTATUS全为Ready系统Pod正常kubectl get pods -n kube-system全为Running网络插件正常kubectl get pods -n calico-system全为RunningDNS解析正常kubectl run test --rm -it --image=busybox -- nslookup kubernetes解析成功跨节点通信创建两个Pod，互相ping通信正常Ingress工作创建测试Ingress并访问正常响应8.3 常用命令速查

1. # docker-compose.yml
2. version: '3'
3. services:
4.   mysql:
5.     image: mysql:8.0
6.     restart: always
7.     ports:
8.       - 3306:3306
9.     volumes:
10.       - /data/hot/mysql:/var/lib/mysql
11.       - ./config/my.cnf:/etc/mysql/conf.d/my.cnf
12.     environment:
13.       MYSQL_ROOT_PASSWORD: ${MYSQL_PASSWORD}
14.       TZ: Asia/Shanghai
15.     networks:
16.       - middleware
18.   redis:
19.     image: redis:7.2
20.     restart: always
21.     ports:
22.       - 6379:6379
23.     volumes:
24.       - /data/hot/redis:/data
25.     command: redis-server --requirepass ${REDIS_PASSWORD} --appendonly yes
26.     networks:
27.       - middleware
29.   nacos:
30.     image: nacos/nacos-server:v2.3.2
31.     restart: always
32.     depends_on:
33.       - mysql
34.     environment:
35.       MODE: standalone
36.       NACOS_AUTH_ENABLE: "true"
37.       SPRING_DATASOURCE_PLATFORM: mysql
38.       MYSQL_SERVICE_HOST: mysql
39.       MYSQL_SERVICE_DB_NAME: nacos
40.       MYSQL_SERVICE_USER: root
41.       MYSQL_SERVICE_PASSWORD: ${MYSQL_PASSWORD}
42.     ports:
43.       - 8848:8848
44.       - 9848:9848
45.     networks:
46.       - middleware
48.   rabbitmq:
49.     image: rabbitmq:3.12-management
50.     restart: always
51.     ports:
52.       - 5672:5672
53.       - 15672:15672
54.     environment:
55.       RABBITMQ_DEFAULT_USER: admin
56.       RABBITMQ_DEFAULT_PASS: ${RABBITMQ_PASSWORD}
57.     volumes:
58.       - /data/hot/rabbitmq:/var/lib/rabbitmq
59.     networks:
60.       - middleware
62.   elasticsearch:
63.     image: elasticsearch:7.17.19
64.     restart: always
65.     volumes:
66.       - /data/cold/elasticsearch:/usr/share/elasticsearch/data
67.     environment:
68.       discovery.type: single-node
69.       ES_JAVA_OPTS: -Xms2g -Xmx2g
70.     ports:
71.       - 9200:9200
72.     networks:
73.       - middleware
75. networks:
76.   middleware:
77.     driver: bridge

复制代码

8.4 关键配置文件位置

配置项路径kubeadm配置/etc/kubernetes/admin.confkubelet配置/var/lib/kubelet/config.yamlcontainerd配置/etc/containerd/config.tomlCalico配置kubectl get installation default -o yamlkubectl配置~/.kube/config关键词: Kubernetes、部署实践、CI/CD、监控、故障排查

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！