K8S证书更新时-误删‘apiserver|scheduler|controller-manager’除组件
K8S 证书更新时-误删除组件eth0 = 172.17.64.32
# docker rm -f docker ps | grep -E 'apiserver|scheduler|controller-manager'| awk '{print$1}'
7856f2a3068e
2e1a6956d8a1
e9e3cb7870a9
31b19f4e2b22
c028146f88a5
abe4207808a3
eth0 = 172.17.64.32
# docker ps | grep -E 'apiserver|scheduler|controller-manager'
eth0 = 172.17.64.32
#
eth0 = 172.17.64.32
# kubectl getpod
The connection to the server 172.17.64.32:6443 was refused - did you specify the right host or port?1、 起因K8S集群证书过期更新:
[*]执行了 kubeadm certs renew all,成功更新了 Kubernetes 集群的证书(包括 API Server、Controller Manager、Scheduler 等)。
[*]更新用户凭证 之后重启 kubelet,解决Unable to connect to the server: x509: certificate has expired or is not yet valid 证书报错
2、 误删除容器:
[*]本是重启组件服务的,眼疾手快直接删除了,以为k8s会自动拉起,后面才发现这些组件时通过这些 Pod 由kubelet 直接管理,不依赖 Kubernetes API Server 的调度和控制,
[*]在执行 docker rm -f $(docker ps | grep -E 'apiserver|scheduler|controller-manager' | awk '{print $1}') 后,删了 apiserver、scheduler、controller-manager 容器,导致集群状态不稳定,API Server 等组件无法访问。
3、Kubelet 服务失败:
[*]尝试重启 kubelet 后,服务进入“激活中”状态,最终失败,原因是无法加载配置文件 /etc/kubernetes/kubelet.conf,并且日志显示证书过期或丢失。
[*]kubeadm init phase kubeconfig kubelet 命令未能解决问题,因文件损坏或丢失,导致 kubelet 仍然无法启动。
4、删除 kubelet.conf 文件并重新生成配置:
[*]手动删除了 /etc/kubernetes/kubelet.conf 文件:
# 记得备份在删除
# cp /etc/kubernetes/kubelet.conf /opt/
# rm -rf /etc/kubernetes/kubelet.conf
[*]执行了 kubeadm init phase kubeconfig kubelet 重新生成了 kubelet.conf 文件:
# kubeadm init phase kubeconfig kubelet
[*]生成新的 kubelet.conf 文件后,重启了 kubelet 服务:
# systemctl restart kubelet
5、问题解决:
[*]重启 kubelet 后,服务成功启动,容器重新被拉起,并且 kubelet 重新注册到集群中。可以通过以下命令确认集群状态:
# kubectl get node
# docker ps | grep -E 'apiserver|scheduler|controller-manager' | awk '{print $1}'
问题总结:
[*]根本问题:在证书更新后,kubelet 无法加载证书和配置文件,导致 Kubernetes 集群无法正常运行。误操作删除容器后,API Server 等组件也无法启动,进一步导致 kubelet 启动失败。
[*]解决方案:删除 /etc/kubernetes/kubelet.conf 文件,重新生成并应用新的配置文件,最后重启 kubelet 服务。这样就恢复了正常的集群状态。
如果以后还遇到类似的情况,可以提前备份相关配置文件,特别是 kubelet.conf,以防配置丢失或者损坏。
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
页:
[1]