Appearance
一、事故概述
- 现象:Nacos 无法启动,日志报
Connection refused连接 MySQL 失败;kubectl get pods -A大量 PodEvicted、Pending、CrashLoopBackOff。 - 直接原因:多个 K3s 节点根分区磁盘使用率 95%,触发
DiskPressure,kubelet 驱逐 Pod,MySQL 集群主节点被驱逐后无法启动,Nacos 连锁崩溃。 - 根本原因:K3s 数据目录
/var/lib/rancher位于根分区,长期未迁移;/data有 2T 空间却未使用。 - 恢复结果:MySQL InnoDB Cluster 三节点全部
ONLINE,Nacos 全部Running,业务恢复。
二、故障链条
节点根分区磁盘满 (95%)
→ kubelet 标记 DiskPressure
→ 驱逐 Pod(MySQL、Promtail、MetalLB 等)
→ MySQL 主节点 my-cluster-0 被驱逐,无法启动
→ Nacos 连不上 MySQL,启动失败
→ 其他服务连锁异常三、关键排查命令
bash
# 查看节点磁盘压力
kubectl describe nodes | grep -E "Name:|DiskPressure|MemoryPressure|PIDPressure"
# 查看所有异常 Pod
kubectl get pods -A | grep -vE "Running|Completed"
# 查看节点磁盘
df -h
df -i
du -h --max-depth=1 / 2>/dev/null | sort -h | tail -20
# 查看被驱逐原因
kubectl describe pod <pod-name> -n <namespace> | tail -20
# 查看 MySQL 集群状态
kubectl get innodbclusters -n mysql-cluster my-cluster
kubectl get pods -n mysql-cluster -o wide
kubectl get pvc -n mysql-cluster四、磁盘迁移(/var/lib/rancher → /data/rancher)
1. 确认磁盘占用
bash
du -sh /var/lib/rancher
df -h2. 停止 K3s
bash
# master 节点
systemctl stop k3s
# worker 节点
systemctl stop k3s-agent3. 迁移数据(务必用 rsync,源路径末尾 / 不能少)
bash
mkdir -p /data/rancher/rancher
rsync -aAXH --info=progress2 /var/lib/rancher/k3s/ /data/rancher/rancher/k3s/4. 验证大小一致
bash
du -sh /data/rancher/rancher/k3s
du -sh /var/lib/rancher/k3s5. 建立软链接
bash
mv /var/lib/rancher /var/lib/rancher.bak
ln -s /data/rancher/rancher /var/lib/rancher
ls -la /var/lib/ | grep rancher确认输出:/var/lib/rancher -> /data/rancher/rancher
6. 启动 K3s
bash
systemctl start k3s # 或 k3s-agent
systemctl status k3s
df -h7. 确认无误后删除旧数据
bash
rm -rf /var/lib/rancher.bak
df -h8. 常见坑
- 跨文件系统
mv后空间不释放:进程仍持有已删除文件句柄,需重启k3s/k3s-agent。 - 软链接循环:不要出现
/var/lib/rancher -> /data/rancher/rancher且/data/rancher/rancher下再有rancher -> /data/rancher/rancher。 - rsync 中断:重跑即可,加
--delete可对齐差异。 - 一台一台操作,不要同时停所有节点。
五、MySQL InnoDB Cluster 恢复
1. 备份唯一存活节点数据(务必先做)
bash
# 找到 my-cluster-2 的 PVC 目录
du -sh /var/lib/rancher/k3s/storage/pvc-561d7c09-e019-4a43-8978-6dd7957de14b_mysql-cluster_datadir-my-cluster-2/
# rsync 备份
mkdir -p /data/mysql-recovery-backup
rsync -aAXH --info=progress2 \
/var/lib/rancher/k3s/storage/pvc-561d7c09-e019-4a43-8978-6dd7957de14b_mysql-cluster_datadir-my-cluster-2/ \
/data/mysql-recovery-backup/my-cluster-2-datadir/2. 暂停 Operator
bash
kubectl annotate innodbclusters -n mysql-cluster my-cluster \
kopf.zalando.org/stopped=true --overwrite3. 进入存活节点 my-cluster-2
bash
kubectl exec -it -n mysql-cluster my-cluster-2 -c mysql -- bash获取 root 密码:
bash
kubectl get secret -n mysql-cluster my-cluster-privsql -o jsonpath='{.data.rootPassword}' | base64 -d4. 修复无主键表(Group Replication 强制要求)
sql
-- 关闭只读
SET GLOBAL super_read_only=OFF;
SET GLOBAL read_only=OFF;
-- 为无主键表添加不可见自增主键
ALTER TABLE jnpf_nacos.vgroup_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.branch_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.distributed_lock ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.global_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.vgroup_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_seata.vgroup_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.alarm_record_tag ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.log_tag ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.segment_tag ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.zipkin_query ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;5. 校验实例配置
js
dba.checkInstanceConfiguration('root@my-cluster-2.my-cluster-instances.mysql-cluster.svc.cluster.local:3306', {password: 'Mysql@123'});6. 从完全停机中恢复集群
js
var cluster = dba.rebootClusterFromCompleteOutage('my_cluster', {
force: true,
primary: 'my-cluster-2.my-cluster-instances.mysql-cluster.svc.cluster.local:3306'
});等待输出:The Cluster was successfully rebooted.
7. 验证
js
cluster.status({extended: 1});
var cs = dba.getClusterSet();
cs.status({extended: 1});8. 重建其他节点
bash
kubectl delete pod -n mysql-cluster my-cluster-0
kubectl get pods -n mysql-cluster -wPod READY 后,如果未自动加入,手动添加:
js
cluster.addInstance(
'root@my-cluster-0.my-cluster-instances.mysql-cluster.svc.cluster.local:3306',
{password: 'Mysql@123', recoveryMethod: 'clone'}
);等 my-cluster-0 ONLINE 后,同样操作 my-cluster-1。
9. 修复 metadata 并恢复 Operator
js
cluster.rescan();bash
kubectl annotate innodbclusters -n mysql-cluster my-cluster \
kopf.zalando.org/stopped- --overwrite
kubectl get innodbclusters -n mysql-cluster my-cluster
# 期望 STATUS: ONLINE, ONLINE: 3六、连接数打满处理
现象:ERROR 1040 (HY000): Too many connections
原因:MySQL Router 在故障中疯狂重连,占满 max_connections=151。
处理:
sql
SET GLOBAL max_connections = 1000;
SHOW GLOBAL STATUS LIKE 'Threads_connected';永久生效:编辑 CR,在 spec.mycnf 中加入:
ini
[mysqld]
max_connections=1000保存后 Operator 会滚动重启各节点。
七、收尾工作
清理异常 Router Pod
bashkubectl delete pod -n mysql-cluster my-cluster-router-78bfc9bbf6-5pcs2确认 Nacos 自愈
bashkubectl get pods -n nacos-cluster -w验证业务
- Nacos 控制台可访问
- JNPF 等应用可登录
- MySQL 业务库可读写
迁移其余节点磁盘
- 对仍有
DiskPressure的节点重复“磁盘迁移”章节步骤。
- 对仍有
备份保留
/data/mysql-recovery-backup/至少保留一周。
监控告警
- 节点磁盘使用率 > 85%
DiskPressure状态- MySQL Pod 重启次数
Threads_connected / max_connections比率- InnoDBCluster CR 状态
八、经验教训
- K3s 数据目录必须放在独立大分区,避免撑爆根分区。
- 生产环境操作前先备份,尤其是 MySQL 数据目录。
- 磁盘迁移必须停服务,否则文件句柄不释放,空间不回收。
- 软链接要仔细检查,避免自引用循环。
- MySQL Operator 集群恢复要按官方流程:暂停 Operator → 修主键 → 关只读 →
rebootClusterFromCompleteOutage(force+primary)→ 重建节点 →rescan→ 恢复 Operator。 - 一次只操作一个节点,保留至少一个健康副本。
- 监控磁盘和连接数,提前发现隐患。
九、恢复顺序总览
清理节点磁盘 / 迁移 K3s 数据目录
→ 解除 DiskPressure
→ 恢复 MySQL 唯一存活节点 (my-cluster-2)
→ 暂停 Operator
→ 修复主键 & 配置
→ rebootClusterFromCompleteOutage
→ 重建 my-cluster-0 / my-cluster-1
→ rescan & 恢复 Operator
→ 清理 Router
→ Nacos 自愈
→ 业务验证备注:以上命令中的密码、PVC 名称、Pod 名称需根据实际环境替换。生产环境操作务必谨慎,每步验证后再继续。