Skip to content

一、事故概述 ​

  • 现象:Nacos 无法启动,日志报 Connection refused 连接 MySQL 失败;kubectl get pods -A 大量 Pod Evicted、Pending、CrashLoopBackOff。
  • 直接原因:多个 K3s 节点根分区磁盘使用率 95%,触发 DiskPressure,kubelet 驱逐 Pod,MySQL 集群主节点被驱逐后无法启动,Nacos 连锁崩溃。
  • 根本原因:K3s 数据目录 /var/lib/rancher 位于根分区,长期未迁移;/data 有 2T 空间却未使用。
  • 恢复结果:MySQL InnoDB Cluster 三节点全部 ONLINE,Nacos 全部 Running,业务恢复。

二、故障链条 ​

节点根分区磁盘满 (95%)
  → kubelet 标记 DiskPressure
  → 驱逐 Pod(MySQL、Promtail、MetalLB 等)
  → MySQL 主节点 my-cluster-0 被驱逐,无法启动
  → Nacos 连不上 MySQL,启动失败
  → 其他服务连锁异常

三、关键排查命令 ​

bash
# 查看节点磁盘压力
kubectl describe nodes | grep -E "Name:|DiskPressure|MemoryPressure|PIDPressure"

# 查看所有异常 Pod
kubectl get pods -A | grep -vE "Running|Completed"

# 查看节点磁盘
df -h
df -i
du -h --max-depth=1 / 2>/dev/null | sort -h | tail -20

# 查看被驱逐原因
kubectl describe pod <pod-name> -n <namespace> | tail -20

# 查看 MySQL 集群状态
kubectl get innodbclusters -n mysql-cluster my-cluster
kubectl get pods -n mysql-cluster -o wide
kubectl get pvc -n mysql-cluster

四、磁盘迁移(/var/lib/rancher → /data/rancher) ​

1. 确认磁盘占用 ​

bash
du -sh /var/lib/rancher
df -h

2. 停止 K3s ​

bash
# master 节点
systemctl stop k3s
# worker 节点
systemctl stop k3s-agent

3. 迁移数据(务必用 rsync,源路径末尾 / 不能少) ​

bash
mkdir -p /data/rancher/rancher
rsync -aAXH --info=progress2 /var/lib/rancher/k3s/ /data/rancher/rancher/k3s/

4. 验证大小一致 ​

bash
du -sh /data/rancher/rancher/k3s
du -sh /var/lib/rancher/k3s

5. 建立软链接 ​

bash
mv /var/lib/rancher /var/lib/rancher.bak
ln -s /data/rancher/rancher /var/lib/rancher
ls -la /var/lib/ | grep rancher

确认输出:/var/lib/rancher -> /data/rancher/rancher

6. 启动 K3s ​

bash
systemctl start k3s        # 或 k3s-agent
systemctl status k3s
df -h

7. 确认无误后删除旧数据 ​

bash
rm -rf /var/lib/rancher.bak
df -h

8. 常见坑 ​

  • 跨文件系统 mv 后空间不释放:进程仍持有已删除文件句柄,需重启 k3s / k3s-agent。
  • 软链接循环:不要出现 /var/lib/rancher -> /data/rancher/rancher 且 /data/rancher/rancher 下再有 rancher -> /data/rancher/rancher。
  • rsync 中断:重跑即可,加 --delete 可对齐差异。
  • 一台一台操作,不要同时停所有节点。

五、MySQL InnoDB Cluster 恢复 ​

1. 备份唯一存活节点数据(务必先做) ​

bash
# 找到 my-cluster-2 的 PVC 目录
du -sh /var/lib/rancher/k3s/storage/pvc-561d7c09-e019-4a43-8978-6dd7957de14b_mysql-cluster_datadir-my-cluster-2/

# rsync 备份
mkdir -p /data/mysql-recovery-backup
rsync -aAXH --info=progress2 \
  /var/lib/rancher/k3s/storage/pvc-561d7c09-e019-4a43-8978-6dd7957de14b_mysql-cluster_datadir-my-cluster-2/ \
  /data/mysql-recovery-backup/my-cluster-2-datadir/

2. 暂停 Operator ​

bash
kubectl annotate innodbclusters -n mysql-cluster my-cluster \
  kopf.zalando.org/stopped=true --overwrite

3. 进入存活节点 my-cluster-2 ​

bash
kubectl exec -it -n mysql-cluster my-cluster-2 -c mysql -- bash

获取 root 密码:

bash
kubectl get secret -n mysql-cluster my-cluster-privsql -o jsonpath='{.data.rootPassword}' | base64 -d

4. 修复无主键表(Group Replication 强制要求) ​

sql
-- 关闭只读
SET GLOBAL super_read_only=OFF;
SET GLOBAL read_only=OFF;

-- 为无主键表添加不可见自增主键
ALTER TABLE jnpf_nacos.vgroup_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.branch_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.distributed_lock ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.global_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE nacos_config.vgroup_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_seata.vgroup_table ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.alarm_record_tag ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.log_tag ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.segment_tag ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;
ALTER TABLE jnpf_skywalking.zipkin_query ADD COLUMN _id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY INVISIBLE FIRST;

5. 校验实例配置 ​

js
dba.checkInstanceConfiguration('root@my-cluster-2.my-cluster-instances.mysql-cluster.svc.cluster.local:3306', {password: 'Mysql@123'});

6. 从完全停机中恢复集群 ​

js
var cluster = dba.rebootClusterFromCompleteOutage('my_cluster', {
    force: true,
    primary: 'my-cluster-2.my-cluster-instances.mysql-cluster.svc.cluster.local:3306'
});

等待输出:The Cluster was successfully rebooted.

7. 验证 ​

js
cluster.status({extended: 1});
var cs = dba.getClusterSet();
cs.status({extended: 1});

8. 重建其他节点 ​

bash
kubectl delete pod -n mysql-cluster my-cluster-0
kubectl get pods -n mysql-cluster -w

Pod READY 后,如果未自动加入,手动添加:

js
cluster.addInstance(
    'root@my-cluster-0.my-cluster-instances.mysql-cluster.svc.cluster.local:3306',
    {password: 'Mysql@123', recoveryMethod: 'clone'}
);

等 my-cluster-0 ONLINE 后,同样操作 my-cluster-1。

9. 修复 metadata 并恢复 Operator ​

js
cluster.rescan();
bash
kubectl annotate innodbclusters -n mysql-cluster my-cluster \
  kopf.zalando.org/stopped- --overwrite

kubectl get innodbclusters -n mysql-cluster my-cluster
# 期望 STATUS: ONLINE, ONLINE: 3

六、连接数打满处理 ​

现象:ERROR 1040 (HY000): Too many connections

原因:MySQL Router 在故障中疯狂重连,占满 max_connections=151。

处理:

sql
SET GLOBAL max_connections = 1000;
SHOW GLOBAL STATUS LIKE 'Threads_connected';

永久生效:编辑 CR,在 spec.mycnf 中加入:

ini
[mysqld]
max_connections=1000

保存后 Operator 会滚动重启各节点。


七、收尾工作 ​

  1. 清理异常 Router Pod

    bash
    kubectl delete pod -n mysql-cluster my-cluster-router-78bfc9bbf6-5pcs2
  2. 确认 Nacos 自愈

    bash
    kubectl get pods -n nacos-cluster -w
  3. 验证业务

    • Nacos 控制台可访问
    • JNPF 等应用可登录
    • MySQL 业务库可读写
  4. 迁移其余节点磁盘

    • 对仍有 DiskPressure 的节点重复“磁盘迁移”章节步骤。
  5. 备份保留

    • /data/mysql-recovery-backup/ 至少保留一周。
  6. 监控告警

    • 节点磁盘使用率 > 85%
    • DiskPressure 状态
    • MySQL Pod 重启次数
    • Threads_connected / max_connections 比率
    • InnoDBCluster CR 状态

八、经验教训 ​

  • K3s 数据目录必须放在独立大分区,避免撑爆根分区。
  • 生产环境操作前先备份,尤其是 MySQL 数据目录。
  • 磁盘迁移必须停服务,否则文件句柄不释放,空间不回收。
  • 软链接要仔细检查,避免自引用循环。
  • MySQL Operator 集群恢复要按官方流程:暂停 Operator → 修主键 → 关只读 → rebootClusterFromCompleteOutage(force+primary) → 重建节点 → rescan → 恢复 Operator。
  • 一次只操作一个节点,保留至少一个健康副本。
  • 监控磁盘和连接数,提前发现隐患。

九、恢复顺序总览 ​

清理节点磁盘 / 迁移 K3s 数据目录
  → 解除 DiskPressure
  → 恢复 MySQL 唯一存活节点 (my-cluster-2)
  → 暂停 Operator
  → 修复主键 & 配置
  → rebootClusterFromCompleteOutage
  → 重建 my-cluster-0 / my-cluster-1
  → rescan & 恢复 Operator
  → 清理 Router
  → Nacos 自愈
  → 业务验证

备注:以上命令中的密码、PVC 名称、Pod 名称需根据实际环境替换。生产环境操作务必谨慎,每步验证后再继续。