Skip to content

最近在学习和整理工业互联网高可用相关的内容时,我意识到,高可用并不是某一个软件或者某一项技术的事情。

对于钢铁行业的信息化系统来说,生产监控、MES、LIMS、物流、质量、设备管理等系统,往往不是独立运行的。它们的下面还有网络、服务器、虚拟化平台、容器平台、中间件以及各种基础服务。

因此,如果从整个系统来看,高可用实际上是一层一层建立起来的。

这篇文章结合我实际接触过的一套技术方案,从网络、基础设施、Kubernetes、中间件到应用接入层,梳理一下自己对工业互联网高可用体系的一些理解。

先从一套钢厂信息系统说起 ​

钢厂的信息化系统通常比较复杂。

生产现场有大量设备和自动化系统,上面又有生产管理、质量管理、物流、能源、设备等各种业务系统。

简单抽象一下,可以看到这样一条链路:

text
生产现场
   ↓
网络基础设施
   ↓
物理服务器
   ↓
虚拟化 / 超融合平台
   ↓
Kubernetes
   ↓
中间件
   ↓
业务应用
   ↓
用户访问

具体一点,可以是:

text
交换机堆叠
    ↓
超融合 / 虚拟化平台
    ↓
Kubernetes 三节点
    ↓
Nacos / Redis / MQ 等中间件
    ↓
业务服务
    ↓
Nginx + Keepalived + VIP
    ↓
用户

这里的每一层解决的问题都不完全一样。

网络解决的是通信问题,虚拟化解决的是基础资源管理问题,Kubernetes 解决的是容器应用的编排和调度问题,Nacos 解决的是微服务注册发现等问题,而 Nginx、Keepalived 和 VIP 则负责给用户提供稳定的访问入口。

所以我现在更倾向于把高可用理解成一种分层设计思想,而不是某一个产品的功能。


网络层:先保证基础通信不能只有一条路 ​

整个系统最下面首先是网络。

钢厂的信息系统涉及服务器、业务终端、自动化系统、数据采集系统以及各种工业设备,最终都需要通过网络进行通信。

如果网络设备只有一台,那么上面所有系统即使部署了多个实例,网络设备本身依然可能成为一个单点。

因此在实际的网络设计中,可以通过交换机堆叠、链路冗余等方式降低单台网络设备故障带来的影响。

简单理解:

text
传统方式:

服务器
   │
交换机
   │
业务系统

如果交换机出现问题,下面的通信就会受到影响。

而采用冗余设计以后:

text
             交换机1
            /      \
服务器 ────          ──── 网络
            \      /
             交换机2

某一台交换机出现故障时,仍然存在其他通信路径。

这里我觉得一个比较重要的认识是:

高可用设计应该从最底层开始。

如果网络本身存在明显的单点,那么再往上增加多少应用实例,都无法解决这个问题。


基础设施层:从一台服务器到资源池 ​

网络往上就是服务器和基础设施。

传统的信息系统经常会出现一种情况:

text
服务器1 → 应用A

服务器2 → 应用B

服务器3 → 应用C

每一个应用都和某一台物理服务器存在比较强的绑定关系。

如果服务器1发生故障,应用A就会受到影响。

虚拟化和超融合的一个重要价值,就是把底层计算、存储等资源进行统一管理,使上层业务不再完全绑定某一台物理服务器。

这里可以用 PVE 作为一个比较容易理解的例子。

例如:

text
物理节点1
物理节点2
物理节点3
      ↓
统一资源池
      ↓
VM1 / VM2 / VM3 / VM4 ...

在这样的体系下,虚拟机可以根据平台能力在不同物理节点之间进行迁移、恢复或者重新调度。

因此,物理服务器从“运行某个具体业务的机器”,逐渐变成了一个资源池中的计算节点。

这对于传统业务尤其有价值。

比如钢厂中可能同时存在:

  • Linux 应用

  • Windows 应用

  • 老旧业务系统

  • 数据库

  • 厂商提供的软件

  • 不适合容器化的应用

这些应用并不一定都适合直接运行在 Kubernetes 中。

所以虚拟化平台在很多场景下仍然有存在的价值。


Kubernetes:从“服务器可用”进一步变成“服务可用” ​

继续往上,就是应用运行平台。

如果已经有了虚拟化平台,为什么还需要 Kubernetes?

因为这两个东西解决的问题并不完全一样。

虚拟化平台更多关注的是:

物理资源和虚拟机怎么管理。

而 Kubernetes 更关注:

容器化的应用怎么部署、调度、扩缩和恢复。

例如一个生产监控服务:

text
production-service

Pod-1
Pod-2
Pod-3

三个实例可以分布在不同 Kubernetes 节点上。

text
Node-1        Node-2        Node-3
   │             │             │
 Pod-1         Pod-2         Pod-3

如果其中一个节点出现故障,Kubernetes 可以根据部署策略和资源情况,在其他节点重新调度应用实例。

因此,这里的思路发生了一点变化。

以前更关注:

“这台服务器上的程序是不是正常?”

现在更关注:

“这个服务还有没有可用实例?”

这也是我认为 Kubernetes 在高可用体系里面比较重要的一点。


三节点 Kubernetes 并不是简单地“多装两台机器” ​

在实际设计 Kubernetes 集群的时候,也不能简单理解成:

我有三台机器,所以就是高可用。

还需要考虑节点之间的故障域。

比如:

text
物理服务器A
 ├── Kubernetes Node-1
 ├── Kubernetes Node-2
 └── Kubernetes Node-3

从 Kubernetes 的角度来看,这确实可能是三个节点。

但是如果物理服务器 A 故障,三个节点可能一起受到影响。

所以真正的高可用设计还需要考虑:

  • 节点是否分布在不同物理服务器

  • 是否存在共享网络设备

  • 是否存在共享存储单点

  • 是否存在机架级故障

  • 是否存在电源级故障

因此:

节点数量只是高可用设计的一部分,节点实际分布在哪里同样重要。


中间件层:应用自己高可用了,依赖它的服务呢? ​

应用部署好以后,还有一个容易忽略的问题。

一个业务服务通常不会孤立运行。

例如微服务之间需要互相调用,还可能依赖:

  • Nacos

  • Redis

  • RabbitMQ

  • 数据库

  • 配置中心

  • 日志系统

  • 监控系统

以 Nacos 为例。

如果所有业务服务都依赖一个 Nacos:

text
业务服务
   ↓
Nacos
   ↓
单节点

那么 Nacos 本身就成为了一个新的单点。

因此可以采用 Nacos 集群:

text
              Nacos
        ┌──────┼──────┐
        ↓      ↓      ↓
     Nacos1 Nacos2 Nacos3
        ↑      ↑      ↑
        └──────┼──────┘
               │
          业务服务

Nacos 官方生产部署文档也将集群模式作为生产部署方式,并要求集群至少配置三个节点,同时需要考虑后端数据库等配套组件。

这时候我对“高可用”的理解又深入了一点:

不能只保证自己的服务高可用,还要考虑自己依赖的服务是不是高可用。


应用入口:用户不应该关心后面有几台服务器 ​

再往上就是用户真正接触到的入口。

例如部署两个 Nginx:

text
              用户
                │
                ↓
               VIP
                │
        ┌───────┴───────┐
        ↓               ↓
     Nginx-1          Nginx-2
        │               │
        └───────┬───────┘
                ↓
           Kubernetes
                ↓
             应用服务

这里可以使用 Keepalived 管理 VIP。

正常情况下:

text
VIP
 ↓
Nginx-1
 ↓
应用

如果 Nginx-1 出现故障:

text
Nginx-1  ✕

VIP 可以切换到 Nginx-2:

text
VIP
 ↓
Nginx-2
 ↓
应用

用户访问的地址不需要发生变化。

从用户的角度来看,仍然是访问同一个地址。

这其实体现了高可用设计中的一个重要思路:

把故障切换隐藏在系统内部。


把这些东西串起来 ​

到这里,可以把整个体系串起来:

text
                    用户
                     │
                     ↓
                    VIP
                     │
             Nginx + Keepalived
                     │
                     ↓
                Kubernetes
             ┌──────┼──────┐
             ↓      ↓      ↓
           Node1  Node2  Node3
             │      │      │
             └──────┼──────┘
                    │
          Nacos / Redis / MQ
                    │
                    ↓
             业务应用服务
                    │
                    ↓
             虚拟化 / 超融合
                    │
                    ↓
              物理服务器
                    │
                    ↓
                网络设备

这样看,高可用并不是某一个地方突然出现的。

它是从底层一直往上建立起来的。

网络有冗余。

服务器有冗余。

应用运行节点有冗余。

中间件有冗余。

访问入口也有冗余。

最终形成一套完整的系统。


是不是层次越多越好? ​

在实际接触这些技术以后,我觉得这个问题反而值得单独拿出来讨论。

例如:

text
物理服务器
      ↓
虚拟化平台
      ↓
虚拟机
      ↓
Kubernetes
      ↓
Pod
      ↓
微服务

这样的架构并没有错。

每一层都有自己的价值。

虚拟化可以解决资源池化、隔离和基础设施管理的问题。

Kubernetes 可以解决容器编排、调度和应用生命周期管理的问题。

微服务可以解决应用拆分和独立部署的问题。

但是每增加一层,也会增加新的复杂度。

比如:

  • 运维对象增加了

  • 配置项增加了

  • 故障排查路径变长了

  • 系统之间的依赖关系增加了

  • 对运维人员的技术要求提高了

  • 部分场景还会增加资源开销

所以我开始意识到:

高可用并不是把所有技术都叠加起来。


是否会“过度虚拟化”? ​

我理解的过度虚拟化,并不是说“用了虚拟机就是过度虚拟化”。

真正需要问的是:

增加这一层之后,它到底解决了什么问题?

例如:

text
物理服务器
   ↓
虚拟化
   ↓
Kubernetes

如果虚拟化解决了服务器资源统一管理、虚拟机隔离和故障恢复等问题,那么它有存在的价值。

如果 Kubernetes 又解决了容器应用编排、服务调度和自动恢复等问题,那么这一层也有存在的价值。

但是如果只是因为:

“现在大家都这么部署。”

于是所有应用不加区分地放进同一套复杂架构,那么就需要重新思考。

因此,我认为真正值得关注的并不是“用了多少层”,而是:

每一层是不是都在解决一个实际问题。


虚拟化是不是一定不好? ​

这里也不能走向另外一个极端。

不能因为讨论过度虚拟化,就得出:

Kubernetes 应该全部部署在物理机上。

实际上,虚拟化和裸机各有适合的场景。

虚拟化的优势包括:

  • 资源隔离

  • 资源统一管理

  • 虚拟机迁移

  • 快速创建环境

  • 不同操作系统共存

  • 对传统应用更加友好

而裸机在一些场景下则可以减少虚拟化层带来的额外开销,并且更加直接地使用硬件资源。

对于钢厂这种环境,我觉得尤其不能简单地用一种模式覆盖所有业务。

因为钢厂的信息化系统往往同时存在:

text
传统业务
新建微服务
数据库
数据采集
工业接口
生产监控
特殊硬件
GPU / AI
老旧软件

它们的技术要求并不完全一样。

所以更合理的方式应该是:

根据业务特点选择部署方式,而不是为了追求某一种技术架构而统一部署。


不同业务如何选择不同的部署方式? ​

例如传统业务:

text
物理服务器
     ↓
虚拟化平台
     ↓
虚拟机
     ↓
传统应用

对于一些已经运行多年的老系统,这种方式可能更加合适。

而对于新的业务服务:

text
物理服务器
     ↓
虚拟化 / 裸机
     ↓
Kubernetes
     ↓
容器
     ↓
微服务

则可以充分利用 Kubernetes 的编排和自动化能力。

而对于一些对性能、延迟或者特定硬件有要求的业务,则可以根据实际情况考虑裸机或者特殊的 Kubernetes 部署方式。

最终的架构不一定是完全统一的。


高可用会导致复杂度也变高? ​

这也是这次学习让我比较有感触的一点。

以前容易产生一种直觉:

text
节点越多
集群越多
组件越多
↓
高可用越高

但实际并不是这么简单。

因为系统复杂度也会随之增加。

例如一个故障发生以后:

text
用户访问失败
     ↓
Nginx?
     ↓
VIP?
     ↓
Kubernetes?
     ↓
Pod?
     ↓
Nacos?
     ↓
Redis?
     ↓
数据库?
     ↓
网络?
     ↓
虚拟机?
     ↓
物理服务器?

如果系统层次非常复杂,那么故障定位本身也会成为一个问题。

所以真正好的高可用设计,并不是组件最多的设计。

而应该是:

在满足可靠性要求的基础上,让系统保持合理的复杂度。


从“怎么部署”转变成“出了问题怎么办” ​

我觉得这可能是这次学习过程中最大的收获。

以前部署一个系统,首先想到的可能是:

软件怎么安装?

后来会慢慢变成:

软件怎么做集群?

再往后会继续考虑:

节点坏了怎么办?

网络坏了怎么办?

数据库坏了怎么办?

中间件坏了怎么办?

物理服务器坏了怎么办?

如果一整个节点都不可用了怎么办?

这时候思考的对象就已经从“一个软件”变成了“整套系统”。


总结 ​

通过以上的学习,我们得出结论:

高可用不是让系统永远不发生故障,而是在关键组件发生故障的时候,系统仍然能够找到其他可用路径继续运行。

因此,从钢厂信息系统来看,可以形成这样一条思路:

text
网络层
交换机 / 链路冗余
        ↓
基础设施层
虚拟化 / 超融合
        ↓
平台层
Kubernetes 集群
        ↓
中间件层
Nacos / Redis / MQ 等
        ↓
应用接入层
Nginx + Keepalived + VIP
        ↓
业务应用
MES / LIMS / 生产监控 / 物流等

但是这条链路并不是固定答案。

真正的高可用设计,还需要结合业务的重要程度、性能要求、现场条件、资源情况以及运维能力来决定。


思考 ​

工业互联网系统和普通互联网业务有一个比较明显的区别,就是它往往和真实的生产过程联系得更加紧密。

钢厂的系统可能同时面对新旧系统并存、设备种类复杂、网络环境复杂、运行周期长等问题。

因此,技术架构并不是越新越好,也不是组件越多越好。

虚拟化、容器、Kubernetes、微服务、各种集群技术,本质上都是解决问题的工具。

真正需要关注的是:

业务需要什么,我们为什么选择这个技术,它解决了什么问题,以及出了问题以后有没有备用路径。

这也是我目前对工业互联网高可用体系比较浅的一点理解。

从最开始关注“一个服务怎么运行”,到现在开始关注“整个系统出现故障以后还能不能运行”,我觉得这也是从软件部署逐渐走向系统架构思维的一个过程。