Appearance
最近在学习和整理工业互联网高可用相关的内容时,我意识到,高可用并不是某一个软件或者某一项技术的事情。
对于钢铁行业的信息化系统来说,生产监控、MES、LIMS、物流、质量、设备管理等系统,往往不是独立运行的。它们的下面还有网络、服务器、虚拟化平台、容器平台、中间件以及各种基础服务。
因此,如果从整个系统来看,高可用实际上是一层一层建立起来的。
这篇文章结合我实际接触过的一套技术方案,从网络、基础设施、Kubernetes、中间件到应用接入层,梳理一下自己对工业互联网高可用体系的一些理解。
先从一套钢厂信息系统说起
钢厂的信息化系统通常比较复杂。
生产现场有大量设备和自动化系统,上面又有生产管理、质量管理、物流、能源、设备等各种业务系统。
简单抽象一下,可以看到这样一条链路:
text
生产现场
↓
网络基础设施
↓
物理服务器
↓
虚拟化 / 超融合平台
↓
Kubernetes
↓
中间件
↓
业务应用
↓
用户访问具体一点,可以是:
text
交换机堆叠
↓
超融合 / 虚拟化平台
↓
Kubernetes 三节点
↓
Nacos / Redis / MQ 等中间件
↓
业务服务
↓
Nginx + Keepalived + VIP
↓
用户这里的每一层解决的问题都不完全一样。
网络解决的是通信问题,虚拟化解决的是基础资源管理问题,Kubernetes 解决的是容器应用的编排和调度问题,Nacos 解决的是微服务注册发现等问题,而 Nginx、Keepalived 和 VIP 则负责给用户提供稳定的访问入口。
所以我现在更倾向于把高可用理解成一种分层设计思想,而不是某一个产品的功能。
网络层:先保证基础通信不能只有一条路
整个系统最下面首先是网络。
钢厂的信息系统涉及服务器、业务终端、自动化系统、数据采集系统以及各种工业设备,最终都需要通过网络进行通信。
如果网络设备只有一台,那么上面所有系统即使部署了多个实例,网络设备本身依然可能成为一个单点。
因此在实际的网络设计中,可以通过交换机堆叠、链路冗余等方式降低单台网络设备故障带来的影响。
简单理解:
text
传统方式:
服务器
│
交换机
│
业务系统如果交换机出现问题,下面的通信就会受到影响。
而采用冗余设计以后:
text
交换机1
/ \
服务器 ──── ──── 网络
\ /
交换机2某一台交换机出现故障时,仍然存在其他通信路径。
这里我觉得一个比较重要的认识是:
高可用设计应该从最底层开始。
如果网络本身存在明显的单点,那么再往上增加多少应用实例,都无法解决这个问题。
基础设施层:从一台服务器到资源池
网络往上就是服务器和基础设施。
传统的信息系统经常会出现一种情况:
text
服务器1 → 应用A
服务器2 → 应用B
服务器3 → 应用C每一个应用都和某一台物理服务器存在比较强的绑定关系。
如果服务器1发生故障,应用A就会受到影响。
虚拟化和超融合的一个重要价值,就是把底层计算、存储等资源进行统一管理,使上层业务不再完全绑定某一台物理服务器。
这里可以用 PVE 作为一个比较容易理解的例子。
例如:
text
物理节点1
物理节点2
物理节点3
↓
统一资源池
↓
VM1 / VM2 / VM3 / VM4 ...在这样的体系下,虚拟机可以根据平台能力在不同物理节点之间进行迁移、恢复或者重新调度。
因此,物理服务器从“运行某个具体业务的机器”,逐渐变成了一个资源池中的计算节点。
这对于传统业务尤其有价值。
比如钢厂中可能同时存在:
Linux 应用
Windows 应用
老旧业务系统
数据库
厂商提供的软件
不适合容器化的应用
这些应用并不一定都适合直接运行在 Kubernetes 中。
所以虚拟化平台在很多场景下仍然有存在的价值。
Kubernetes:从“服务器可用”进一步变成“服务可用”
继续往上,就是应用运行平台。
如果已经有了虚拟化平台,为什么还需要 Kubernetes?
因为这两个东西解决的问题并不完全一样。
虚拟化平台更多关注的是:
物理资源和虚拟机怎么管理。
而 Kubernetes 更关注:
容器化的应用怎么部署、调度、扩缩和恢复。
例如一个生产监控服务:
text
production-service
Pod-1
Pod-2
Pod-3三个实例可以分布在不同 Kubernetes 节点上。
text
Node-1 Node-2 Node-3
│ │ │
Pod-1 Pod-2 Pod-3如果其中一个节点出现故障,Kubernetes 可以根据部署策略和资源情况,在其他节点重新调度应用实例。
因此,这里的思路发生了一点变化。
以前更关注:
“这台服务器上的程序是不是正常?”
现在更关注:
“这个服务还有没有可用实例?”
这也是我认为 Kubernetes 在高可用体系里面比较重要的一点。
三节点 Kubernetes 并不是简单地“多装两台机器”
在实际设计 Kubernetes 集群的时候,也不能简单理解成:
我有三台机器,所以就是高可用。
还需要考虑节点之间的故障域。
比如:
text
物理服务器A
├── Kubernetes Node-1
├── Kubernetes Node-2
└── Kubernetes Node-3从 Kubernetes 的角度来看,这确实可能是三个节点。
但是如果物理服务器 A 故障,三个节点可能一起受到影响。
所以真正的高可用设计还需要考虑:
节点是否分布在不同物理服务器
是否存在共享网络设备
是否存在共享存储单点
是否存在机架级故障
是否存在电源级故障
因此:
节点数量只是高可用设计的一部分,节点实际分布在哪里同样重要。
中间件层:应用自己高可用了,依赖它的服务呢?
应用部署好以后,还有一个容易忽略的问题。
一个业务服务通常不会孤立运行。
例如微服务之间需要互相调用,还可能依赖:
Nacos
Redis
RabbitMQ
数据库
配置中心
日志系统
监控系统
以 Nacos 为例。
如果所有业务服务都依赖一个 Nacos:
text
业务服务
↓
Nacos
↓
单节点那么 Nacos 本身就成为了一个新的单点。
因此可以采用 Nacos 集群:
text
Nacos
┌──────┼──────┐
↓ ↓ ↓
Nacos1 Nacos2 Nacos3
↑ ↑ ↑
└──────┼──────┘
│
业务服务Nacos 官方生产部署文档也将集群模式作为生产部署方式,并要求集群至少配置三个节点,同时需要考虑后端数据库等配套组件。
这时候我对“高可用”的理解又深入了一点:
不能只保证自己的服务高可用,还要考虑自己依赖的服务是不是高可用。
应用入口:用户不应该关心后面有几台服务器
再往上就是用户真正接触到的入口。
例如部署两个 Nginx:
text
用户
│
↓
VIP
│
┌───────┴───────┐
↓ ↓
Nginx-1 Nginx-2
│ │
└───────┬───────┘
↓
Kubernetes
↓
应用服务这里可以使用 Keepalived 管理 VIP。
正常情况下:
text
VIP
↓
Nginx-1
↓
应用如果 Nginx-1 出现故障:
text
Nginx-1 ✕VIP 可以切换到 Nginx-2:
text
VIP
↓
Nginx-2
↓
应用用户访问的地址不需要发生变化。
从用户的角度来看,仍然是访问同一个地址。
这其实体现了高可用设计中的一个重要思路:
把故障切换隐藏在系统内部。
把这些东西串起来
到这里,可以把整个体系串起来:
text
用户
│
↓
VIP
│
Nginx + Keepalived
│
↓
Kubernetes
┌──────┼──────┐
↓ ↓ ↓
Node1 Node2 Node3
│ │ │
└──────┼──────┘
│
Nacos / Redis / MQ
│
↓
业务应用服务
│
↓
虚拟化 / 超融合
│
↓
物理服务器
│
↓
网络设备这样看,高可用并不是某一个地方突然出现的。
它是从底层一直往上建立起来的。
网络有冗余。
服务器有冗余。
应用运行节点有冗余。
中间件有冗余。
访问入口也有冗余。
最终形成一套完整的系统。
是不是层次越多越好?
在实际接触这些技术以后,我觉得这个问题反而值得单独拿出来讨论。
例如:
text
物理服务器
↓
虚拟化平台
↓
虚拟机
↓
Kubernetes
↓
Pod
↓
微服务这样的架构并没有错。
每一层都有自己的价值。
虚拟化可以解决资源池化、隔离和基础设施管理的问题。
Kubernetes 可以解决容器编排、调度和应用生命周期管理的问题。
微服务可以解决应用拆分和独立部署的问题。
但是每增加一层,也会增加新的复杂度。
比如:
运维对象增加了
配置项增加了
故障排查路径变长了
系统之间的依赖关系增加了
对运维人员的技术要求提高了
部分场景还会增加资源开销
所以我开始意识到:
高可用并不是把所有技术都叠加起来。
是否会“过度虚拟化”?
我理解的过度虚拟化,并不是说“用了虚拟机就是过度虚拟化”。
真正需要问的是:
增加这一层之后,它到底解决了什么问题?
例如:
text
物理服务器
↓
虚拟化
↓
Kubernetes如果虚拟化解决了服务器资源统一管理、虚拟机隔离和故障恢复等问题,那么它有存在的价值。
如果 Kubernetes 又解决了容器应用编排、服务调度和自动恢复等问题,那么这一层也有存在的价值。
但是如果只是因为:
“现在大家都这么部署。”
于是所有应用不加区分地放进同一套复杂架构,那么就需要重新思考。
因此,我认为真正值得关注的并不是“用了多少层”,而是:
每一层是不是都在解决一个实际问题。
虚拟化是不是一定不好?
这里也不能走向另外一个极端。
不能因为讨论过度虚拟化,就得出:
Kubernetes 应该全部部署在物理机上。
实际上,虚拟化和裸机各有适合的场景。
虚拟化的优势包括:
资源隔离
资源统一管理
虚拟机迁移
快速创建环境
不同操作系统共存
对传统应用更加友好
而裸机在一些场景下则可以减少虚拟化层带来的额外开销,并且更加直接地使用硬件资源。
对于钢厂这种环境,我觉得尤其不能简单地用一种模式覆盖所有业务。
因为钢厂的信息化系统往往同时存在:
text
传统业务
新建微服务
数据库
数据采集
工业接口
生产监控
特殊硬件
GPU / AI
老旧软件它们的技术要求并不完全一样。
所以更合理的方式应该是:
根据业务特点选择部署方式,而不是为了追求某一种技术架构而统一部署。
不同业务如何选择不同的部署方式?
例如传统业务:
text
物理服务器
↓
虚拟化平台
↓
虚拟机
↓
传统应用对于一些已经运行多年的老系统,这种方式可能更加合适。
而对于新的业务服务:
text
物理服务器
↓
虚拟化 / 裸机
↓
Kubernetes
↓
容器
↓
微服务则可以充分利用 Kubernetes 的编排和自动化能力。
而对于一些对性能、延迟或者特定硬件有要求的业务,则可以根据实际情况考虑裸机或者特殊的 Kubernetes 部署方式。
最终的架构不一定是完全统一的。
高可用会导致复杂度也变高?
这也是这次学习让我比较有感触的一点。
以前容易产生一种直觉:
text
节点越多
集群越多
组件越多
↓
高可用越高但实际并不是这么简单。
因为系统复杂度也会随之增加。
例如一个故障发生以后:
text
用户访问失败
↓
Nginx?
↓
VIP?
↓
Kubernetes?
↓
Pod?
↓
Nacos?
↓
Redis?
↓
数据库?
↓
网络?
↓
虚拟机?
↓
物理服务器?如果系统层次非常复杂,那么故障定位本身也会成为一个问题。
所以真正好的高可用设计,并不是组件最多的设计。
而应该是:
在满足可靠性要求的基础上,让系统保持合理的复杂度。
从“怎么部署”转变成“出了问题怎么办”
我觉得这可能是这次学习过程中最大的收获。
以前部署一个系统,首先想到的可能是:
软件怎么安装?
后来会慢慢变成:
软件怎么做集群?
再往后会继续考虑:
节点坏了怎么办?
网络坏了怎么办?
数据库坏了怎么办?
中间件坏了怎么办?
物理服务器坏了怎么办?
如果一整个节点都不可用了怎么办?
这时候思考的对象就已经从“一个软件”变成了“整套系统”。
总结
通过以上的学习,我们得出结论:
高可用不是让系统永远不发生故障,而是在关键组件发生故障的时候,系统仍然能够找到其他可用路径继续运行。
因此,从钢厂信息系统来看,可以形成这样一条思路:
text
网络层
交换机 / 链路冗余
↓
基础设施层
虚拟化 / 超融合
↓
平台层
Kubernetes 集群
↓
中间件层
Nacos / Redis / MQ 等
↓
应用接入层
Nginx + Keepalived + VIP
↓
业务应用
MES / LIMS / 生产监控 / 物流等但是这条链路并不是固定答案。
真正的高可用设计,还需要结合业务的重要程度、性能要求、现场条件、资源情况以及运维能力来决定。
思考
工业互联网系统和普通互联网业务有一个比较明显的区别,就是它往往和真实的生产过程联系得更加紧密。
钢厂的系统可能同时面对新旧系统并存、设备种类复杂、网络环境复杂、运行周期长等问题。
因此,技术架构并不是越新越好,也不是组件越多越好。
虚拟化、容器、Kubernetes、微服务、各种集群技术,本质上都是解决问题的工具。
真正需要关注的是:
业务需要什么,我们为什么选择这个技术,它解决了什么问题,以及出了问题以后有没有备用路径。
这也是我目前对工业互联网高可用体系比较浅的一点理解。
从最开始关注“一个服务怎么运行”,到现在开始关注“整个系统出现故障以后还能不能运行”,我觉得这也是从软件部署逐渐走向系统架构思维的一个过程。