案例亮点

• 使用 SmartX ELF 虚拟化和 SKS 同步替换 VMware 虚拟化和 TKG，实现基础设施软件全面国产化替代与架构升级，达成集团自主可控的发展目标。
• 验证了 SKS 在功能与业务场景下对 TKG 的替代能力，数十项测试全部通过。
• SKS 可与 Rancher 紧密集成，无需改动现有容器管理平台与相关组件，符合用户原有运维使用习惯，降低学习与改造成本。
• 双数据中心实现业务双活，提高业务连续性并满足监管要求。

实践背景

• VMware 销售模式的变化： VMware 停止售卖***软件授权及其维保服务 ，转向全面订阅模式，且不再提供续保服务，为用户的使用成本和业务稳定性带来较大挑战。
• 满足监管需求： 国家对金融和数据安全的监管日益严格，公司必须确保 IT 系统符合***的合规要求，包括数据安全、业务连续性以及国产化相关政策的落实。
• 国产化探索逐步深入： 公司需要在 IT 基础架构层面（包括虚拟化和容器管理服务）逐渐过渡到国产技术方案，以降低对国外技术的依赖，确保核心技术自主可控。

• 用户已建立了完善的开发测试流程，包括 CI/CD 平台、容器镜像仓库以及 Rancher 容器管理平台。这部分无需改造， 但新的容器平台必须能够兼容现有的容器管理平台及相关组件。
• 新的容器平台需同时支持开发测试和生产环境， 并确保在高负载情况下的稳定性和可靠性。
• 为实现平滑过渡， 新的容器平台应为标准的 Kubernetes 集群， 以便现有 VMware TKG 中的容器化应用能够无缝迁移并部署到新平台，避免***改造需求。

替代可行性验证

• 在 SmartX 原生虚拟化 ELF 的超融合集群中，可利用虚拟机节点构建 Kubernetes 集群，并通过 Kubeconfig 文件的方式交付使用。
• 可对 Kubernetes 集群实现自动化、标准化的全生命周期管理，包括集群的快速扩缩容、节点替换、升级和回滚。
• 在统一管理平台中，可同时管理虚拟机和多个 Kubernetes 集群，并借助超融合集群的虚拟化技术，实现资源的共享和逻辑隔离，同时及时回收资源，提高资源利用率。
• 在同一基础架构资源池上，可创建并运维多个不同规模、不同版本、不同配置和用途的 Kubernetes 集群，各集群间实现资源与网络隔离，互不干扰。
• SKS 创建的标准 Kubernetes 集群能够被容器云平台纳管，可以为用户构建出一个完整的现代化应用平台，进一步提高了容器平台的灵活性和扩展性，满足用户对于构建现代化应用架构的需求。

建设思路及成果

1. 接入层： 用户通过物理 全局负载均衡设备（GSLB） 实现高可用的流量引导与监控。GSLB 能够智能识别业务运行情况，保障系统的高效运行，在***一个站点发生故障时，负载均衡设备会迅速将流量引导至另一个站点，实现跨数据中心的业务切换，确保业务不中断。
2. 应用层： 容器化业务通过 SKS 承载，涵盖了四大模块：信托类、权益类、APP 服务和工具类服务。这些模块被进一步细分为多个小型子项，分别通过不同的微服务部署，从而实现灵活扩展。为了保障业务级别的高可用性，用户在两个数据中心部署了 双 Consul 集群 ，组成了 联合集群 。这一设计使得系统能够实时检测各个服务的状态，并在主站点某个子模块故障时，将该部分业务自动切换到备站点，无需整体切换。
3. 这种分布式的设计不仅提高了故障恢复的效率，也确保其他正常运行的业务不会受到影响，从而***限度地保障了系统的连续性。
4. 数据库部分： 在数据库层，用户的 Redis 和 TDSQL 等服务均基于 SmartX 超融合集群以虚拟机方式进行部署。通过 哨兵模式 和 数据复制机制 ，这些数据库服务具备高可用能力，能够在故障发生时，自动从备节点切换，确保业务不中断，实现了跨数据中心的容灾能力，确保数据的可靠性和业务的连续性。
5. 持续集成部分： 在持续集成方面，用户通过虚拟机部署了 Jenkins、GitLab 等工具，充分利用 SmartX 超融合集群的资源。这些工具通过虚拟机的高可用性和备份机制，实现了持续集成环境的稳定运行。用户配置了 CI/CD 流水线，使得开发、测试和部署过程能够自动化，并能够在系统发生故障时，通过备份和恢复机制快速恢复到正常状态。
6. 非结构化数据存储： 主站点已部署商用 对象存储系统 ，专用于存储日志、文件等数据，具备跨数据中心的 同步复制机制 ，确保即使一个站点故障，未来备站点规划中的数据副本也能保障业务连续性。尽管备站点对象存储尚在规划中，相关选型已充分考虑了数据的高可用性与安全性。

1. 主站点与备站点： 该架构的主站点与备站点由同城的两个数据中心组成，确保了业务的高可用性与灾备能力。在每个数据中心中，各自配置了两个超融合集群。一个集群专门用于部署 SKS 承载容器化应用，另一个集群则用于承载 传统虚拟机应用 。服务器硬件方面，用户选择了 SMTX Halo 超融合一体机 ，这不仅提供了统一的软硬件维保入口，还确保了软硬件之间的高度兼容性，从而显著提升了运维和售后的效率。
2. 工作负载集群： 分别在主和备站点内承载 SKS 的超融合集群内创建 2 个 SKS Kubernetes 工作负载集群，分别承载 生产环境 与 UAT 环境 。这些 Kubernetes 集群的 Control Plane 和 Worker 节点通过虚拟机进行部署，便于 Kubernetes 集群自身的灵活部署与扩展以及故障后快速自愈。同时这些由 SKS 创建的 Kubernetes 集群通过用户的 Rancher 进行纳管 ，便于用户的运维和开发人员统一维护。
3. 统一管理平台： CloudTower 提供了对多个数据中心超融合集群及 SKS 集群的统一管理功能。 用户可以通过一个集成的管理界面进行多维度的管理，涵盖虚拟机资源、容器资源以及基础架构的计算（包含 Intel、海光、鲲鹏 架构）、存储和网络等各类资源。 统一的管理平面不仅有效监控和管理各个集群的资源，还显著提高了运维效率和资源利用率，方便了整体的监控和管理。

1. 节点故障容错： 在每个数据中心，超融合集群内的节点（物理服务器）如果发生故障，系统会自动将工作负载转移至其他正常运行的节点，确保容器化和虚拟机应用能够平稳继续运行。特别是 SKS 集群具备的自愈机制，能够自动重启崩溃的 Pod 并自动重建 Kubernetes 相关组件，保障服务的连续性和高可用性。
2. 应用服务故障容错： 在应用层，全局负载均衡（GSLB）设备根据服务状态自动将流量引导至健康的节点或数据中心。通过两个 Consul 集群组成的联合集群，能够实时监控服务状态并在服务出现异常时自动进行切换。即使某个服务实例出现故障，系统也能够迅速调整流量至健康的实例，保障服务的持续可用。
3. 数据中心故障容错： 基于同城双数据中心的建设，为业务提供了跨数据中心的冗余支持。当一个数据中心发生灾难性故障时，业务可以快速切换到另一个数据中心继续运行，确保了业务的跨中心容灾能力。

更多讨论：信托用户 IT 基础设施渐进式国产化转型思路

• 阶段一： 通过引入国产自研的分布式存储与超融合部署形式，实现存储的国产化转型与 IT 基础架构的升级。保留 VMware 虚拟化使用习惯，降低转型难度并验证国产厂商替代能力。
• 阶段二： 完成虚拟化与容器平台的国产化替代，实现整套 IT 基础设施软件的国产化转型，并通过多集群、多资源的统一管理满足监管的容灾需求。
• 阶段三： 计划在未来引入信创架构服务器，借助 SmartX 多集群、多资源、多芯片的统一管理能力，快速搭建新集群并完成业务迁移。