Red Hat Enterprise Linux 8 中高性能计算(HPC)入门

简介

什么是高性能计算？

高性能计算(HPC)通常是指以高速处理具有复杂计算的数据。过去，所谓的"超级计算机"是一个快速处理器，当前的 HPC 通常使用大规模 CPU 集群，聚合计算能力，以提供比单个桌面或服务器更高的性能，以解决工程、科学和业务中大型数字问题。在 HPC 集群中，每个组件计算机通常被称为 节点。

技术背景信息

HPC 集群运行批量计算。任何 HPC 集群的核心是调度程序，用于跟踪可用资源，允许将作业请求高效地分配到计算资源(CPU 和 GPU)。

HPC 作业使用多个集群节点的最常见方法是通过 消息传递接口(MPI)。MPI 是用于开发人员和消息传递库的用户的规范。 MPI 允许您使用单个命令在整个集群中启动作业，它还在集群中提供应用程序级的通信。

MPI 构成了一个标准化的、可移植的消息传递系统，其由一个库和一个协议组成，以支持并行计算。MPI 支持在 HPC 集群的不同节点之间或特定集群之间传递信息，并有不同的实现，这些实现提供库，以在不同的物理节点间，以分布式方式运行 HPC 应用程序。

红帽提供了以下 MPI 实现：

• Open MPI - 在 openmpi 软件包中提供； MPI-1 和 MPI-2 标准的一个开源和免费的实现，将来自多个其他项目的技术和资源(FT-MPI、LAM/MPI、LAM/MPI 和 PACX-MPI)组合在一起
• MPICH - 在 mpich 软件包提供；MPI-1, MPI-2 和 MPI-3 标准的一个高性能和可广泛移植的实现
• MVAPICH - 在 mvapich 软件包中提供；一个支持 Infiniband 的 MPICH 的实现

openmpi、mpich 和 mvapich 软件包都包括在 Red Hat Enterprise Linux 中。

红帽建议将 Open MPI 作为 HPC 集群的 MPI 实现。

HPC 系统通常会将 RHEL 中提供的 MPI 库替换为充分利用高性能互连（如 Infiniband ）的供应商特定版本。

Red Hat Enterprise Linux 上的高性能计算

Red Hat HPC 产品是一种可以高效解决 HPC 集群问题的特殊用例。它是基于标准的 RHEL 服务器组件，并使用标准安装和授权。要有资格使用 HPC，工作负载必须是非交互和外部调度的，通常受计算资源的约束。

构建 RHEL HPC 集群需要两个单独的订阅：

• 头节点 - 控制整个集群；用于管理、作业控制和跨集群启动作业
• 计算节点 - 执行实际的 HPC 计算

HPC 集群必须至少包括一个头节点和一个计算节点。

如何安装头节点和计算节点

以前用于 HPC 的 RHEL 版本是使用 RHEL 服务器的子集构建的。在 RHEL 8 中，头节点和计算节点都是基于标准的 Red Hat Enterprise Linux Server 软件堆栈。使用 HPC 头节点或 HPC 计算节点授权订阅每个系统时，会在安装时识别 HPC 系统。

头节点基本上是一个订阅了一个头节点授权的 Red Hat Enterprise Linux 服务器。
计算节点基本上是一个订阅了一个计算节点授权的 Red Hat Enterprise Linux 服务器。

1. 从红帽客户门户网站下载 Red Hat Enterprise Linux Server 8 的 ISO 镜像文件。

   下载 Red Hat Enterprise Linux Server。

   使用两种基本类型安装介质之一：

   • 二进制 DVD 是一个完整的安装镜像，可用于引导安装程序，并在没有附加软件包存储库的情况下执行全部安装。

   • 引导 ISO 是一个最小引导镜像，可用于引导安装程序。引导 ISO 比完整安装镜像小，但从 引导 ISO 安装是一个基于网络的安装，需要创建要从中安装软件的本地存储库。有关使用 yum 存储库的更多信息，请参阅 配置 yum 和 yum 存储库。

   有关安装介质的详情，请参阅 执行标准的 RHEL 安装。

2. Install Red Hat Enterprise Linux Server 8.

   下载 ISO 后，创建安装 CD 或者 DVD，或使用 USB 介质。

   有多种可能的安装 Red Hat Enterprise Linux 8 的方法。

   红帽建议 使用图形用户界面安装，其将指导您完成整个安装过程。

   另一种选择是使用 Kickstart 文件执行脚本安装，如 执行高级 RHEL 安装 中所述。

3. 注册并订阅头节点及所有计算节点。

   头节点 必须订阅到一个头节点授权。对于头节点，除了 Red Hat Enterprise Linux 8 订阅，不需要任何其它订阅。

   您可以使用 Registration Assistant 红帽客户门户网站 lab，或按照 配置和管理基本系统设置 中的说明来注册和订阅您的系统。

   每个计算节点必须订阅一个计算节点授权。 对于计算节点，除了 Red Hat Enterprise Linux 8 订阅，不需要任何其他订阅。

   如果使用 Red Hat Satellite，您可以注册所有计算节点，并将它们授权给 Red Hat Satellite 置备。置备指的是一个过程，其以裸物理机或虚拟机开始，以完全配置的、随时使用的操作系统结束。Red Hat Satellite 为大量主机提供一种定义和自动化置备的能力。因此，您可以确保操作系统的安装、注册、订阅管理以及对所有计算节点的软件包和补丁管理。

   有关 Red Hat Satellite 的基本信息，请参阅 Red Hat Satellite 快速入门指南。 如果要了解使用 Red Hat Satellite 进行置备的更多信息，请参阅 Red Hat Satellite 置备指南。与 Red Hat Satellite 相关的所有文档均可在 红帽客户门户 中找到。

头节点和计算节点之间的通信

要在 HPC 集群上运行作业，您需要为 HPC 集群安装调度程序或管理器。 用于 HPC 产品的 RHEL 不包括 HPC 调度程序。 您可以选择第三方调度程序，如 SLURM （开源）、PBS Pro、Condor、MOAB 或 Spectrum LSF。安装您选择的调度程序，并根据调度程序的说明配置头节点和计算节点之间的连接。