嘉庚小集群使用手册

一、集群架构

本集群采用「登录节点 + 计算节点」的分层架构。所有用户统一通过一个登录节点接入，再由其分发到后端的 GPU 计算节点或 FPGA 设备。

                         ┌─────────────────────────┐
                         │   登录节点 10.26.14.55   │
                         │   （统一入口 / SSH）      │
                         └───────────┬─────────────┘
                      ┌──────────────┼──────────────────┐
                      │              │                  │
            ┌─────────┴────┐  ┌──────┴──────┐  ┌───────┴───────┐
            │  GPU 节点    │  │  GPU 节点   │  │  GPU 节点    │
            │  gpu001     │  │  gpu002     │  │  gpu003      │
            │  8×RTX 4090 │  │  8×P100     │  │  8×V100      │
            │  (Slurm)    │  │  (Slurm)    │  │  (Slurm)     │
            └─────────────┘  └─────────────┘  └──────────────┘

            ┌─────────────┐  ┌─────────────┐  ┌─────────────┐
            │  FPGA 设备  │  │  FPGA 设备  │  │  FPGA 设备  │
            │  nvnmd1     │  │  nvnmd2     │  │  nvnmd3     │
            │nvnmd@nvnmd1 │  │nvnmd@nvnmd2 │  │nvnmd@nvnmd3 │
            └─────────────┘  └─────────────┘  └─────────────┘
            （从登录节点 ssh 进入，非 Slurm 调度）

节点清单

类型	名称	硬件配置	访问方式
登录节点	10.26.14.55	统一入口	SSH 直接登录
GPU 节点	gpu001	8 × NVIDIA RTX 4090	Slurm 调度
GPU 节点	gpu002	8 × NVIDIA Tesla P100	Slurm 调度
GPU 节点	gpu003	8 × NVIDIA Tesla V100	Slurm 调度
FPGA 设备	nvnmd1 / nvnmd2 / nvnmd3	FPGA 加速卡	从登录节点 ssh nvnmd@主机名

要点：GPU 节点**必须**通过 Slurm 提交作业使用，禁止直接 ssh 上去跑任务；FPGA 设备则是通过 SSH 从登录节点跳转登录，不走 Slurm。

---

二、如何使用

1. 登录集群

在本地终端通过 SSH 连接到登录节点：

ssh 你的用户名@10.26.14.55

建议：向管理员申请配置 SSH 公钥免密登录，避免每次输入密码。

2. GPU 节点（Slurm 调度）

GPU 节点由 Slurm 统一管理。不要直接 ssh gpu00x 执行任务，而应通过以下方式申请资源。

（1）查看集群与节点状态

sinfo                 # 查看分区、节点整体状态
sinfo -N -l           # 查看每个节点的详细信息
squeue                # 查看当前正在排队/运行的作业

（2）交互式申请（临时调试用）

srun --nodes=1 --gres=gpu:1 --pty bash

上述命令申请 1 张 GPU 并进入交互式终端，退出后资源自动释放。

（3）提交批处理作业（推荐）

编写作业脚本（如 job.sh），然后用 sbatch 提交：

sbatch job.sh

示例作业脚本 job.sh（在 gpu003 上申请 2 张 V100，运行 8 小时）：

#!/bin/bash
#SBATCH --job-name=my_train      # 作业名
#SBATCH --nodes=1                # 节点数
#SBATCH --gres=gpu:2             # 申请 2 张 GPU
#SBATCH --time=08:00:00          # 最长运行时间
#SBATCH --output=%j.out          # 标准输出文件

# 你的训练/计算命令
python train.py

常用提交参数速查：

参数	说明
--nodes=N	申请节点数
--gres=gpu:N	申请 N 张 GPU（如 gpu:1、gpu:4）
--time=HH:MM:SS	作业最长运行时间
--job-name=NAME	作业名称
--output=FILE	输出日志文件

（4）管理作业

squeue -u 你的用户名     # 查看自己的作业
scancel 作业ID           # 取消指定作业

提示：不同 GPU 型号算力差异较大，请按需选择节点——gpu001（4090）适合高算力单卡/多卡训练，gpu002（P100）、gpu003（V100）适合通用训练与推理。具体分区/账户配置以管理员说明为准。

---

三、FPGA 设备访问

FPGA 设备**不接入 Slurm**，需从登录节点通过 SSH 跳转登录。三台设备的主机名分别为 nvnmd1、nvnmd2、nvnmd3，登录用户名均为 nvnmd。

访问步骤

第 1 步：先登录登录节点

ssh 你的用户名@10.26.14.55

第 2 步：从登录节点跳转到目标 FPGA 设备

# 访问第 1 台
ssh nvnmd@nvnmd1

# 访问第 2 台
ssh nvnmd@nvnmd2

# 访问第 3 台
ssh nvnmd@nvnmd3

登录密码请联系集群管理员获取。 为方便使用，可在登录节点的 ~/.ssh/config 中配置 Host 别名，并为 nvnmd 用户配置公钥，减少重复输入密码。

---

四、注意事项

1. 登录节点只做入口：不要在 10.26.14.55 上直接跑训练、编译等重负载任务，以免影响他人登录与调度。
2. GPU 走 Slurm：所有 GPU 资源必须通过 srun / sbatch 申请，严禁 ssh 直连 GPU 节点占用资源。
3. FPGA 走 SSH：FPGA 设备通过 nvnmd@nvnmd1/2/3 登录，不走 Slurm。
4. 资源释放：交互式任务用完及时退出；批处理作业设好 --time，超时会被自动终止。
5. 密码与权限：登录节点与 FPGA 设备的密码请联系管理员；如遇账号、配额、节点故障等问题，统一向管理员反馈。

---

本文档基于当前集群拓扑编写，如有节点增减或调度策略调整，请以管理员最新通知为准。