hdfs_io.py — HDFS 文件 IO¶
文件路径: verl/utils/hdfs_io.py
文件概述¶
封装 HDFS (Hadoop Distributed File System) 的文件操作，提供类似本地文件系统的 API。在大规模训练中，数据和检查点通常存储在 HDFS 上。
核心函数¶
| 函数 | 说明 |
|---|---|
hdfs_exists() |
检查 HDFS 路径是否存在 |
hdfs_makedirs() |
创建 HDFS 目录 |
hdfs_copy() |
HDFS 文件复制 |
hdfs_open() |
打开 HDFS 文件 |
与其他模块的关系¶
- 被
fs.py调用进行 HDFS 操作 - 被 checkpoint 模块用来保存检查点到 HDFS
小结¶
HDFS 操作的底层封装，让 verl 能在分布式文件系统上读写数据。