fs.py — 文件系统工具

文件路径: verl/utils/fs.py

文件概述

提供文件系统抽象，支持本地文件和 HDFS 文件的统一操作。主要功能是将远程文件（HDFS）下载到本地，或将本地文件上传到 HDFS。

核心函数

def copy_local_path_from_hdfs(hdfs_path, verbose=False):
    """如果路径是 HDFS 路径，下载到本地临时目录；如果是本地路径，直接返回"""

def copy_to_hdfs(local_path, hdfs_path):
    """将本地文件复制到 HDFS"""

与其他模块的关系

• 被 dataset/rl_dataset.py 和 dataset/multiturn_sft_dataset.py 用来加载数据文件
• 被 checkpoint 模块用来保存/加载检查点
• 依赖 hdfs_io.py 进行实际的 HDFS 操作

小结

文件系统抽象层，让 verl 能透明地处理本地文件和 HDFS 文件。