groupwise.py — 分组统计工具

文件路径: verl/utils/groupwise.py

文件概述

提供按组计算均值和标准差的工具函数，用于 RLHF 中 reward 的归一化。在 Group Relative Policy Optimization (GRPO) 等算法中，需要按 prompt 组对 reward 进行标准化。

核心函数

def group_mean_std(values, group_indices):
    """按组计算均值和标准差"""

def as_torch_index(indices):
    """将索引转换为 PyTorch 张量格式"""

与其他模块的关系

• 被 __init__.py 导出为公共 API
• 被 PPO/GRPO trainer 在计算 advantage 时使用

小结

简单但关键的统计工具，支持 GRPO 等需要组内归一化的算法。