critic.py — Critic 配置

文件概述

定义 Critic（价值网络）相关的配置类。

核心配置类

CriticConfig

@dataclass
class CriticConfig:
    ppo_mini_batch_size: int = 256        # 训练 mini-batch 大小
    ppo_micro_batch_size: int = None      # 微批次大小
    ppo_epochs: int = 1                   # 更新轮数
    cliprange_value: float = 0.5          # value clipping 范围
    loss_agg_mode: str = "mean"           # 损失聚合方式

各后端特有配置

• FSDPCriticConfig
• McoreCriticConfig
• TorchTitanCriticConfig

小结

Critic 配置相对简单，主要控制 value clipping 和训练批次参数。