flops_counter.py — 浮点运算量估算¶
文件路径: verl/utils/flops_counter.py
文件概述¶
估算 Transformer 模型训练的浮点运算量（FLOPs），用于计算 MFU (Model FLOPs Utilization)——衡量 GPU 利用率的关键指标。
核心逻辑¶
Transformer 的 FLOPs 主要来自矩阵乘法。对于一个标准 Transformer： - 前向传播 FLOPs ≈ 2 * num_params * num_tokens - 反向传播 FLOPs ≈ 前向的 2 倍 - 总训练 FLOPs ≈ 6 * num_params * num_tokens
与其他模块的关系¶
- 被 trainer 用来在日志中报告训练效率
小结¶
简单的 FLOPs 估算工具，帮助评估训练效率。