utils.py — SGLang 工具函数

文件概述

提供 SGLang 推理引擎的辅助工具函数。

核心函数

broadcast_pyobj

def broadcast_pyobj(obj, src_rank=0):
    """跨进程广播 Python 对象

    用于将推理参数从主进程广播到所有 TP worker
    """

get_named_tensor_buckets

def get_named_tensor_buckets(named_tensors, bucket_size_mb):
    """将命名张量分成固定大小的桶

    用于分桶权重传输，确保每个桶不超过指定大小
    """

与其他模块的关系

• 被 sglang_rollout.py 使用
• 提供 SGLang 特有的通信和数据处理工具

小结

SGLang 专用的辅助工具，主要处理分布式通信和权重分桶。