__init__.py — vLLM 工具子包的入口文件

模块路径: verl.utils.vllm

文件概述

vLLM 工具子包的入口文件，导出与 vLLM 推理引擎集成相关的核心工具。注意 patch.py 不在此导入，因为其中的补丁需要在 vLLM 实例创建后才能导入。

关键代码讲解

from .utils import TensorLoRARequest, VLLMHijack, is_version_ge

__all__ = [
    "TensorLoRARequest",  # 支持从内存加载 LoRA 的请求类
    "VLLMHijack",         # vLLM 方法劫持工具
    "is_version_ge",      # vLLM 版本检查
]

导出接口

接口名	作用
TensorLoRARequest	扩展的 LoRA 请求，支持直接从 tensor 加载
VLLMHijack	劫持 vLLM 的 LoRA 加载方法
is_version_ge	检查 vLLM 版本是否 >= 指定版本

小结

简洁的入口文件，patch.py 延迟导入的设计是因为补丁需要在正确的时机应用。