tokenizer.py — Rollout Tokenizer 接口

文件概述

定义 HybridEngineBaseTokenizer 抽象基类，为 vLLM 等推理引擎提供兼容的 tokenizer 接口。

核心类

HybridEngineBaseTokenizer(ABC)

class HybridEngineBaseTokenizer(ABC):
    """为推理引擎提供统一的 tokenizer 接口

    推理引擎（如 vLLM）需要 tokenizer 来处理文本，
    但训练框架已经有自己的 tokenizer。
    这个抽象类定义了两者之间的适配接口。
    """
    @abstractmethod
    def encode(self, text: str) -> list[int]:
        pass

    @abstractmethod
    def decode(self, token_ids: list[int]) -> str:
        pass

小结

桥接训练框架和推理引擎的 tokenizer 接口差异。