Posts
·
#Netflix
·
#LLM
·
#后训练
Netflix 的 LLM 后训练框架:从「跑通脚本」到「管好四根支柱」
Netflix 技术博客介绍了其内部 LLM Post-Training Framework:后训练在大规模生产环境里本质是工程问题而非建模问题,框架围绕 Data、Model、Compute、Workflow 四根支柱提供标准化配方(SFT、DPO、RL、蒸馏),底层跑在 Mako、PyTorch、Ray、vLLM 之上。三个核心教训:从 SFT 的 SPMD 模型演进到 RL 的「单控制器 + SPMD」混合架构(集成 Verl 做编排);全面拥抱 Hugging Face 生态,用 AutoTokenizer 作为唯一事实源消除训练-推理 skew,并用 AI coding agent + logit verifier 自动桥接新模型架构;差异化价值投在 on-the-fly sequence packing(吞吐提升最高 4.7 倍)和 vocab size 对齐 64 这类深水区优化上。对工程师的启示:训练框架的价值不在堆组件,在于把分布式系统的坑变成配置项。
阅读全文