Posts
·
#Netflix
·
#推荐系统
·
#生成式推荐
GenPage 学习笔记:Netflix 用一个 Transformer 直接生成整个首页
Netflix 技术博客的 GenPage 论文解读:把首页构建从「多级召回排序流水线」改写成「prompt 进、页面出」的序列生成问题——用户历史与请求上下文编码为自定义 token 序列作 prompt,decoder-only transformer 自回归生成含行、实体、布局的整个首页;训练照搬 LLM 配方(next-token 预训练 + WBC 或 RL 后训练),上线靠自定义 tokenizer、语义 embedding 融合解决冷启动、多节奏增量训练保鲜、约束解码执行业务规则、混合行解码压延迟。线上 A/B 对成熟多级系统核心指标显著提升且端到端延迟降 20%;离线最有价值的结论是:在当前阶段,丰富 prompt 的收益(WBC loss 降约 6.9%)远大于模型扩容 7.5 倍(降约 1.3%),且 RL 后训练在不含多样性目标的情况下反而提升了页面多样性。
阅读全文
Posts
·
#Netflix
·
#LLM
·
#后训练
Netflix 的 LLM 后训练框架:从「跑通脚本」到「管好四根支柱」
Netflix 技术博客介绍了其内部 LLM Post-Training Framework:后训练在大规模生产环境里本质是工程问题而非建模问题,框架围绕 Data、Model、Compute、Workflow 四根支柱提供标准化配方(SFT、DPO、RL、蒸馏),底层跑在 Mako、PyTorch、Ray、vLLM 之上。三个核心教训:从 SFT 的 SPMD 模型演进到 RL 的「单控制器 + SPMD」混合架构(集成 Verl 做编排);全面拥抱 Hugging Face 生态,用 AutoTokenizer 作为唯一事实源消除训练-推理 skew,并用 AI coding agent + logit verifier 自动桥接新模型架构;差异化价值投在 on-the-fly sequence packing(吞吐提升最高 4.7 倍)和 vocab size 对齐 64 这类深水区优化上。对工程师的启示:训练框架的价值不在堆组件,在于把分布式系统的坑变成配置项。
阅读全文