Netflix AI Platform 团队复盘其自建 LLM 推理平台的技术决策：引擎从 TensorRT-LLM 换成 vLLM（自定义架构免编译、调试性、可扩展钩子），打包选 Triton vLLM backend（JSON 配置动态生成 I/O 规格，代价是版本必须锁死），API 面同时暴露 gRPC 与 OpenAI 兼容接口（发现并补上了 response_format 被静默丢弃的坑），部署提供 Red-Black 与 Versioned 两种策略以应对 I/O schema 变更的协调难题；最硬核的一节是约束解码从 vLLM V0 逐请求串行（GIL 导致 CPU 随 batch 线性增长）迁移到 V1 批级处理并用 C++ 重写热路径，以及 partial prefill 和 preemption 两个状态机陷阱。对工程师的启示：性能瓶颈只在真实并发下现形，状态假设要在引擎语义变更时重新审计。