读 Netflix 技术博客《State of Routing in Model Serving》的笔记：Netflix 的中央 ML 模型服务平台以百万 QPS 为 30 多个客户端服务提供推理，核心设计是 Objective 抽象加 Switchboard 集中路由层——它换来了模型迭代对客户端完全透明，但也引入了单点故障和 10-20ms 额外延迟；最终的 Lightbulb 架构把模型选择和路由拆开，路由决策下沉到客户端侧的 Envoy，请求路径上不再有任何集中式路由器。对做内部平台、网关和 AI 工程的团队都有直接参考价值。