Posts
·
#Netflix
·
#Kueue
·
#Kubernetes
Netflix 如何用 Kueue 简化批计算:一次百万级任务的换心手术
读 Netflix 技术博客《How Netflix Simplified Batch Compute with Kueue》:Netflix 自研的托管批处理方案 CMB 建于 2018 年,跑在容器平台 Titus 之上,自带租户层级、公平共享和容量管理;随着 K8s 生态成熟,这些轮子开源社区都造好了,于是他们把 CMB 的排队与调度层整体替换为 Kueue(Netflix Batch),对内租户映射成 Cohort、叶子租户映射成 ClusterQueue + LocalQueue,迁移做到对用户完全透明、先迁最大最复杂的客户、生产切换只花 4 周,并通过基于抢占的公平共享显著提升了资源利用率。对工程师的启示:API 不变、底层换引擎是最稳的迁移姿势;最复杂的客户要放在最前面迁;开源组件上生产前的 QPS 与并发参数要用负载测试提前摸底。
阅读全文