Posts
·
#Spark
·
#Flink
·
#大数据
Spark 与 Flink 入门:批与流的两种血统,视频公司里各干什么活
Spark 是批处理血统的分布式计算引擎,Flink 是流处理血统的——血统决定了延迟模型、状态管理和生态主场。本文讲清两者的基础概念并附 Java API 示例(Spark ETL/ALS 训练、Flink 事件时间窗口/状态 TTL),以一家类 Netflix 的视频公司为背景给出具体用例,以及算力规格估算、监控指标、故障恢复剧本和两家的避坑清单。
阅读全文
Posts
·
#Netflix
·
#Kueue
·
#Kubernetes
Netflix 如何用 Kueue 简化批计算:一次百万级任务的换心手术
读 Netflix 技术博客《How Netflix Simplified Batch Compute with Kueue》:Netflix 自研的托管批处理方案 CMB 建于 2018 年,跑在容器平台 Titus 之上,自带租户层级、公平共享和容量管理;随着 K8s 生态成熟,这些轮子开源社区都造好了,于是他们把 CMB 的排队与调度层整体替换为 Kueue(Netflix Batch),对内租户映射成 Cohort、叶子租户映射成 ClusterQueue + LocalQueue,迁移做到对用户完全透明、先迁最大最复杂的客户、生产切换只花 4 周,并通过基于抢占的公平共享显著提升了资源利用率。对工程师的启示:API 不变、底层换引擎是最稳的迁移姿势;最复杂的客户要放在最前面迁;开源组件上生产前的 QPS 与并发参数要用负载测试提前摸底。
阅读全文