Posts
·
#Spark
·
#Flink
·
#大数据
Spark 与 Flink 入门:批与流的两种血统,视频公司里各干什么活
Spark 是批处理血统的分布式计算引擎,Flink 是流处理血统的——血统决定了延迟模型、状态管理和生态主场。本文讲清两者的基础概念并附 Java API 示例(Spark ETL/ALS 训练、Flink 事件时间窗口/状态 TTL),以一家类 Netflix 的视频公司为背景给出具体用例,以及算力规格估算、监控指标、故障恢复剧本和两家的避坑清单。
阅读全文
Posts
·
#Flink
·
#流处理
·
#自动扩缩容
三万个 Flink 作业怎么自动扩缩容:Netflix 两代 Autoscaler 的教训
Netflix 同时跑着两个 Flink 自动扩缩容器:2019 年自研的’外部观察者’和社区开源的’内部推理者’。读 Netflix 技术博客《A Tale of Two Flink Autoscalers》的学习笔记:为什么看容器指标的扩缩容有天花板,True Processing Rate 怎么逐顶点算并行度,以及把开源算法落到三万个作业上时补的三个工程缺口。
阅读全文