Posts
·
#Spark
·
#Flink
·
#大数据
Spark 与 Flink 入门:批与流的两种血统,视频公司里各干什么活
Spark 是批处理血统的分布式计算引擎,Flink 是流处理血统的——血统决定了延迟模型、状态管理和生态主场。本文讲清两者的基础概念并附 Java API 示例(Spark ETL/ALS 训练、Flink 事件时间窗口/状态 TTL),以一家类 Netflix 的视频公司为背景给出具体用例,以及算力规格估算、监控指标、故障恢复剧本和两家的避坑清单。
阅读全文
Posts
·
#Spark
·
#大数据
·
#后端开发
Spark 从入门到精通:架构原理、RDD/DataFrame、调优踩坑与电商实战全指南
一条由浅入深的 Spark 成长路线:搞懂 Driver/Executor 架构,吃透 RDD 与 DataFrame 的分水岭,用真实电商场景(订单宽表、用户行为漏斗、实时推荐特征)串起所有知识点,附上我当年生产环境踩过的数据倾斜、OOM、小文件三大天坑,最后聊聊 AI 时代如何用自然语言把大数据开发的工作量砍掉一大半。含 Mermaid 图解、可运行 Demo 和排障清单。
阅读全文