Posts
·
#Netflix
·
#模型服务
·
#路由
Netflix 模型服务路由笔记:把路由器从请求路径上拆掉
读 Netflix 技术博客《State of Routing in Model Serving》的笔记:Netflix 的中央 ML 模型服务平台以百万 QPS 为 30 多个客户端服务提供推理,核心设计是 Objective 抽象加 Switchboard 集中路由层——它换来了模型迭代对客户端完全透明,但也引入了单点故障和 10-20ms 额外延迟;最终的 Lightbulb 架构把模型选择和路由拆开,路由决策下沉到客户端侧的 Envoy,请求路径上不再有任何集中式路由器。对做内部平台、网关和 AI 工程的团队都有直接参考价值。
阅读全文
Posts
·
#Spring Boot
·
#Python
·
#微服务
Spring Boot + Python 双栈架构:AI 服务的工程化实践
分享我开发的方糖猫 AI 视频平台中 Java 与 Python 双栈协作的工程实践,包括职责划分、服务通信、数据一致性和部署运维经验。
阅读全文
Posts
·
#RAG
·
#LLM
·
#向量检索
RAG 系统完全笔记:从检索器到生产部署
基于吴恩达 DeepLearning.ai《Retrieval Augmented Generation》课程,我自己梳理了RAG 的核心组件:检索器、向量库、文档分块、查询重写、重排序、LLM 生成与生产部署要点,并给出各环节的落地工具与最佳实践。
阅读全文
Posts
·
#LLM
·
#JSON Schema
·
#Pydantic
LLM 输出 JSON 不稳定:Schema + 重试的实战方案
分享在方糖猫和 GeekCast Engine 中,如何通过 JSON Schema、Pydantic 校验和分层重试机制,把 LLM 结构化输出的成功率稳定在 98% 以上。
阅读全文
Posts
·
#Prompt Engineering
·
#LLM
·
#AI 工程
AI 工程师的 Prompt 工程:不是玄学,是工程实践
从我开发的真实的 AI 开发 Prompt 规则库(keframework-aidev-promptkit)和 AI 视频生成管线的实践出发,系统拆解 Prompt 工程:接口化设计、上下文工程、分层规则、Memory Bank、PLAN/ACT 双模式、Agent 编排、幻觉控制、多模态提示与评估回归。
阅读全文
Posts
·
#RocketMQ
·
#分布式渲染
·
#视频渲染
多 Worker 分布式渲染:从 HTTP 轮询到 RocketMQ
复盘我开发的方糖猫 AI 视频平台的渲染架构演进,从 HTTP 轮询到 RocketMQ Push,解决视频渲染任务的负载均衡、失败重试和水平扩展问题。
阅读全文
Posts
·
#Whisper
·
#LLM
·
#Remotion
口播视频自动剪辑:Whisper 词级时间轴 + LLM 视觉规划
分享我开发的 GeekCast Engine 口播自动剪辑平台的技术实现,包括 Whisper 词级转写、LLM 视觉元素规划、Remotion 组件化渲染与长视频 Token 限制处理。
阅读全文
Posts
·
#Netflix
·
#LLM
·
#后训练
Netflix 的 LLM 后训练框架:从「跑通脚本」到「管好四根支柱」
Netflix 技术博客介绍了其内部 LLM Post-Training Framework:后训练在大规模生产环境里本质是工程问题而非建模问题,框架围绕 Data、Model、Compute、Workflow 四根支柱提供标准化配方(SFT、DPO、RL、蒸馏),底层跑在 Mako、PyTorch、Ray、vLLM 之上。三个核心教训:从 SFT 的 SPMD 模型演进到 RL 的「单控制器 + SPMD」混合架构(集成 Verl 做编排);全面拥抱 Hugging Face 生态,用 AutoTokenizer 作为唯一事实源消除训练-推理 skew,并用 AI coding agent + logit verifier 自动桥接新模型架构;差异化价值投在 on-the-fly sequence packing(吞吐提升最高 4.7 倍)和 vocab size 对齐 64 这类深水区优化上。对工程师的启示:训练框架的价值不在堆组件,在于把分布式系统的坑变成配置项。
阅读全文
Posts
·
#LangGraph
·
#AI Agent
·
#Agent 记忆
LangGraph 入门:给传统工程师的 Agent 状态与编排指南
结合我开发的方糖猫 AI 短视频生成平台与 GeekCast Engine 口播剪辑项目的落地经验,从传统工程师视角理解 LangGraph 的核心概念:State、图编排、长期记忆,以及一些实用的调试小技巧。
阅读全文
Posts
·
#RAG
·
#Embedding
·
#ChromaDB
RAG 本地素材库:从 Embedding 选型到召回调优
分享我开发的方糖猫 AI 视频平台中 RAG 本地素材库的构建经验,包括 Embedding 选型、向量库设计、召回调优和工程化落地细节。
阅读全文
Posts
·
#Netflix
·
#GraphQL
·
#RAG
Netflix 图搜索的 AI 进化笔记:从结构化 DSL 到自然语言
Netflix 技术博客 Graph Search 系列第四篇的学习笔记:企业内部几百个应用原本靠 Graph Search Filter DSL 过滤数据,用户被迫学习每个应用的查询构建器;Netflix 用 LLM 做 Text-to-Query,把自然语言翻译成 DSL。核心工程经验有三条:把「正确」拆成语法、语义、语用三层分别治理;用双路 RAG(字段 RAG + 受控词表 RAG)给 LLM 裁剪上下文,解决几百个字段、上千个枚举值塞不进 prompt 的问题;用 AST 确定性校验兜底幻觉,再把 AST 反射回 UI 组件「show your work」建立用户信任。
阅读全文
Posts
·
#Claude Code
·
#AI 编程
·
#AI 工程
把 Claude Code 用成工程杠杆:落地心得
Claude Code 不只是代码补全工具。结合 个人软件工程经验,谈谈如何用 Plan 模式、CLAUDE.md、上下文管理、模型路由、MCP/Skills 等工具生态,把它变成稳定可复用的工程杠杆。
阅读全文