方糖猫Blog

Netflix 技术博客的 GenPage 论文解读：把首页构建从「多级召回排序流水线」改写成「prompt 进、页面出」的序列生成问题——用户历史与请求上下文编码为自定义 token 序列作 prompt，decoder-only transformer 自回归生成含行、实体、布局的整个首页；训练照搬 LLM 配方（next-token 预训练 + WBC 或 RL 后训练），上线靠自定义 tokenizer、语义 embedding 融合解决冷启动、多节奏增量训练保鲜、约束解码执行业务规则、混合行解码压延迟。线上 A/B 对成熟多级系统核心指标显著提升且端到端延迟降 20%；离线最有价值的结论是：在当前阶段，丰富 prompt 的收益（WBC loss 降约 6.9%）远大于模型扩容 7.5 倍（降约 1.3%），且 RL 后训练在不含多样性目标的情况下反而提升了页面多样性。

介绍 Agent Memory 的概念与分类，并以 GitHub 4.9 万星的 mem0 为例，讲解它如何作为长时记忆中间件，为 LLM 应用提供统一、可插拔的记忆能力。

分享我在方糖猫 AI 视频平台中，如何使用 ReAct Agent 将’文案 → 成片’的复杂流程拆解为可编排、可观测、可恢复的任务流水线。

读 Netflix 技术博客《How Netflix Simplified Batch Compute with Kueue》：Netflix 自研的托管批处理方案 CMB 建于 2018 年，跑在容器平台 Titus 之上，自带租户层级、公平共享和容量管理；随着 K8s 生态成熟，这些轮子开源社区都造好了，于是他们把 CMB 的排队与调度层整体替换为 Kueue（Netflix Batch），对内租户映射成 Cohort、叶子租户映射成 ClusterQueue + LocalQueue，迁移做到对用户完全透明、先迁最大最复杂的客户、生产切换只花 4 周，并通过基于抢占的公平共享显著提升了资源利用率。对工程师的启示：API 不变、底层换引擎是最稳的迁移姿势；最复杂的客户要放在最前面迁；开源组件上生产前的 QPS 与并发参数要用负载测试提前摸底。

研读 Netflix 技术博客《A Human-Augmenting Agentic Workflow for Causal Inference》：观测性因果推断（OCI）没有 ground truth，无法拿结果对错来评估 agent，Netflix 的解法是 Principal-Actor-Critic 三角色的 actor-critic 工作流——agent 按模板化脚手架执行分析并跑全套设计诊断（协变量平衡、重叠性、安慰剂检验、敏感性分析），同时产出可复现的 notebook 和报告供人类做「过程审计」；案例里脚手架把估计值修正到裸调模型的四分之一，ACIC 2016 数据集评测显示 critic 能把好估计和坏估计分开，带脚手架的 LLM 十个数据集复原九个真值，裸调则全军覆没。

结合阿里通义实验室开源框架 AgentScope 2.0，聊聊企业级多智能体系统需要哪些工程化能力，以及它和自研 Agent 架构的取舍。

读 Netflix 技术博客《From Silos to Service Topology》的工程向笔记：Netflix 分析了四年的工程师求助记录，发现最高频的问题全是依赖问题（上下游是谁、爆炸半径多大、故障源在哪），于是用三路互补的数据源（eBPF 网络流、IPC 指标、分布式追踪）各自建图、物理隔离、并行查询后合并，再经 Kafka + Pekko Streams 三级聚合管线实时入库，最终对外暴露亚秒级查询的 gRPC API 和可视化界面；核心启示是「单一数据源永远讲不全依赖关系」和「小时级陈旧的拓扑图是考古不是可观测性」。

读 Netflix 技术博客《State of Routing in Model Serving》的笔记：Netflix 的中央 ML 模型服务平台以百万 QPS 为 30 多个客户端服务提供推理，核心设计是 Objective 抽象加 Switchboard 集中路由层——它换来了模型迭代对客户端完全透明，但也引入了单点故障和 10-20ms 额外延迟；最终的 Lightbulb 架构把模型选择和路由拆开，路由决策下沉到客户端侧的 Envoy，请求路径上不再有任何集中式路由器。对做内部平台、网关和 AI 工程的团队都有直接参考价值。

分享我开发的方糖猫 AI 视频平台中 Java 与 Python 双栈协作的工程实践，包括职责划分、服务通信、数据一致性和部署运维经验。

整理独立开发者 idoubi（艾逗笔）的三篇年终复盘《2023，我做过的 AI 项目》《2024，我追过的 AI 风口》《2025，MCP、Agent、AI Coding》：从注册 ChatGPT 写 SDK 起步，到裸辞腾讯、一年上线 11 款 AI 产品，再到 2025 年收敛深耕做出 MCP.so 爆款、出版《这就是 MCP》的完整时间线，以及每个阶段背后的得失教训。

基于吴恩达 DeepLearning.ai《Retrieval Augmented Generation》课程，我自己梳理了RAG 的核心组件：检索器、向量库、文档分块、查询重写、重排序、LLM 生成与生产部署要点，并给出各环节的落地工具与最佳实践。

分享在方糖猫和 GeekCast Engine 中，如何通过 JSON Schema、Pydantic 校验和分层重试机制，把 LLM 结构化输出的成功率稳定在 98% 以上。