Posts
·
#Ontology
·
#本体
·
#知识图谱
本体数据(Ontology Data)核心概念与组成要素:从本体构建到智能体落地的实施路径
梳理本体数据(Ontology Data)的核心概念与组成要素——类、实例、属性、关系、公理与动作,对比本体、知识图谱与语义层的边界,并给出一套从业务域盘点、本体建模、数据实例化到语义服务化、Agent 接入与治理迭代的完整实施路径,附 Mermaid 图例、制造业实战案例与 2026 年最新行业动态(Palantir AIP、Microsoft Fabric IQ、信通院本体智能报告等)。
阅读全文
Posts
·
#Netflix
·
#LLM Serving
·
#VLLM
Netflix 自建 LLM 推理平台笔记:四个层层相扣的决策
Netflix AI Platform 团队复盘其自建 LLM 推理平台的技术决策:引擎从 TensorRT-LLM 换成 vLLM(自定义架构免编译、调试性、可扩展钩子),打包选 Triton vLLM backend(JSON 配置动态生成 I/O 规格,代价是版本必须锁死),API 面同时暴露 gRPC 与 OpenAI 兼容接口(发现并补上了 response_format 被静默丢弃的坑),部署提供 Red-Black 与 Versioned 两种策略以应对 I/O schema 变更的协调难题;最硬核的一节是约束解码从 vLLM V0 逐请求串行(GIL 导致 CPU 随 batch 线性增长)迁移到 V1 批级处理并用 C++ 重写热路径,以及 partial prefill 和 preemption 两个状态机陷阱。对工程师的启示:性能瓶颈只在真实并发下现形,状态假设要在引擎语义变更时重新审计。
阅读全文
Posts
·
#Agent Memory
·
#Mem0
·
#LLM
Agent Memory 科普:用 Mem0 给 AI 加上长时记忆
介绍 Agent Memory 的概念与分类,并以 GitHub 4.9 万星的 mem0 为例,讲解它如何作为长时记忆中间件,为 LLM 应用提供统一、可插拔的记忆能力。
阅读全文
Posts
·
#Spring Boot
·
#Python
·
#微服务
Spring Boot + Python 双栈架构:AI 服务的工程化实践
分享我开发的方糖猫 AI 视频平台中 Java 与 Python 双栈协作的工程实践,包括职责划分、服务通信、数据一致性和部署运维经验。
阅读全文
Posts
·
#RAG
·
#LLM
·
#向量检索
RAG 系统完全笔记:从检索器到生产部署
基于吴恩达 DeepLearning.ai《Retrieval Augmented Generation》课程,我自己梳理了RAG 的核心组件:检索器、向量库、文档分块、查询重写、重排序、LLM 生成与生产部署要点,并给出各环节的落地工具与最佳实践。
阅读全文
Posts
·
#Prompt Engineering
·
#LLM
·
#AI 工程
AI 工程师的 Prompt 工程:不是玄学,是工程实践
从我开发的真实的 AI 开发 Prompt 规则库(keframework-aidev-promptkit)和 AI 视频生成管线的实践出发,系统拆解 Prompt 工程:接口化设计、上下文工程、分层规则、Memory Bank、PLAN/ACT 双模式、Agent 编排、幻觉控制、多模态提示与评估回归。
阅读全文
Posts
·
#Netflix
·
#LLM
·
#后训练
Netflix 的 LLM 后训练框架:从「跑通脚本」到「管好四根支柱」
Netflix 技术博客介绍了其内部 LLM Post-Training Framework:后训练在大规模生产环境里本质是工程问题而非建模问题,框架围绕 Data、Model、Compute、Workflow 四根支柱提供标准化配方(SFT、DPO、RL、蒸馏),底层跑在 Mako、PyTorch、Ray、vLLM 之上。三个核心教训:从 SFT 的 SPMD 模型演进到 RL 的「单控制器 + SPMD」混合架构(集成 Verl 做编排);全面拥抱 Hugging Face 生态,用 AutoTokenizer 作为唯一事实源消除训练-推理 skew,并用 AI coding agent + logit verifier 自动桥接新模型架构;差异化价值投在 on-the-fly sequence packing(吞吐提升最高 4.7 倍)和 vocab size 对齐 64 这类深水区优化上。对工程师的启示:训练框架的价值不在堆组件,在于把分布式系统的坑变成配置项。
阅读全文
Posts
·
#LangGraph
·
#AI Agent
·
#Agent 记忆
LangGraph 入门:给传统工程师的 Agent 状态与编排指南
结合我开发的方糖猫 AI 短视频生成平台与 GeekCast Engine 口播剪辑项目的落地经验,从传统工程师视角理解 LangGraph 的核心概念:State、图编排、长期记忆,以及一些实用的调试小技巧。
阅读全文
Posts
·
#职业转型
·
#AI 创业
·
#华为
我从华为到 AI 创业:一个 18 年老程序员的转型复盘
我从华为 8 年、IBM 2 年到 AI 创业,复盘一个 18 年老程序员的转型路径、认知变化、能力补齐和踩过的坑。
阅读全文
Posts
·
#Claude Code
·
#AI 编程
·
#AI 工程
把 Claude Code 用成工程杠杆:落地心得
Claude Code 不只是代码补全工具。结合 个人软件工程经验,谈谈如何用 Plan 模式、CLAUDE.md、上下文管理、模型路由、MCP/Skills 等工具生态,把它变成稳定可复用的工程杠杆。
阅读全文
Posts
·
#AI 工程
·
#LLM
·
#RAG
《AI 工程》学习笔记(下):RAG、Agent、微调、推理优化与应用架构
读 Chip Huyen《AI 工程:大模型应用开发实战》下半部分(第 6-10 章)的实战向总结:RAG 检索工程、Agent 规划与失败模式、微调与 RAG 的抉择、数据工程、推理优化指标,以及完整的 AI 应用架构。附踩坑记录、案例和面试高频题。
阅读全文
Posts
·
#AI 工程
·
#LLM
·
#评估
《AI 工程》学习笔记(上):基础模型、评估方法论与提示工程
读 Chip Huyen《AI 工程:大模型应用开发实战》上半部分(第 1-5 章)的实战向总结:AI 工程全景、采样的概率本质、怎么搭一条靠谱的评估流水线、提示工程的最佳实践与防御。附带踩坑记录、真实案例和面试高频题。
阅读全文