Posts 2026年8月8日 · #LLM · #大模型训练 · #Transformer

大模型是怎么炼成的？LLM 训练全流程数学拆解（公式 + 演算 + 避坑）

用中学生能看懂的数学语言，拆解 LLM 从数据预处理、Tokenization、Transformer 前向传播、Attention 计算、Cross Entropy 损失、反向传播到 AdamW 优化、RLHF 的完整训练流程，附 Mermaid 图解、计算例子和避坑指南。

Posts 2025年11月11日 · #LLM · #大模型 · #推理模型

生成式AI原理与实战（Part 4）学习笔记：推理模型、DeepSeek-R1 与高效训练架构

基于《生成式AI原理与实战 —— Part 4》的问题，从工程直觉出发回答推理模型、强化学习、DeepSeek-R1、GRPO、MLA、MoE、FP8、DualPipe 等高级主题。用 Mermaid 图例帮助初级开发者理解测试时计算、RLHF、模型架构创新与训练系统优化。

Posts 2025年11月9日 · #LLM · #大模型 · #Embedding

基于《生成式AI原理与实战 —— Part 3》，把文本嵌入模型、分类任务表示微调、生成模型微调与对齐等核心概念整理成适合初级开发者的长文。用 Mermaid 图例讲解对比学习、双塔/交叉编码器、SetFit、LoRA/QLoRA、PPO/DPO 等关键技术。

Posts 2025年11月8日 · #LLM · #大模型 · #提示工程

基于《生成式AI原理与实战 —— Part 2》，把提示工程、Agent 架构、RAG 检索增强生成等核心概念整理成适合初级开发者的长文。用 Mermaid 图例讲解 temperature/top_p、提示词结构、幻觉控制、Agent 工作流、文档分块与混合检索。

Posts 2025年11月7日 · #LLM · #大模型 · #Transformer

把《生成式AI原理与实战 —— Part 1》中 58 个核心问题，整理成一篇适合初级开发者阅读的 LLM 入门长文。用流程图和 Mermaid 图例讲解 Transformer、Token、Embedding、Attention、KV Cache、预训练/微调、文本分类与主题建模。

Posts 2025年11月6日 · #Transformer · #Attention · #LLM

结合《The Illustrated Transformer》与无恒实验室的 LLM 入门图解，从零讲解 Transformer：用大量 Mermaid 流程图和真实架构图，帮助 AI 应用开发者理解 Token、Embedding、Attention、训练过程与工程价值。

Posts 2025年11月1日 · #深度学习 · #反向传播 · #CNN

结合涌井良幸《深度学习的数学》及其 Excel 示例文件，用中学生数学能听懂的语言，梳理梯度下降法、NN 求解器、NN 误差反向传播法、CNN 求解器、CNN 误差反向传播法的核心思想、计算例子、Mermaid 图解和避坑指南。