Posts 2026年8月8日 · #LLM · #大模型训练 · #Transformer

大模型是怎么炼成的？LLM 训练全流程数学拆解（公式 + 演算 + 避坑）

用中学生能看懂的数学语言，拆解 LLM 从数据预处理、Tokenization、Transformer 前向传播、Attention 计算、Cross Entropy 损失、反向传播到 AdamW 优化、RLHF 的完整训练流程，附 Mermaid 图解、计算例子和避坑指南。

Posts 2025年11月11日 · #LLM · #大模型 · #推理模型

生成式AI原理与实战（Part 4）学习笔记：推理模型、DeepSeek-R1 与高效训练架构

基于《生成式AI原理与实战 —— Part 4》的问题，从工程直觉出发回答推理模型、强化学习、DeepSeek-R1、GRPO、MLA、MoE、FP8、DualPipe 等高级主题。用 Mermaid 图例帮助初级开发者理解测试时计算、RLHF、模型架构创新与训练系统优化。

Posts 2025年11月9日 · #LLM · #大模型 · #Embedding

基于《生成式AI原理与实战 —— Part 3》，把文本嵌入模型、分类任务表示微调、生成模型微调与对齐等核心概念整理成适合初级开发者的长文。用 Mermaid 图例讲解对比学习、双塔/交叉编码器、SetFit、LoRA/QLoRA、PPO/DPO 等关键技术。