大模型从入门到入土

基础

1 · 大模型基础
2 · 生成与解码
- 2.1 · 概率分布与采样
- 2.2 · 搜索、约束生成与工程正确性

预训练

3 · 扩展律
4 · 数据与评测
5 · 从零预训练

后训练

6 · 监督微调 SFT
7 · 强化学习后训练
8 · 推理与 Test-Time Compute
- 8.1 · 搜索、验证器与推理蒸馏

训推优化

9 · 训推系统
10 · KV-Cache 优化
11 · 投机解码
12 · 扩散模型
13 · 扩散语言模型 DLM
14 · 长上下文
- 14.1 · 位置外推、稀疏注意力与评测
- 14.2 · CP 上下文并行：原理、通信与加速
15 · MoE 推理优化
16 · 模型压缩与端侧部署
- 16.1 · 量化：低比特表示、方案与部署
- 16.2 · 蒸馏、剪枝与导出

AI Infra 实战

导读 · 从零理解 AI Infra
导读 · AI Infra 学习路线
17 · 前置知识
18 · CUDA 编程与算子优化
19 · 分布式训练
20 · 推理优化实战

应用与智能体

21 · 智能体 Agent
22 · RAG 与检索系统
- 22.1 · RAG 与检索系统基础
- 22.2 · 进阶 RAG 与评测
23 · 多模态大模型
- 23.1 · 多模态大模型：架构、连接与训练

评测与治理

24 · 合成数据与数据闭环
- 24.1 · 数据飞轮：合成、筛选、主动学习与治理
25 · 评测与 LLMOps
- 25.1 · LLM 与 Agent 的评测方法论
- 25.2 · 生产观测、发布与反馈（LLMOps）
26 · 大模型安全
- 26.1 · 大模型安全威胁模型
27 · 模型调试与可解释性
- 27.1 · 从数值诊断到机制解释
- 27.2 · J-space：可言语化表示与语言模型的全局工作空间

推理框架源码剖析

28 · 推理框架源码剖析
- 28.1 · vLLM 源码剖析
- 28.2 · SGLang 源码剖析

训练框架源码剖析

29 · 训练框架源码剖析

Agent 框架源码剖析

30 · Agent 框架源码剖析
- 30.1 · Codex CLI 源码剖析

动手实战项目

31 · 动手实战项目

附录

关于本站 · 内容从哪来

AI 助手会员

AI 助手会员#

登录后才可看