datawhalechina/diy-llm

▲ 566 stars today★ 2,440⑂ 230

Covers pre-training data, Tokenizer, Transformer, MoE,distributed training, Scaling Laws, inference & alignment .6 progressive code assignments for full-stack LLM learning |

About datawhalechina/diy-llm

datawhalechina/diy-llm is an open-source project on GitHub, mainly written in Jupyter Notebook. Covers pre-training data, Tokenizer, Transformer, MoE,distributed training, Scaling Laws It currently holds 2,440 stars and 230 forks with 11 open issues, and was last pushed on 2026-10-29 (repository created 2025-11-24).

Project Overview

Git Homed tracks it on the Today's Trending board.

GitHub Repository Details

Repository datawhalechina/diy-llm · default branch main · size 205746 KB · watchers 3 · source: GitHub REST API and repository README

README

https://github.com/datawhalechina/diy-llm/blob/HEAD/alt text

Diy-LLM

https://github.com/datawhalechina/diy-llm/blob/HEAD/简体中文 https://github.com/datawhalechina/diy-llm/blob/HEAD/English

https://github.com/datawhalechina/diy-llm/blob/HEAD/GitHub stars https://github.com/datawhalechina/diy-llm/blob/HEAD/GitHub forks https://github.com/datawhalechina/diy-llm/blob/HEAD/Language https://github.com/datawhalechina/diy-llm/blob/HEAD/GitHub Project

https://github.com/datawhalechina/diy-llm/blob/HEAD/在线阅读 https://github.com/datawhalechina/diy-llm/blob/HEAD/PDF 讲义 https://github.com/datawhalechina/diy-llm/blob/HEAD/作业代码

📚 大模型是怎样炼成的

从分词器、数据与训练,到系统优化、推理、对齐、评估与多模态,把构建 LLM 的整条链路连成一套知识体系。

训练大模型常被戏称"炼丹":数据是灵材,算力是丹炉,超参数全靠手感。CS336 把这套流程讲透了,但门槛不低;我们把每味"药材"和每道工序拆开写清楚,尽量让玄学变回能复现的原理和代码。

✍️ 项目缘起

2025 年春季,Stanford CS336: Language Modeling from Scratch 正式开课。课程很硬核,社区里陆续有学员反馈:想学,但英文讲义、前置知识和作业环境都是门槛,希望有一份能真正读懂、也能跟着做出来的中文版。

于是我们召集了一批贡献者,用半年多的时间走完 创作 → 内测 → 公测 → 逐章打磨 的流程。这不是把原版搬运翻译一遍,而是按中文学习者的学习习惯重新组织知识体系:补背景知识、写作业实现、核对并补充参考内容来源、加入国产模型案例。过程中借助 AI 做辅助翻译与资料整理,但成稿由贡献者人工撰写定稿、交叉审校,并依据内测与公测读者的反馈反复修订。不是机翻稿,也不是 AI 批量生成的内容,主要章节都有明确的作者,并设全文内容审核。我们把它称作"有人味儿"的教程,这也是这个项目最花时间的地方。

目前课程包含 16 章正文 + 6 个配套作业,由 3 位项目负责人统筹、多位社区贡献者参与,并持续接受勘误与修订(名单见下方「贡献者」)。

我们做了哪些本土化改造

| 维度 | 原版 CS336 | Diy-LLM 中文版 | |------|------------|----------------| | 知识组织 | 按 lecture 顺序推进,默认已具备数学、PyTorch 与系统基础 | 按"构建 LLM 的工程流程"重排章节,把数学、PyTorch、GPU 等前置知识单独补齐讲解,学习曲线更平滑 | | 讲解方式 | 英文课堂讲授 + 讲义 | 中文逐章撰写,关键推导、术语和易混淆点展开讲,同时保留原版技术深度 | | 作业实践 | 提供作业说明与测试 | 6 个作业给出可运行的实现,并复盘"写下每一行代码时的思考过程";补充 CPU 调试、MacBook MPS 等适配 | | 参考内容来源 | 课程讲义与论文线索 | 补充更详细的参考内容来源,方便顺藤摸瓜读原始资料 | | 模型与案例 | 以英文语境下的主流模型为主 | 增加 Qwen、DeepSeek、Qwen-VL 等国产模型,以及 DeepSeekMoE、R1 / GRPO 等案例 | | 评估视角 | MMLU、HumanEval 等国际基准 | 补充 C-EVAL 等中文 benchmark,并接入作业 6 | | 运行环境 | 以课程配套的算力与环境为前提 | 面向国内网络与算力条件:云算力方案、CPU / Mac 调试建议、可离线阅读的 PDF 讲义 | | 内容生产 | — | 人工撰写定稿(AI 辅助翻译与整理)+ 交叉审校 + 内测/公测反馈修订,非 AI 批量生成 |

由于中文版按工程流程重新编排,章节编号与原版 lecture 并非一一对应,学习时建议以本项目的章节顺序为准,阅读起来更丝滑哦~

版本对应关系

📋 前置要求

🎯 学完能做什么

这门课不停在"了解概念":每个环节要么能动手做出来,要么能讲清设计取舍。

📖 课程目录

| 章节 | 关键内容 | 配套作业 | 状态 | |------|----------|----------|------| | 前言 | 项目背景、学习路线、前置知识 | - | ✅ | | 第1章 工具使用 | W&B 实验追踪、超参数搜索、可视化面板 | - | 📝 | | 第2章 分词器 | BPE 算法原理、Unicode 规范化、手写 tokenizer 训练代码 | 作业1 | ✅ | | 第3章 PyTorch 与资源核算 | 混合精度训练、梯度累积、FLOPs/显存估算 | - | ✅ | | 第4章 语言模型架构与训练细节 | RoPE、RMSNorm、SwiGLU、AdamW、Pre-Norm vs Post-Norm、学习率调度 | 作业1 | ✅ | | 第5章 混合专家模型 | Top-K 路由、负载均衡、辅助损失、Expert Parallelism、DeepSeekMoE | - | ✅ | | 第6章 GPU 与相关优化 | 显存带宽与计算强度、Flash Attention、Kernel Fusion、混合精度、BF16/TF32 | 作业2 | ✅ | | 第7章 GPU 高性能编程 | CUDA 编程模型、Tensor Cores、Shared Memory、Triton 入门 | 作业2 | ✅ | | 第8章 分布式训练 | 数据并行/模型并行/流水线并行、ZeRO-1/2/3、FSDP、梯度累积、All-Reduce | 作业2 | ✅ | | 第9章 Scaling Laws | Chinchilla 定律、计算最优配置、Scaling 实验设计、Extrapolation | 作业3 | ✅ | | 第10章 推理 | KV Cache、投机解码、量化 (GPTQ/AWQ)、PagedAttention、Continuous Batching | 作业6 | ✅ | | 第11章 数据工程 | 数据质量过滤、MinHash 去重、PII 脱敏、数据配比、Data Curriculum | 作业4 | ✅ | | 第12章 评估与基准测试 | MMLU、HumanEval、HELM、CEval、AlpacaEval、Arena 排名 | 作业6 | ✅ | | 第13章 大模型的基本训练流程 | Pre-training、SFT、DPO、RLHF PPO 流程、Alignment Tax | 作业5 | ✅ | | 第14章 可验证奖励的强化学习 | GRPO、Rule-based Verifier、Outcome/Process Reward、RLVR 与 R1 训练方案 | 作业5 | ✅ | | 第15章 多模态模型 | 从 CLIP 到 Omni Model:CLIP/SigLIP、LLaVA、Qwen-VL、Chameleon | - | ✅ | | 第16章 扩展内容 | 1. 什么是LLM推理?(黎又榛)
2. LLM 的未来 - LeCun(黎又榛、jiangyinhe、李盛康、徐虎)| - | 🔄 |

状态图例说明:✅ 已完成 🔄 更新中 📝 待完善 🚧 筹备中 ⏸️ 暂缓

📝 作业概览

| 作业 | 核心任务 |状态 | |------|----------|------| | 作业1:手搓大模型 | 实现 tokenizer、model architecture、optimizer,训练一个极简语言模型 | ✅ | | 作业2:系统优化 | 性能分析与基准测试;用 Triton 实现 FlashAttention-2;构建分布式训练代码 | ✅ | | 作业3:扩展定律 | 理解 Transformer 各组件功能;拟合 scaling law 预测模型扩展效果 | ✅ | | 作业4:数据处理 | 将 Common Crawl 原始数据转换为预训练数据集,执行过滤与去重 | ✅ | | 作业5:模型对齐 | 应用 SFT 与强化学习(如 GRPO)训练模型解决数学问题 | ✅ | | 作业6:模型评估 | 使用 lm-evaluation-harness 和 evalscope 进行多维度评测(语言理解、常识推理、代码、数学推理) | ✅ |

🚀 快速开始

# 克隆仓库
git clone https://github.com/datawhalechina/diy-llm.git
cd diy-llm

安装基础依赖(根据具体作业需求安装)

学习路径

1️⃣ 理论学习 → 按章节顺序阅读 docs/zh/ 目录下的中文文档(English version in docs/en/) 2️⃣ 实践练习 → 完成 coursework/ 目录下的 6 个作业 3️⃣ 深入理解 → 阅读代码实现,理解每个组件的设计

项目结构

diy-llm/
├── docs/                    # 在线文档
│   ├── zh/                 # 中文文档(默认)
│   │   ├── 前言.md
│   │   ├── chapter1/       # 工具使用
│   │   ├── chapter2/       # 分词器
│   │   ├── chapter3/       # PyTorch 与资源核算
│   │   ├── chapter4/       # 语言模型架构与训练细节
│   │   ├── chapter5/       # 混合专家模型
│   │   ├── chapter6/       # GPU 与相关优化
│   │   ├── chapter7/       # GPU 高性能编程
│   │   ├── chapter8/       # 分布式训练
│   │   ├── chapter9/       # Scaling Laws
│   │   ├── chapter10/      # 推理
│   │   ├── chapter11/      # 数据工程
│   │   ├── chapter12/      # 评估与基准测试
│   │   ├── chapter13/      # 大模型的基本训练流程
│   │   ├── chapter14/      # 可验证奖励的强化学习
│   │   ├── chapter15/      # 多模态模型
│   │   └── chapter16/      # 前沿扩展内容
│   ├── en/                 # English documentation
│   │   └── ...
│   └── .vitepress/         # VitePress 配置
├── coursework/              # 实践作业
│   ├── assignment1-basics/        # 作业1:手搓大模型
│   ├── assignment2-systems/       # 作业2:系统优化
│   ├── assignment3-scaling/       # 作业3:扩展定律
│   ├── assignment4-data/          # 作业4:预训练数据处理
│   ├── assignment5-alignment/     # 作业5:对齐
│   └── assignment6-evaluation/    # 作业6:评估
├── README.md               # 中文项目说明
├── README_EN.md            # English project overview
└── .gitignore              # Git忽略配置

PDF 版本下载

本教程提供 PDF 版本,方便离线阅读和打印学习。为防止各类营销号加水印后贩卖给想学 LLM 的读者,我们特地在 PDF 文件中添加了不影响阅读的 Datawhale 开源标志水印,敬请谅解~

📥 Diy-LLM 课程讲义 PDF: https://github.com/datawhalechina/diy-llm/releases/latest/

🔗 相关链接

❓ 常见问题

Q: 没有 GPU 可以学习吗?

理论部分可以正常学习,作业中的部分内容可以在 CPU 上调试,但完整训练需要 GPU。建议使用云服务平台。

Q: 与原版 CS336 有什么区别?

我们在保留原版技术深度的基础上,针对中文学习者进行了本土化改造,包括中文讲解、作业实现、更详细的参考内容来源、国产模型案例等。逐项对照见「我们做了哪些本土化改造」,两届原版课程的对应关系见「版本对应关系」。

💬 读者交流群

欢迎加入 Diy-LLM 读者交流群,与大家一起交流学习、答疑解惑:

https://github.com/datawhalechina/diy-llm/blob/HEAD/读者交流群1二维码
读者交流群1
https://github.com/datawhalechina/diy-llm/blob/HEAD/读者交流群2二维码
读者交流群2

群1满员后可加入群2。如果两个群二维码都过期或已满,可以添加以下任一负责人的微信(备注「diy-llm」),由我们拉你入群:

| 负责人 | 微信号 | |--------|--------| | 徐虎 | xuhu96736 | | 黎又榛 | zydsx111 | | 李盛康 | muzichengminguangli |

👥 贡献者

贡献者名单

https://github.com/datawhalechina/diy-llm/blob/HEAD/pic
徐虎

项目负责人
Datawhale 成员
上海交通大学
负责内容:第1、3、9、12、14、15章;作业5、6;全文内容审核

https://github.com/datawhalechina/diy-llm/blob/HEAD/pic
李盛康

项目负责人
Datawhale 成员
西安邮电大学
负责内容:第4、6、7、8、13章;作业2、4

https://github.com/datawhalechina/diy-llm/blob/HEAD/pic
黎又榛

项目负责人
Datawhale 成员
负责内容:第2、5、10、11、13章;作业1、3;

社区贡献

如何贡献

欢迎勘误、作业实现、内容补充、翻译与经验分享。动手前请先读 CONTRIBUTING.md,完整的提交流程、内容与代码规范、PR 自查清单都在那里。

最要紧的三条:小改动可直接提 Issue 或 PR,新章节与大改动先开 Issue 讨论;PR 要写清改了什么、依据和验证结果;可以用 AI 辅助,但提交内容必须自己通读、能解释、验证过——AI 批量生成、密集提交的 PR 会被要求合并说明或整体关闭,反复提交者不再接收。

🗓️ 版本与里程碑

整体进度:████████████████░░░░ 创作 → 内测 → 公测 → 二轮公测已完成,进入持续维护

✅ 创作与打磨
2025.11 — 2026.02
✅ 内测
2026.03.05
✅ 公测
2026.04
✅ 二轮公测
2026.09
🔄 持续维护
2026.10 — 至今

| 时间 | 里程碑 | 依据 | |------|--------|------| | 2025-11-24 | 仓库启动,从分词器章节开始创作 | Initial commit | | 2025-12 — 2026-01 | 内容创作高峰(12 月 186 次提交),作业实现陆续完成 | 提交「完成作业一」「完成作业」 | | 2026-03-05 | 内测 | 内测反馈修订 | | 2026-04 | 公测 | 公测反馈修订 | | 2026-06-10 | V0.1:讲义 PDF 上线 | tag V0.1、add pdf download | | 2026-07-26 | 补入 CS336 2026 新版内容 | 提交「修改第七章,新增2026内容」 | | 2026-08-17 | V0.2:讲义 PDF v2、读者交流群 | tag V0.2、pdf v2 + reader communication | | 2026-09 | 二轮公测 | 二轮公测反馈修订 | | 2026-10 — 至今 | 持续勘误:公式渲染、图示、表述 | 近两月 28 次提交 |

📄 许可证

https://github.com/datawhalechina/diy-llm/blob/HEAD/知识共享许可协议

本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。

🙏 致谢

⭐ Star History

如果这个项目对你有帮助,欢迎给个 Star ⭐️!

https://github.com/datawhalechina/diy-llm/blob/HEAD/Star History Chart ---

让更多人能够系统性地学习大语言模型构建技术

Made with ❤️ by the Datawhale

GitHub Stars & Activity

2,440Stars
230Forks
11Open issues
Jupyter NotebookLanguage

GitHub Popularity

GitHub stars2,440
Forks230
Open issues11
Primary languageJupyter Notebook
License-
Stars gained today566
Created2025-11-24
Last pushed2026-10-29

Trending History

Weekly boardrank #79 · ▲ 566 stars

Related GitHub Projects

1

Lordog / dive-into-llms

Jupyter Notebook★ 59,440⑂ 7,076▲ 217 stars
→
2

anthropics / claude-cookbooks

Jupyter Notebook★ 54,274⑂ 6,575▲ 49 stars
→
3

anthropics / prompt-eng-interactive-tutorial

Jupyter Notebook★ 39,093⑂ 4,330▲ 33 stars
→
4

FinanceFlash / unvibecode

Jupyter Notebook★ 1,249⑂ 156▲ 122 stars
→
5

mattpocock / skills

Shell★ 316,042⑂ 26,444▲ 2,071 stars
→
6

clash-verge-rev / clash-verge-rev

Rust★ 156,669⑂ 11,258▲ 246 stars
→
7

github / spec-kit

Python★ 148,048⑂ 13,291▲ 674 stars
→
8

garrytan / gstack

TypeScript★ 140,279⑂ 20,713▲ 612 stars
→

More Trending Repositories