7. 从零训练 TinyGPT

资料包中的 code/04_tiny_gpt.py 包含：

• 字符 tokenizer。
• token embedding 与位置 embedding。
• 多头因果注意力。
• Transformer Block。
• LayerNorm、MLP 与残差。
• 权重共享。
• 交叉熵训练。
• AdamW、梯度裁剪。
• 自回归 top-k 采样。
• checkpoint 保存和加载。

7.1 第一次训练

python code/04_tiny_gpt.py train \
  --data data/tiny_corpus.txt \
  --steps 2000

需要逐步观察模型结构和损失曲线时，可使用训练一个最小 GPT Notebook。

生成：

python code/04_tiny_gpt.py generate \
  --prompt "注意力" \
  --max-new-tokens 200

该语料很小，模型主要会学习字符组合和局部句式，不会获得真正的知识能力。它的价值是让完整链路在几分钟内可观察。

7.2 读代码的正确顺序

1. build_char_vocab：文字如何变成整数。
2. batch：输入和标签如何错一位。
3. TinyGPT.forward：形状如何从 [B,T] 变成 [B,T,V]。
4. CausalSelfAttention：如何拆 head、做 attention、再拼回。
5. loss.backward()：梯度如何产生。
6. optimizer.step()：参数如何更新。
7. generate：训练时并行预测与推理时逐 token 生成有何不同。

7.3 逐步实验

7.4 参数共享

代码中：

self.lm_head.weight = self.token_embedding.weight

输入 embedding 把 token ID 映射为向量，输出头把隐藏向量投影回 token 空间。权重共享能减少约 V × C 参数，也建立输入与输出表示之间的联系。

7.5 这份 TinyGPT 没有实现什么

为了可读性，它没有：

• RoPE、RMSNorm、SwiGLU、GQA。
• KV Cache。
• 混合精度和分布式训练。
• 高效数据流、文档级去重和生产 checkpoint。
• 学习率 warmup/cosine schedule。
• Flash Attention 的专门控制与性能剖析。

这不是缺陷隐藏，而是学习顺序：先理解最小闭环，再逐项加入现代组件。

7.6 动手：完成第一个可复查的训练闭环

实验 04｜TinyGPT　资源：CPU/MPS/CUDA；时间：快速验收约 1～5 分钟，正式小实验约 5～30 分钟；产物：checkpoint、训练日志、两组生成和实验报告。

第一步只做冒烟测试，目的是尽快发现路径、设备和形状错误：

python code/04_tiny_gpt.py train \
  --data data/tiny_corpus.txt \
  --checkpoint artifacts/checkpoints/tiny-gpt-smoke.pt \
  --steps 20 \
  --batch-size 4 \
  --block-size 32 \
  --layers 2 \
  --heads 2 \
  --width 64 \
  --log-every 5

成功信号：

• 首行打印 device、vocab 和参数量。
• 每个日志点的 loss、perplexity 和 elapsed 都是有限数。
• artifacts/checkpoints/tiny-gpt-smoke.pt 能被生成命令重新加载。

python code/04_tiny_gpt.py generate \
  --checkpoint artifacts/checkpoints/tiny-gpt-smoke.pt \
  --prompt "注意力" \
  --max-new-tokens 40

冒烟测试不要求文本有意义。之后再做正式基线：

python code/04_tiny_gpt.py train \
  --data data/tiny_corpus.txt \
  --checkpoint artifacts/checkpoints/tiny-gpt-base.pt \
  --steps 2000 \
  --batch-size 32 \
  --block-size 128 \
  --layers 4 \
  --heads 4 \
  --width 128 \
  --log-every 100 \
  --seed 42

至少保留两类对照：

故障定位：

验收不是生成出流畅中文，而是：训练目标正确、loss 有下降趋势、checkpoint 可重载、相同 seed 的实验可复现，并且你能解释小语料模型为什么只会模仿局部形式。