成天嘴上嚷着搞 AI，结果连 Transformer 到底是啥都讲不利索？

fredqiqi

成天嘴上嚷着搞 AI，结果连 Transformer 到底是啥都讲不利索？

有个仓库够生猛，打零起步手搓一个 GPT，高级库一概不调。Attention、多头、前馈、Embedding、残差、Layer Norm，怎么拼到一块儿的全摊开给你瞧。而且不只模型，整条链子都在：

1️⃣ 数据下载、预处理、训练、生成一条龙走完
2️⃣ 训练数据拿 The Pile，22 个来源 825GB
3️⃣ tiktoken 分词，存进 HDF5
4️⃣ 预训练完还附上 SFT 和 RLHF 的路数
改几个配置就能调大小。13M 参数上下就开始拼对语法和单词，白蹭 Colab 或 Kaggle 的 T4，练一天就出货。

https://github.com/FareedKhan-dev/train-llm-from-scratch