预训练一个迷你版 Kimi K3

bluestardm

预训练一个迷你版 Kimi K3
地址：books.vizuara.ai/book/pretraining-a-mini-k3
作者在一张 H200 GPU 上，用 5,000,003,584 个经过基准去污染的 token，训练出一个模仿 Kimi K3 架构的模型：总参数约 10.2 亿，每个 token 激活约 1.45 亿参数，最终计算费用为 252.35 美元。
这本小册子把训练过程，包括中间失败的过程以及对模型做性能优化的完整记录了下来。