3 块钱、俩小时，就能从零训出一个大模型？这话你敢信？

流水潺潺可穿石

3 块钱、俩小时，就能从零训出一个大模型？这话你敢信？

GitHub 上扒到个开源项目，已经 5w star 冲上 Trending 了。它能让你训出一个参数只有 25.8M 的迷你语言模型，最小版本体积仅仅是 GPT-3 的 1/2700，是真够小。

重点是整套东西全开源了：
1️⃣ tokenizer 分词器训练
2️⃣ Pretrain、SFT 全流程代码
3️⃣ 还整了个视觉多模态版 MiniMind-V
脚本清一色 PyTorch 原生写的，还兼容 MoE 架构，等于把大模型从零到一的活儿完整复刻了一遍。想搞明白大模型是怎么炼成的，拿它练手是真香。
🔗 https://github.com/jingyaogong/minimind