查看: 6|回复: 0

自己微调 LLM,最劝退的常常不是训练本身,而是环境配置那一关。

[复制链接]

15

主题

0

回帖

45

积分

新手上路

积分
45
发表于 昨天 21:37 | 显示全部楼层 |阅读模式
自己微调 LLM,最劝退的常常不是训练本身,而是环境配置那一关。

Soup 把流程砍到只剩三步:

pip install "soup-cli[train]" → soup init --template chat → soup train

一份 YAML 配置文件就把训练交代清楚。

1️⃣ 聊天、代码、推理、视觉、RLHF 等多种模板都支持
2️⃣ 靠 Layer Streaming 压低显存占用
3️⃣ 4GB 显存也敢试着微调 8B 模型
4️⃣ 训完能导出 GGUF,直接对接 Ollama,也能推上 Hugging Face
更有意思的是:它把原本一堆服务器、驱动和参数调试的活儿,尽量收进了一个 CLI 工作流里。
想折腾自家模型,门槛一下低了不少。
🔗 https://github.com/MakazhanAlpamys/Soup

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部