如果你像我一样贫穷,只有 24G 的显存,可以在 unsloth studio 里面这么设置参数(图 1),这样可以把默认 70K 的 Context 长度拉到 213K,并且在长程的任务中仍然能够保证到 20+ tok/s,短任务的话 50 tok/s 没问题 ...
关注公众号相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1