这个开源项目是一款帮你挑选本地大模型的开源终端工具。它会自动检测电脑的内存、CPU、GPU、显存和运行后端,再针对数百个模型尝试不同量化方案。分析哪些能够装进内存、预计运行多快,以及模型质量和上下文能力 ...
关注公众号相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1