本地跑大模型的工具越来越多,光推理引擎就有 Ollama、llama.cpp、vLLM,还没算模型和界面。

本地跑大模型的工具越来越多,光推理引擎就有 Ollama、llama.cpp、vLLM,还没算模型和界面。LLMs-local 把本地跑大模型相关的资源整理到了一起,推理引擎、模型、硬件、教程都有。推理引擎收录了 Ollama、llama.cpp、vLLM 这些,界面有 Open WebUI、Lobe Chat,模型按用途分好了类。GitHub:http://github.com/0xSojalSec/LLMs-local还收录了微调工具、Agent 框架、训练教程和硬件选购建议,一份清单基本能摸清整个生态。打算在自己机器上跑模型的朋友,可以先翻翻这份合集找找方向。


分类