这件事的关键在于"本地"两个字。模型装好之后,可以完全离线运行,提示词和回复都不会发往云端服务器。联网只在几种情况下需要:下载模型、访问云端托管的模型、使用在线集成功能。支持哪些模型?Llama 4、Qwen 3、Gemma 3、Phi-4、DeepSeek-R1、Mistral等都在名单里。想用自己的模型也可以,通过GGUF格式导入,再用Modelfile调整提示词和参数。三个值得注意的能力
本地优先且轻量:一条简单的命令行指令就能安装并运行模型,算力来自你自己的CPU/GPU。
对开发者友好:可与Docker、REST API以及Python、JavaScript库配合使用。
可定制:支持调整参数、系统消息,也能导入自定义的GGUF/Safetensors模型。
近期更新里,几项变化比较实在。新增对Ripple Preview的支持,这是一个面向智能体编程的65B模型;在Apple Silicon上,Qwen3.8 Flash Next的内存占用减少了约27GiB;通过ollama launch claude改进了Claude Code集成;云端模型退役时会给出更清晰的提示;改进了与OpenAI Responses API的兼容性;Windows on ARM平台新增CUDA 13.5支持;llama.cpp同步更新。硬件门槛并不高系统方面,macOS需Big Sur(11)或更高版本,Linux需Ubuntu 18.04/20.04/22.04或更高版本,Windows可通过原生安装程序或WSL 2获得完整支持。CPU最低要求是支持AVX2的现代x86-64处理器,推荐11代英特尔或AMD Zen 4,带AVX512,最好配DDR5内存。内存最低8GB,推荐16GB。GPU不是必需品,但能显著加速推理。跑7B到13B模型,最低建议8GB显存的英伟达或AMD显卡;30B模型需要16GB显存,65B模型需要32GB,70B以上的超大模型则要48GB甚至更多,可能还得多卡并行。换句话说,一台16GB内存的普通电脑就能起步,想跑更大的模型,瓶颈主要落在显存上。免费开源加上离线运行,这套组合对在意数据不出本机、又不想被云账单追着跑的人,吸引力很直接。