|
|
|
给Mac用户的一毛不拔使用openclaw教程
继续完善教程,补充了5个适合 openclaw 本地部署的小模型的横评:
GLM-4.7-flash (30B-A3B) — 综合最推荐. 全能型选手, Agent 能力在这几个模型里最强, 连续工具调用的场景表现稳定, 特别适合搭配 OpenClaw 使用. 缺点是长文本召回能力比 kimi-linear 差一些.
kimi-linear (48B-A3B) — 长文本场景首选. 线性注意力架构, prefill 和推理速度都巨快, 而且长文本召回能力很强, 特别适合处理大量文本的工作. 缺点是 Agent 能力比 GLM-4.7-flash 弱一些, 复杂的连续工具调用场景不如 GLM.
Qwen3.5-35B-A3B — 速度和多模态兼顾. 支持多模态输入 (图片), 而且是 MoE 架构激活参数量只有 3B, 推理速度快. 缺点是 Agent 能力只能说适中, 另外目前只能用 mlx_vlm 跑, 它的 prefill 速度很慢, mlx 官方没有提供 mlx_lm 可以直接用的版本.
上面这三个建议 8bit 量化, 不要低于 4bit.
Qwen3.5-27B — 多模态里 Agent 能力最好的. 支持多模态输入, Agent 能力体感比 35B-A3B 还好一些. 缺点是 dense 模型, 27B 全激活所以会慢一些, 同样只能用 mlx_vlm 跑, prefill 慢. 建议 5bit 量化.
Qwen3.5-9B — 内存不够就选它. 支持多模态输入, 显存/统一内存占用最小, 小内存 Mac 也能跑. 缺点是 Agent 能力在这几个里面垫底, 复杂任务容易翻车, 同样 mlx_vlm 的 prefill 速度很慢. 不要低于 5bit量化.
4B 那个就不太行了哈, 不推荐.
然后我写了个给AI看的教程文章, 对的, 不需要你自己看, 你只需要在 Mac 本地先部署一个 claude code, 然后把教程地址给它, 然后跟他说你想用哪个模型, 让它照做部署就行了.
(琢磨了半天的好方法, 与其让很多不会写代码的朋友硬是学写代码, 不如给大家用的AI写一篇教程, 总结我的最佳实践然后让它照做就行了)
教程在这里: github.com/karminski/one-small-step/blob/main/20260308-Run-OpenClaw-with-9B-Model-on-Mac/Run-OpenClaw-with-9B-Model-on-Mac.md
#HOW I AI##openclaw# |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|