去年年中（在“内存危机”爆发前），我入手了一台配备 96GB 内存的 Minisforum UM890 Pro，还配了个 DEG1 扩展坞，总共花了 800 美元，本来是打算用来折腾“家庭实验室”（homelab）的。结果不知为何，它就一直 ...

2024年前后，有一件事情让很多想微调大模型的人很头疼。你手上有一块甚至四块GPU，想对一个几十亿参数的模型做全参数微调，不是那种只调几个小插件的轻量化方法，而是实打实地更新每一个权重。问题是，模型的参数 ...

2B 参数的小模型，如今也能真干活了？OpenBMB 的 MiniCPM5-2B 主打本地小硬件运行。有人把它接进 CI 修复 Agent，丢了个"结算重试导致运费重复计算"的 Bug 过去。模型自己复现问题、翻代码、定位原因，最后直接 ...

【#开源工具破解N卡#】开源社区正在解锁部分英伟达显卡的AI运算速率限制。4090特定指令测试近乎翻倍，3090 Ti的生图对照却因精度设置出现不同结果。实际能快多少，还得看任务。# http://t.cn/AXj6Du42 ​​​ ...

30和40系都可以了 #英伟达30系显卡性能解锁# ​​​

2.78 万亿参数的模型，光靠一颗 CPU 加 8GB 内存就能跑起来？刚瞅见的时候，我心里也直打鼓。Kimi K3，推理部分清一色纯 C99 手搓，BLAS 绕开、框架扔掉、GPU 更是碰都不碰。硬盘里躺着 1.56TB 权重，实测跑起来峰 ...

llama.cpp 修复了 Laguna 模型在苹果 GPU 上处理长文本时输出崩溃的问题。北京时间 10 月 27 日，llama.cpp 推出修正。此前 Laguna 系列混合专家模型在苹果设备上处理长输入时，字词分块达到 32 个就会因数值超出 ...

70B的大模型真能塞进4GB显存的卡里跑？AirLLM给出的答案是能。它走的思路叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就丢掉，硬是把巨无霸塞进了小破卡。更妙的是它100%开源，白蹭 ...

本地想跑几百 GB 的大模型，普通电脑是不是直接就劝退了？colibri 换了个打法：显存、内存、硬盘一块儿用上，模型权重按需从硬盘流式加载。纯 C 写的，零依赖，GitHub 上已经 2.5 万+ Star。多种 MoE 模型都支 ...

社区用户在华硕设备实测，运行Qwen3.8-Flash-Next模型时gufo出字达42–49词元/秒，高于llama.cpp的20–23词元/秒。北京时间10月26日，有用户在社区发布测试，使用配置128GB统一内存的华硕ROG Flow Z13，对比了私有 ...

Notion 功能全但要联网、吃内存（300–600 MB），Obsidian 轻却缺数据库和任务管理Thought Desk 用 Rust + Tauri 2 做了个本地优先的中间路线，嵌套页面、块编辑器、八种视图的数据库、日历和闪卡全有，内存约 115 ...

刚刷到一个开源项目，离谱程度让我愣了好几秒😳PDF转Markdown这事儿，居然有人做到每秒100页，全程零收费，纯CPU跑满，GPU不沾、云不碰、API key都不用。这货就是OpenDataLoader，各大跑分榜上横扫一片，榜首位 ...

🔥 用 RTX 显卡跑本地 AI 的朋友注意！🔥最近开源项目 GPU-Unlock 解锁了 NVIDIA 对 GeForce RTX 卡的部分 AI 算力限制。很多 RTX 20/30/40 系列卡（台式机+笔记本）在特定 Tensor 运算上出现了显著提升：RTX 208 ...

老黄锁了这么多年的 Tensor Core 算力，居然被人直接解锁了，部分显卡的计算吞吐量甚至原地翻倍！而且最离谱的是，不需要更换硬件，不用刷 BIOS，也不用魔改 NVIDIA 官方驱动。直接从底层解除部分 Tensor Core ...