AI 硬件与部署 今日: 1 |主题: 336|排名: 2 

欢迎来到 一起港湾 (17GW) 社区！这里是 AI 技术爱好者、数码极客和生活分享者的精神家园。为了维护港湾的纯净秩序与技术氛围，请在开启您的分享之旅前，仔细阅读并遵守以下发帖规范。 一、 核心发帖准则 [*]主题契合，精准归类：请确保内容与所属版块（如 AI 技术、数码维修、资源分享等）相关。标题应简明扼要，避免“ ...

区区 4GB 显存，竟要硬跑 70B 的大模型，这还真叫 AirLLM 给办妥了。 它使的招数叫分层推理：不把整个模型一口气灌进显存，而是逐层往里加载，算完一层便卸掉，生生把个庞然大物塞进了张小破卡里。 这项目百分百开源， 🔗 https://github.com/0xSojalSec/airllm ...

一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s，这个只有 94 星的冷门项目有点东西。 有人用 Rust 从零重写了本地推理引擎 RustingStrata，彻底抛弃 ggml，CUDA 内核全靠运行时现编译，顺带还支持 Vulkan。 在 Ryzen 7600X + 32GB 内存 + RTX 3060 12GB 这套平民配置下，作者实测数据相当猛： Qwen3.8-Flash ...

12G 显存硬啃 125B 巨型 MoE！玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。 在部署框架 Strata 的 GitHub Issue #5166 里，社区玩家 AndrewDBN 晒出了一组极度硬核的单卡极限调优自测： 用一张仅 12GB 显存的 RTX 5070，配合 Strata 0.2.10，硬生生把 125B 的 Qwen3.8-Flash-Next（IQ3_XXS 极限压到 2.4 bpw）跑出了飞一 ...

一家初创公司可以将所需的所有算力整合进一台设备中。 配置包括：3 到 4 块单风扇版 MaxQ 显卡、液冷 CPU、256GB DDR5 内存、支持多个 PCIe x16 插槽的主板，以及约 4TB 的 NVMe 存储空间，并接入光纤网络。 所有任务均可在本地运行，且能轻松应对 16 到 32 个并发处理需求。 对于特定的工作流程而言，根本无需依赖数据 ...

💥两台 Mac 串起来，Qwen3.8-Flash-Next 预填充 1309→3666 tok/s。 oMLX Prefill Accelerator：大内存机扛模型，M5 Max 只加速预填充，64K 约 +180%。Decode 不变。 温馨提示：开发版；作者本机。 来源：GitHub oMLX👇 https://github.com/jundot/omlx/releases/tag/v0.7.4.dev1 ...

我这张 RTX PRO 6000 是 9000 美元买的。同样 96GB 的 PRO 6000，Nebius 上按需租是 1.80 美元一小时。 9000 除以 1.80，是 5000 小时： 1. 24 小时不停跑，208 天回本 2. 每天跑 8 小时，625 天，差不多一年 8 个月 可抢占的 spot 价最低 0.79 美元一小时，24 小时不停跑要 475 天才回本。代价是卡随时可能被收回，长任 ...

💥 5090+5060 Ti，Basalt 把 Qwen3.8-Flash-Next 散文跑到约 300 tok/s。 0.2.0 新 NVFP4-DQ8：相对 BF16 的 KLD 0.0561，结构化约 600。专家卸内存，不靠堆卡。 温馨提示：作者本机；有损开关默认关。 来源：Hugging Face👇 https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt ...

深圳、广州这边经常会进口一些日本那边淘汰下来的企业用电脑，成色比较差的会拆主板出来。然后有商家会用 3D 打印设计好外壳，然后把主板塞进去当小主机卖 i5-1145G7，16GB DDR4，512GB 硬盘，带网口和网卡，USB 3.0、3.5 毫米耳机接口、HDMI、VGA。 差不多 1300 左右。 买回来当 AI 助手用。 ...

现在我坐在房间里，看着眼前的三张3090 FE（总计72GB GDDR6X显存）。我目前的机箱连塞进一张卡都费劲——之前为了把那张卡挤进去，我甚至动用了钳子，硬生生掰弯了机箱内部的金属支架。而且我的主板也只是一块普通的B760。 显然，这台电脑根本装不下三张“占用3个插槽”的显卡。为了运行大语言模型（LLM），怎样做才既经济 ...

💥 两张挖矿废卡，每张大约 25 刀，跑起了 Qwen3.8-27B。 CMP 100-100：Linux 下 6GB 解锁到 12GB HBM2，双卡约 32 tok/s。 温馨提示：作者测的，PCIe 还卡在 Gen1 x1。 来源： @Roberty35570209 👇

2021 年 9 月 1 日，距离新一轮 AI 浪潮启动还有 15 个月。NVIDIA 当时股价只有今天的十分之一，所以还在很努力地寻找 GPU 的各种应用场景，比如：数字币。 在这天，NVIDIA 发布了一张专门用于数字币挖矿的显卡 CMP 170HX。这张卡的核心基本就是 A100。但 NVIDIA 为确保其只能用于挖矿，对 FP32、TF32 等挖矿用不上的算力 ...

最近 5090 能改 96GB 的传言越来越多。我感觉已经有六七成的可能性了。 5090 和 Pro 6000 的核心都是 GB202。5090 的 PCB 单面贴了 16 颗每颗 2GB 的 GDDR7。Pro 6000 的 PCB 双面贴了一共 32 颗每颗 3GB 的 GDDR7。 做 PCB 对华强北来说不是问题。关键是突破对核心能使用多少显存的限制。这种限制可能存在于 VBIOS，也 ...

每次我告诉自己“到此为止吧”，就像有魔力一样，总会冒出新的“瓶颈”来找上我。当然，我只能选择“火力全开”，把这种“瘾”提升到新的高度——伙计​​们，这可比吸毒带劲多了！ 节点 1 — (Dell PowerEdge R730xd) CPU: 2× Intel Xeon E5-2697 v4 (每颗 18 核/36 线程 — 总计 36 核/72 线程) @ 2.30GHz 内存: 25 ...

知识库哪能每回提问都从零检索一遍。GitHub 上的 LLM Wiki 主打的就是让 AI 把散落各处的资料一点点整理成一套能持续生长的 Wiki。 它有几个亮点： ① 多层信号构建知识图谱，内容关联更有依据 ② 用 Louvain 社区检测，挖出知识之间的联系和潜在空白 ③ Chrome 扩展一键收集网页内容 ④ 支持 Obsidian，三栏式界面，管理 ...

这个机柜满员啦！ DGX Spark 6台齐装满员！ 4（deepseek 1017）+ 2（GLM 5.3 Flash）常驻 借助CRS 812交换机 随时可以切换2+2+2 或3（GLM 5.3） + 3 切换时长不超过5分钟 并发能力虽然不强，但眼下要烦恼的是喂不饱他的需求。 经过这一个月的探索和试错。 我觉得我完全可以帮人/小团队部署本地算力基座了。 不过这段时 ...

🚨 AI 自己写的推理引擎，把 Strata 和 Basalt 给办了？ GitHub 上刚冒出一个黑马推理引擎 Infernix，最骚的是作者在主页坦白：这项目的代码和文档，几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的！ 在单张 RTX 5090（Windows 11 / 84G 内存预算）上实测 Qwen3.8-Flash-Next： 1️⃣ NVFP4 权重下全面暴走： ...

🚨 24G 显存直接跑通 262K 超长文！Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。 开源社区刚刚把千问 27B 的底层架构给彻底换血了——模型 Qwen3.8-27B-Longbook27-v2 直接把原版里剩下的 16 层全注意力全部干掉，做成了 100% 纯 Gated DeltaNet（GDN）！ 这次魔改的含金量极高，专门针对长文档痛点下手： 1️⃣ 彻底 ...