QWEN 3.8 FN - 8位浮点量化 - 96.32 token/秒 - 95k 上下文 - 1500 美元硬件 聪明蛙 2026-11-11 22:14:20 在由 40 台迷你电脑组成的集群上运行 GLM 5.3 Flash,通过 USB 3 互联,速度达 14 tps。 空中月 2026-11-11 22:12:27 混合式本地 AI 集群:4 台 DGX Spark + 2 台 Mac Studio。 总计:1 TB 统一内存。 sanqiren 2026-11-11 11:02:09 “背包版” GLM-5.3-Flash 好了,这是今天的最后一个演示。 chjian 2026-11-11 10:43:05 这就是实现 700t/秒 DeepSeek v4.1 Flash 所需的一切。 星汉之辉 2026-11-11 10:32:42 本地运行大模型(Local LLM)的玩家,在2026年立誓“再也不买硬件”后的结局 虎子哥 2026-11-10 23:41:50 本地运行大模型(LLM)的常见情况 爱深求 2026-11-10 23:26:17 本地运行大模型 (Local LLM) —— 我的 Strata (QFN) 环境 流年里的你我他 2026-11-10 23:11:05 B300那价格我扫了一眼就关了,真不是给个人玩家准备的 飞翔的龙族 2026-11-10 22:41:02 一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。 成鸿 2026-11-10 22:29:04 我买了个10英寸服务器机柜。 王吉杨 2026-11-09 22:12:08 一位硬件爱好者尝试使用 Bykski 冷头和霍尼韦尔(Honeywell)PTM7950 相变材料,为一张技嘉(Gigabyte)Radeon RX 9070 XT 显卡进行分体式水冷改造,结果却遭遇了严重的散热问题。 风之泪 2026-11-09 21:21:15 每秒0.85个Token:海外网友用停产傲腾内存运行2.8万亿参数模型 芯彤 2026-11-09 15:23:58 我为我的 DGX Station GB300 外接了一块 RTX PRO 6000 显卡。在 DeepSeek 和 GLM 的基准测试中,推理速度提升了约 3–4 倍。 大谢小贺 2026-11-09 00:37:50 我曾考虑再增加一块 RTX 5060 Ti 16GB,组建一套 3 GPU 系统,以用于运行本地大语言模型(LLM)。 爱馨 2026-11-09 00:26:11 区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。 第十一人 2026-11-09 00:07:47 有些眼馋 basd 2026-11-08 00:00:40 一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s,这个只有 94 星的冷门项目有点东西。 萱萱玥玥 2026-11-07 23:33:34 我们能买个AI月度套餐吗?不行,家里有AI。 铭光 2026-11-07 22:29:30 12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。 davie67 2026-11-05 22:26:05 发现更多