订阅

AI 硬件与部署 今日: 7 |主题: 431|排名: 1 

  • QWEN 3.8 FN - 8位浮点量化 - 96.32 token/秒 - 95k 上下文 - 1500 美元硬件
    进行了一些额外优化,并实现了 MTP(投机采样/多令牌预测)。在处理代码任务时,速度可达 96 t/s(3 个草稿令牌);处理自然语言文本时,速度为 69 t/s。 在单层计算中,将 Token 残差分发至 24 块 GPU、完成专家层(Expert)计算、汇总结果并合并,整个过程耗时 128.0 微秒。 目前硬件性能可能已达极限,除非我能想出进 ...
    0194 聪明蛙 发表于 2026-11-11 AI 硬件与部署
  • 在由 40 台迷你电脑组成的集群上运行 GLM 5.3 Flash,通过 USB 3 互联,速度达 14 tps。
    这是我搭建的一套计算集群,用到了 40 台迷你主机——这些设备是我之前在另一个项目中闲置下来的: Intel N150 处理器 12 GB DDR5 4800 内存(物理带宽上限约为 33 GB/s) 无盘节点(Diskless nodes) 各节点通过 10 Gbps USB 3.2 接口连接,利用了 USB DbC(Debug Class)功能。网络拓扑采用树状结构,节点分布为 1 -> ...
    0199 空中月 发表于 2026-11-11 AI 硬件与部署
  • 混合式本地 AI 集群:4 台 DGX Spark + 2 台 Mac Studio。 总计:1 TB 统一内存。
    混合式本地 AI 集群:4 台 DGX Spark + 2 台 Mac Studio。 总计:1 TB 统一内存。
    0181 sanqiren 发表于 2026-11-11 AI 硬件与部署
  • “背包版” GLM-5.3-Flash 好了,这是今天的最后一个演示。
    “背包版” GLM-5.3-Flash 好了,这是今天的最后一个演示。 运行环境:2 台 M5 Mac Ultra(每台配备 256GB 内存) - 单路并发:150 token/s - 8 路并发:380 token/s - KV 缓存容量:140 万 token 该系统由 2 块电动自行车电池供电,已持续不间断运行超过 90 分钟。 https://x.com/0xSero/status/2120294401801109884/v ...
    0183 chjian 发表于 2026-11-11 AI 硬件与部署
  • 这就是实现 700t/秒 DeepSeek v4.1 Flash 所需的一切。
    0186 星汉之辉 发表于 2026-11-11 AI 硬件与部署
  • 本地运行大模型(Local LLM)的玩家,在2026年立誓“再也不买硬件”后的结局
    本地运行大模型(Local LLM)的玩家,在2026年立誓“再也不买硬件”后的结局: ① 刻意不去瞄一眼二手店(Hard Off)里的“蓝箱子” ② 抱着“今天只看看,绝不买”的心态走进店里 ③ 结果发现了一块便宜的主板 ④ 开始盘算:“CPU和内存我手头都有……” ⑤ 告诉自己“现在价格太高,先记下来就好”,于是把信息存进了手机 ...
    0196 虎子哥 发表于 2026-11-10 AI 硬件与部署
  • 本地运行大模型(LLM)的常见情况
    本地运行大模型(LLM)的常见情况 ・心想:“等下一代模型出来就买显卡” ・回过神来,半年已经过去了 ・显卡价格反而还涨了 ・开始琢磨:“再等等说不定会降价” ・又过了半年 ・“……难道我这辈子就只能用 7B 模型了吗?” 结果就是,在寻找入手时机的过程中,又有新的模型冒出来了。 ...
    0201 爱深求 发表于 2026-11-10 AI 硬件与部署
  • 本地运行大模型 (Local LLM) —— 我的 Strata (QFN) 环境
    本地运行大模型 (Local LLM) —— 我的 Strata (QFN) 环境 迷你主机(DDR4 64GB)+ RTX 5060 Ti 16GB,功耗限制在 150W。结果就是,即便在写代码时,机器也“静悄悄的,完全不发热,搞得我好冷”🥶 ※因为担心它没在跑,特意把 LED 灯打开了 倒也不是不好啦!就是感觉有点……没啥动静,让人心里没底😅 # ...
    0237 流年里的你我他 发表于 2026-11-10 AI 硬件与部署
  • B300那价格我扫了一眼就关了,真不是给个人玩家准备的
    0202 飞翔的龙族 发表于 2026-11-10 显卡与算力
  • 一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。
    一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。 项目叫 Apple NVIDIA Sidecar,11/8 刚开源。机器是 M5 Max 64GB,5090 装在扩展坞里,权重用的是 NVIDIA 官方的 FP4 版本。 同一个模型,别人公开过的数字大概是这样,测法各不相同,只能看个量级。 1. ...
    0212 成鸿 发表于 2026-11-10 AI 硬件与部署
  • 我买了个10英寸服务器机柜。
    0244 王吉杨 发表于 2026-11-9 AI 硬件与部署
  • 一位硬件爱好者尝试使用 Bykski 冷头和霍尼韦尔(Honeywell)PTM7950 相变材料,为一张技嘉(Gigabyte)Radeon RX 9070 XT 显卡进行分体式水冷改造,结果却遭遇了严重的散热问题。
    一位硬件爱好者尝试使用 Bykski 冷头和霍尼韦尔(Honeywell)PTM7950 相变材料,为一张技嘉(Gigabyte)Radeon RX 9070 XT 显卡进行分体式水冷改造,结果却遭遇了严重的散热问题。该分体式水冷系统配备了两个 360mm 冷排,起初运行看起来非常稳定。 在刚组装完成时,使用 FurMark 进行测试,显卡“热点”(hotspot)温度保 ...
    0253 风之泪 发表于 2026-11-9 AI 硬件与部署
  • 每秒0.85个Token:海外网友用停产傲腾内存运行2.8万亿参数模型
    近日,一位Reddit家庭实验室爱好者利用已停产的英特尔第二代傲腾持久内存(Optane PMem 200系列),在一颗40核第三代至强可扩展处理器上,成功运行了月之暗面的2.8万亿参数Kimi K3模型,整个推理过程完全依靠CPU完成,未使用GPU。搭建者表示,傲腾内存在持续进行大模型推理时会产生大量热量,必须将主动DIMM散热视为必要措 ...
    0252 芯彤 发表于 2026-11-9 AI 硬件与部署
  • 我为我的 DGX Station GB300 外接了一块 RTX PRO 6000 显卡。在 DeepSeek 和 GLM 的基准测试中,推理速度提升了约 3–4 倍。
    我为我的 DGX Station GB300 外接了一块 RTX PRO 6000 显卡。在 DeepSeek 和 GLM 的基准测试中,推理速度提升了约 3–4 倍。 我非常看好本地推理。 配置方案与基准测试: https://github.com/tomascupr/dgx-station-recipes
    0255 大谢小贺 发表于 2026-11-9 AI 硬件与部署
  • 我曾考虑再增加一块 RTX 5060 Ti 16GB,组建一套 3 GPU 系统,以用于运行本地大语言模型(LLM)。
    我曾考虑再增加一块 RTX 5060 Ti 16GB,组建一套 3 GPU 系统,以用于运行本地大语言模型(LLM)。 目前我的配置是 RTX 5070 12GB + RTX 5060 Ti 16GB(双 GPU),总显存(VRAM)为 28GB,内存(RAM)为 64GB。 由于显存不足,无法在 128K 及以上的上下文长度下运行 Qwen3.8-Flash-Next IQ3_S 模型,因此我原计划通过 M.2 接 ...
    0221 爱馨 发表于 2026-11-9 显卡与算力
  • 区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。
    区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。 它使的招数叫分层推理:不把整个模型一口气灌进显存,而是逐层往里加载,算完一层便卸掉,生生把个庞然大物塞进了张小破卡里。 这项目百分百开源, 🔗 https://github.com/0xSojalSec/airllm ...
    0223 第十一人 发表于 2026-11-9 显卡与算力
  • 有些眼馋
    0256 basd 发表于 2026-11-8 AI 硬件与部署
  • 一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s,这个只有 94 星的冷门项目有点东西。
    一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s,这个只有 94 星的冷门项目有点东西。 有人用 Rust 从零重写了本地推理引擎 RustingStrata,彻底抛弃 ggml,CUDA 内核全靠运行时现编译,顺带还支持 Vulkan。 在 Ryzen 7600X + 32GB 内存 + RTX 3060 12GB 这套平民配置下,作者实测数据相当猛: Qwen3.8-Flash ...
    0264 萱萱玥玥 发表于 2026-11-7 AI 硬件与部署
  • 我们能买个AI月度套餐吗?不行,家里有AI。
    0234 铭光 发表于 2026-11-7 AI 硬件与部署
  • 12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。
    12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。 在部署框架 Strata 的 GitHub Issue #5166 里,社区玩家 AndrewDBN 晒出了一组极度硬核的单卡极限调优自测: 用一张仅 12GB 显存的 RTX 5070,配合 Strata 0.2.10,硬生生把 125B 的 Qwen3.8-Flash-Next(IQ3_XXS 极限压到 2.4 bpw)跑出了飞一 ...
    0281 davie67 发表于 2026-11-5 显卡与算力
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部