订阅

AI 硬件与部署 今日: 7 |主题: 431|排名: 1 

  • 一家初创公司可以将所需的所有算力整合进一台设备中。
    一家初创公司可以将所需的所有算力整合进一台设备中。 配置包括:3 到 4 块单风扇版 MaxQ 显卡、液冷 CPU、256GB DDR5 内存、支持多个 PCIe x16 插槽的主板,以及约 4TB 的 NVMe 存储空间,并接入光纤网络。 所有任务均可在本地运行,且能轻松应对 16 到 32 个并发处理需求。 对于特定的工作流程而言,根本无需依赖数据 ...
    0241 淡泊随心 发表于 2026-11-5 AI 硬件与部署
  • 💥两台 Mac 串起来,Qwen3.8-Flash-Next 预填充 1309→3666 tok/s。
    💥两台 Mac 串起来,Qwen3.8-Flash-Next 预填充 1309→3666 tok/s。 oMLX Prefill Accelerator:大内存机扛模型,M5 Max 只加速预填充,64K 约 +180%。Decode 不变。 温馨提示:开发版;作者本机。 来源:GitHub oMLX👇 https://github.com/jundot/omlx/releases/tag/v0.7.4.dev1 ...
    0251 爱吃香菜 发表于 2026-11-5 AI 硬件与部署
  • 我这张 RTX PRO 6000 是 9000 美元买的。同样 96GB 的 PRO 6000,Nebius 上按需租是 1.80 美元一小时。
    我这张 RTX PRO 6000 是 9000 美元买的。同样 96GB 的 PRO 6000,Nebius 上按需租是 1.80 美元一小时。 9000 除以 1.80,是 5000 小时: 1. 24 小时不停跑,208 天回本 2. 每天跑 8 小时,625 天,差不多一年 8 个月 可抢占的 spot 价最低 0.79 美元一小时,24 小时不停跑要 475 天才回本。代价是卡随时可能被收回,长任 ...
    0249 llmllm 发表于 2026-11-4 显卡与算力
  • 💥 5090+5060 Ti,Basalt 把 Qwen3.8-Flash-Next 散文跑到约 300 tok/s。
    💥 5090+5060 Ti,Basalt 把 Qwen3.8-Flash-Next 散文跑到约 300 tok/s。 0.2.0 新 NVFP4-DQ8:相对 BF16 的 KLD 0.0561,结构化约 600。专家卸内存,不靠堆卡。 温馨提示:作者本机;有损开关默认关。 来源:Hugging Face👇 https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt ...
    0262 示指哥 发表于 2026-11-4 显卡与算力
  • 差不多 1300 左右。 买回来当 AI 助手用。
    深圳、广州这边经常会进口一些日本那边淘汰下来的企业用电脑,成色比较差的会拆主板出来。然后有商家会用 3D 打印设计好外壳,然后把主板塞进去当小主机卖 i5-1145G7,16GB DDR4,512GB 硬盘,带网口和网卡,USB 3.0、3.5 毫米耳机接口、HDMI、VGA。 差不多 1300 左右。 买回来当 AI 助手用。 ...
    0232 孤舟簑笠翁 发表于 2026-11-4 AI 硬件与部署
  • Adding an exhaust fan lowered this 3090 max temps from 90 to 75 degrees.
    0239 飞双江 发表于 2026-11-2 AI 硬件与部署
  • 我本来就已经有一张3090 FE了。
    现在我坐在房间里,看着眼前的三张3090 FE(总计72GB GDDR6X显存)。我目前的机箱连塞进一张卡都费劲——之前为了把那张卡挤进去,我甚至动用了钳子,硬生生掰弯了机箱内部的金属支架。而且我的主板也只是一块普通的B760。 显然,这台电脑根本装不下三张“占用3个插槽”的显卡。为了运行大语言模型(LLM),怎样做才既经济 ...
    0248 左不右 发表于 2026-11-2 显卡与算力
  • 💥 两张挖矿废卡,每张大约 25 刀,跑起了 Qwen3.8-27B。 CMP 100-100:Linux 下 6GB 解锁到 12GB HBM2,双卡约 32 tok/s。
    💥 两张挖矿废卡,每张大约 25 刀,跑起了 Qwen3.8-27B。 CMP 100-100:Linux 下 6GB 解锁到 12GB HBM2,双卡约 32 tok/s。 温馨提示:作者测的,PCIe 还卡在 Gen1 x1。 来源: @Roberty35570209 👇
    0246 无我生大爱 发表于 2026-11-2 显卡与算力
  • 2021 年 9 月 1 日,距离新一轮 AI 浪潮启动还有 15 个月。
    2021 年 9 月 1 日,距离新一轮 AI 浪潮启动还有 15 个月。NVIDIA 当时股价只有今天的十分之一,所以还在很努力地寻找 GPU 的各种应用场景,比如:数字币。 在这天,NVIDIA 发布了一张专门用于数字币挖矿的显卡 CMP 170HX。这张卡的核心基本就是 A100。但 NVIDIA 为确保其只能用于挖矿,对 FP32、TF32 等挖矿用不上的算力 ...
    0232 小昆子 发表于 2026-11-2 AI 硬件与部署
  • 最近 5090 能改 96GB 的传言越来越多。我感觉已经有六七成的可能性了。
    最近 5090 能改 96GB 的传言越来越多。我感觉已经有六七成的可能性了。 5090 和 Pro 6000 的核心都是 GB202。5090 的 PCB 单面贴了 16 颗每颗 2GB 的 GDDR7。Pro 6000 的 PCB 双面贴了一共 32 颗每颗 3GB 的 GDDR7。 做 PCB 对华强北来说不是问题。关键是突破对核心能使用多少显存的限制。这种限制可能存在于 VBIOS,也 ...
    0244 无我生大爱 发表于 2026-11-2 AI 硬件与部署
  • 深陷严重的成瘾困境,我是不是彻底完了?
    每次我告诉自己“到此为止吧”,就像有魔力一样,总会冒出新的“瓶颈”来找上我。当然,我只能选择“火力全开”,把这种“瘾”提升到新的高度——伙计​​们,这可比吸毒带劲多了! 节点 1 — (Dell PowerEdge R730xd) CPU: 2× Intel Xeon E5-2697 v4 (每颗 18 核/36 线程 — 总计 36 核/72 线程) @ 2.30GHz 内存: 25 ...
    0231 疯狂的社会一哥 发表于 2026-11-2 AI 硬件与部署
  • 知识库哪能每回提问都从零检索一遍。GitHub 上的 LLM Wiki 主打的就是让 AI 把散落各处的资料一点点整理成一套能持续生长的 Wiki。
    知识库哪能每回提问都从零检索一遍。GitHub 上的 LLM Wiki 主打的就是让 AI 把散落各处的资料一点点整理成一套能持续生长的 Wiki。 它有几个亮点: ① 多层信号构建知识图谱,内容关联更有依据 ② 用 Louvain 社区检测,挖出知识之间的联系和潜在空白 ③ Chrome 扩展一键收集网页内容 ④ 支持 Obsidian,三栏式界面,管理 ...
    0235 大吉仔 发表于 2026-11-2 AI 硬件与部署
  • 这个机柜满员啦! DGX Spark 6台齐装满员!
    这个机柜满员啦! DGX Spark 6台齐装满员! 4(deepseek 1017)+ 2(GLM 5.3 Flash)常驻 借助CRS 812交换机 随时可以切换2+2+2 或3(GLM 5.3) + 3 切换时长不超过5分钟 并发能力虽然不强,但眼下要烦恼的是喂不饱他的需求。 经过这一个月的探索和试错。 我觉得我完全可以帮人/小团队部署本地算力基座了。 不过这段时 ...
    0231 huchuanhao 发表于 2026-11-2 硬件评测
  • 🚨 AI 自己写的推理引擎,把 Strata 和 Basalt 给办了?
    🚨 AI 自己写的推理引擎,把 Strata 和 Basalt 给办了? GitHub 上刚冒出一个黑马推理引擎 Infernix,最骚的是作者在主页坦白:这项目的代码和文档,几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的! 在单张 RTX 5090(Windows 11 / 84G 内存预算)上实测 Qwen3.8-Flash-Next: 1️⃣ NVFP4 权重下全面暴走: ...
    0298 joep 发表于 2026-11-2 显卡与算力
  • 🚨 24G 显存直接跑通 262K 超长文!Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。
    🚨 24G 显存直接跑通 262K 超长文!Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。 开源社区刚刚把千问 27B 的底层架构给彻底换血了——模型 Qwen3.8-27B-Longbook27-v2 直接把原版里剩下的 16 层全注意力全部干掉,做成了 100% 纯 Gated DeltaNet(GDN)! 这次魔改的含金量极高,专门针对长文档痛点下手: 1️⃣ 彻底 ...
    0250 乱喷滚蛋 发表于 2026-11-2 显卡与算力
  • NVIDIA 已取消了推出配备 24GB GDDR7 显存的 GeForce RTX 5080 SUPER 显卡的计划。
    NVIDIA 已取消了推出配备 24GB GDDR7 显存的 GeForce RTX 5080 SUPER 显卡的计划。 该版本原定用于取代 16GB 的基础型号,通过采用 3GB 显存颗粒,将显存容量提升 50%。截至 11 月初,各显卡合作伙伴仍未收到原定于 10 月提供的必要设计套件及技术文档。 尽管近期有网络传言称,标准版 GeForce RTX 5080 从零售渠道“消失 ...
    0268 果如 发表于 2026-11-2 AI 硬件与部署
  • 💥 16GB 显存,硬啃到 26 万上下文。 RTX 5080 + 128GB,Strata 跑 Qwen3.8-Flash-Next 125B(IQ3_S)。到 258K 还约 101.8 tok/s,没卡死。
    💥 16GB 显存,硬啃到 26 万上下文。 RTX 5080 + 128GB,Strata 跑 Qwen3.8-Flash-Next 125B(IQ3_S)。到 258K 还约 101.8 tok/s,没卡死。 温馨提示:作者自测。你会拿 16GB 卡试吗? 来源: @M_Lililab 👇
    0261 蓝蓝夜 发表于 2026-11-2 AI 硬件与部署
  • 本地AI大爆发:单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快?
    本地AI大爆发:单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快? 持续生成速度约 28 t/s,预填充 约 300 t/s。显卡是6年前的,机器是十年前的。十年前的CPU,加10年前的内存 (512 GB DDR4 2133),在内存价格高昂的今天发挥余热、大放异彩。同一台机器上用一块 AMD 7900XT (20GB) 显卡,运行 DeepS ...
    0251 a669091781 发表于 2026-11-2 AI 硬件与部署
  • 💥 3090 + 80GB,Qwen3.8 Flash Next 写到 100 tok/s。
    💥 3090 + 80GB,Qwen3.8 Flash Next 写到 100 tok/s。 Strata 本地:读提示约 1473 tok/s,生成约 100。作者还在问有没有更快的。 温馨提示:作者自测,上下文长度未写清。你觉得还能再快吗? 来源: @cheatyyyy 👇
    0243 心底的中国 发表于 2026-11-1 显卡与算力
  • 🤯越狱 PS5 在跑 Qwen。 PS5LM 把 llama.cpp 搬上主机 GPU。Qwen3.5-9B 约 55 tok/s,Qwen3.8-27B 约 20 tok/s。手机电脑都能连。
    🤯越狱 PS5 在跑 Qwen。 PS5LM 把 llama.cpp 搬上主机 GPU。Qwen3.5-9B 约 55 tok/s,Qwen3.8-27B 约 20 tok/s。手机电脑都能连。 温馨提示:要越狱主机。你会拿闲置 PS5 试吗? 来源:GitHub cobanov/PS5LM👇 https://github.com/cobanov/PS5LM
    0266 扯淡的城堡 发表于 2026-11-1 大模型部署
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部