订阅

AI 硬件与部署 今日: 7 |主题: 431|排名: 1 

  • 1400 元垃圾佬装机,本地跑 Qwen3.8-Flash-Next,实测 30~50 token/s——400 块的 P100 教万元小主机做人 New
    1400 元垃圾佬装机,本地跑 Qwen3.8-Flash-Next,实测 30~50 token/s——400 块的 P100 教万元小主机做人 先说结论:1000 块钱的洋垃圾主机 + 一张 400 多块捡来的 P100,总共 1400 元,本地跑千亿参数 MoE 大模型,解码 30~50 token/s。这个速度,很多万元小主机都跑不到。这期就干三件事:① 完整配置清单公开,照抄能省 ...
    0108 果如 发表于 4 天前 AI 硬件与部署
  • 玩过DIY的都知道 #发行者显卡 New
    玩过DIY的都知道 #发行者显卡 发行者是华强北这家专门回收矿卡芯片做翻新各种魔改的小厂商、走的妥妥的野路子。 据贴吧消息、发行者已经把96gb的 PCB板子给搞出来了、正在内部测试、具体上线日期我认为不会太久。 之前发行者一直回收AMD RX470 480 580来魔改显卡、 包括更奇葩的显卡焊主板上、所以发行者要搞 #RTX5090 96GB ...
    094 wybt 发表于 4 天前 AI 硬件与部署
  • 显卡显存多大才够用? 很多准备装机的朋友,面对各种显卡参数一头雾水。 New
    显卡显存多大才够用? 很多准备装机的朋友,面对各种显卡参数一头雾水。 一次性讲明白: 1,N卡、A卡、1卡的区别 2,看懂显卡型号 3,你适合多大容量的显存 4,不同档位显卡能干嘛 5,显卡品牌梯队 6,还有显卡性能天梯简单来说就是: 主打游戏,追求性价比可以看A卡; 经常做AI、剪辑、生产力工作,优先N卡; A划重点:同 ...
    0104 王允林 发表于 4 天前 AI 硬件与部署
  • 双卡 TP 跑大模型真不是 1+1=2——但 AMD R9700/7900 XTX 让你根本不用碰魔改卡 New
    双卡 TP 跑大模型真不是 1+1=2——但 AMD R9700/7900 XTX 让你根本不用碰魔改卡 先说最扎心的一条:NVLink 是 RTX 3090 的独门秘籍,而且是消费卡里的绝唱。从 Ada 架构起,英伟达直接把 NVLink 从消费线砍了——3090 Ti 没有、4090 没有、5090 也没有。所以现在想靠"双卡张量并行(TP)拼大显存跑大模型",真正吃到 NVLin ...
    0120 有梦就有缘 发表于 5 天前 显卡与算力
  • AMD Radeon Pro W6800 32G 深度分析 New
    AMD Radeon Pro W6800 32G 专业卡,4000 元大显存到底值不值得买?二手拆机价已经杀到 3600-4000 元,32GB ECC 显存 + 6 路输出,放在这个价位确实有点"不讲道理"。但 RDNA 2 生态的短板、和 V100/2080 Ti 的差距,买之前必须看清楚。[hr]一、4000 元值不值得买?结论:跑 AI 推理 / 多屏办公 / 专业制图——非常值;纯打游 ...
    1115 勤欢 发表于 5 天前 显卡与算力
  • 拆开这台只有"一本书厚"的迷你主机,里面竟是张笔记本主板——它能本地跑 DeepSeek-V4 吗? New
    拆开这台只有"一本书厚"的迷你主机,里面竟是张笔记本主板——它能本地跑 DeepSeek-V4 吗? 你能想象吗?一台厚度只有 41mm、往桌上一放像半台 PS5 的小钢炮,拆开之后里面竟然是一张疑似笔记本的主板。好家伙,这简直就是官方逼死同人的"无头骑士"。 但你先别笑。就这么一个"无头骑士",它居然能在本地流畅跑最新的 284B ...
    0100 随便看下 发表于 5 天前 AI 硬件与部署
  • 这绝对是今年最让人拍案叫绝的硬件逆向神作 New
    这绝对是今年最让人拍案叫绝的硬件逆向神作:安全研究员 Kate 发现英伟达旗舰计算核心 GA100 芯片内部存在一个电压故障注入漏洞(Voltage Fault Injection),并亲手把一张当年矿潮遗留下来的阉割版 CMP 170HX 8GB 矿卡,原地解锁成了满血的 A100-80GB! 当年英伟达为了防止矿工抢占数据中心显卡,拿 GA100 大核心切出了 C ...
    0113 夕遥 发表于 5 天前 显卡与算力
  • 英伟达最大丑闻!你买的显卡性能被人为砍掉了一半…… 不过现在这个限制已经被正式破解了! New
    英伟达最大丑闻!你买的显卡性能被人为砍掉了一半…… 不过现在这个限制已经被正式破解了! 一哥们发布了一个叫 'gpu-unlock' 的开源工具, 能移除英伟达对自用 GeForce 显卡的软件限制。 处理能力飙升: • RTX 3060:从 27 提升到 51 TFLOPS(+87%) • RTX 3090:从 75 提升到 125 TFLOPS(+65%) • RTX 4090:直接 ...
    0100 大吉仔 发表于 5 天前 显卡与算力
  • 英伟达旗下有哪些产品? ​​​ New
    0111 与君经年 发表于 5 天前 AI 硬件与部署
  • 1.7万元矿卡破解后价值13.3万元!8GB显存变80GB,还有意外惊喜 New
    “挖矿”兴盛的时候,NVIDIA推出过不少专门的“矿卡”,包括早期的P106、P104、P102系列,以及后期的CMP HX系列,最特殊的就是170HX。它采用了A100 AI加速卡同源的GA100 GPU,但是做了大幅度的精简:6912个CUDA核心只保留4480个,80GB HBM2E显存只留下8/10GB,总线带宽从PCIe 4.0 x16锁定为PCIe 1.1 x4,浮点性能更是被砍到 ...
    0104 用户杜海艳 发表于 5 天前 显卡与算力
  • 搭载 M5 Max 芯片的 16 英寸 MacBook Pro(64GB 内存):本地大语言模型(LLM)体验评测 New
    最终我还是“妥协”了,在这台设备上部署了本地 AI。 既然我为此耗费了无数个夜晚,干脆分享出来吧,哈哈。 我的硬件配置 16 英寸 MacBook Pro,配备 ProLED XDR 显示屏 M5 Max 芯片:18 核 CPU,40 核 GPU 64GB 统一内存,614GB/s 带宽 2TB SSD 我的软件配置 使用 oMLX 作为服务端(通过 Homebrew 安装)。它 ...
    0116 祖国繁荣富强 发表于 5 天前 AI 硬件与部署
  • 搭载 M5 Max 芯片的 16 英寸 MacBook Pro(64GB 内存):本地大语言模型(LLM)体验评测 New
    最终我还是“妥协”了,在这台设备上部署了本地 AI。 既然我为此耗费了无数个夜晚,干脆分享出来吧,哈哈。 我的硬件配置 16 英寸 MacBook Pro,配备 ProLED XDR 显示屏 M5 Max 芯片:18 核 CPU,40 核 GPU 64GB 统一内存,614GB/s 带宽 2TB SSD 我的软件配置 使用 oMLX 作为服务端(通过 Homebrew 安装)。它 ...
    0105 磁帶裏的青春 发表于 5 天前 AI 硬件与部署
  • 林亦这期拿到一台联想YOGA Pro 15 RTX Spark,128GB统一内存,专门拿来测本地AI,本地智能体、AIGC创作挨个跑了一遍。 New
    林亦这期拿到一台联想YOGA Pro 15 RTX Spark,128GB统一内存,专门拿来测本地AI,本地智能体、AIGC创作挨个跑了一遍。 本地跑大模型为什么大家最在意内存。推理分两步,prefill先把你的问题读一遍,decode再一个token一个token往外吐,每吐一个都要把权重和KV cache反复读一遍,所以最吃的是内存容量和带宽。笔记本独显的 ...
    0116 青竹居士 发表于 5 天前 AI 硬件与部署
  • 一张一万多块、游戏性能却只跟 RTX 5060 Ti 打平手的卡,到底卖给谁? New
    单芯片32G纯正显存有多猛?铭瑄 Arc Pro B70 实测:本地AI、生产力、AIO虚拟化一次说清 一张一万多块、游戏性能却只跟 RTX 5060 Ti 打平手的卡,到底卖给谁? 答案很明显:不卖给玩家。它真正值钱的,是一颗 GPU 独占的、完整的 32GB 显存。这期就把它拆开看——这 32G 塞进本地大模型、剪辑生产力、多虚拟机 AIO 里,到底 ...
    0118 南粤雨林 发表于 6 天前 显卡与算力
  • 外观虽不美观,但效果相当不错:4xR9700 & EXL3 2.25bpw DS4.1 配置下,编码速度可达 415 tok/s,预填充(prefill)速度可达 6300 tok/s。 New
    (解码,而非编码……) 机箱还没到(决定试试 Inter-Tech 4W2),所以我利用这段时间,致力于挖掘该系统的最佳性能。目前的重点是 EXL3 以及 DS 4.1 Flash 和 Qwen Flash Next。当前测试数据如下: 我之前曾在这里发帖介绍过这套系统:https://www.reddit.com/r/LocalLLaMA/comments/1xv2jst/4xr9700_exl3_hwsw_ti ...
    0112 渔忆七秒 发表于 6 天前 AI 硬件与部署
  • Lawyer 的 V100 家庭实验室(更新 2):这台配备 8 块 V100 的机器现已能运行 DeepSeek New
    Lawyer 的 V100 家庭实验室(更新 2):这台配备 8 块 V100 的机器现已能运行 DeepSeek,支持近乎 NVFP4 的精度及 524K 的上下文长度; 此外,系统中还加入了一块 3090 显卡,内存扩容至 1TB。至于之前遇到的问题,我本以为是 PCIe 的锅,结果其实很可能是电源(PSU)出了故障。 关于那台配备 V100 服务器的最新进展( ...
    0116 萃姐 发表于 6 天前 AI 硬件与部署
  • 拿游戏显卡在本地出图、微调模型,总嫌速度不够快,第一反应往往是存钱换一张更贵的卡。 New
    拿游戏显卡在本地出图、微调模型,总嫌速度不够快,第一反应往往是存钱换一张更贵的卡。 其实 RTX 20、30、40 系的游戏卡,在 AI 最常用的几种计算精度下,负责 AI 计算的张量核心只跑一半速度,同样的芯片做成专业卡就是全速。 gpu-unlock 这个开源项目就是把这道限速去掉,开机时赶在英伟达官方驱动接管显卡之前解锁, ...
    0123 此生不忘 发表于 6 天前 显卡与算力
  • 🚀 无敌!单卡16/24GB显存、Mac 32GB统一内存,把 Qwen 3.8 27B 推理跑出新速度!Strata v0.2.14原生内核升级上线! New
    🚀 无敌!单卡16/24GB显存、Mac 32GB统一内存,把 Qwen 3.8 27B 推理跑出新速度!Strata v0.2.14原生内核升级上线! Strata v0.2.14,把prompt专家计算从llama.cpp切到自研原生GPU内核(NVIDIA CUDA + AMD HIP),Windows/Linux全覆盖,现有模型、聊天和配置零改动,速度直接涨。 🔥 消费级硬件实测亮点(vs 0.2.13) 🔹R ...
    0127 xiaoling 发表于 6 天前 AI 硬件与部署
  • 电脑没显卡,怎么在本地跑大模型?我又捣鼓出一套完全免配置的开源全自动脚本 New
    电脑没显卡,怎么在本地跑大模型?我又捣鼓出一套完全免配置的开源全自动脚本 不少人平时想用轻薄本跑私有的大模型,光是看见那一堆环境依赖就已经头疼了 开源项目 modelscope-gpu-guide:对显卡零要求,直接把阿里云魔搭的免费 GPU 拿来白嫖(实测分配到的配置是 NVIDIA A10、24GB 显存、8 核 32G 内存,可用 36h),再 ...
    0116 周氏家人 发表于 6 天前 AI 硬件与部署
  • 行为艺术:可以在486上跑的、给DOS用的大模型。 New
    行为艺术:可以在486上跑的、给DOS用的大模型。# 由 Turbo C 2.0 编写的微型问答 Transformer。它可在标准 DOS 环境下于 Pentium 或 486DX 上运行,且可存放在一张软盘上。 36.7 万参数,运行时需要约500K内存 由 Fable 5.2 编写,由 Opus 5.5 训练。 代码在这里:github.com/WollyMonjac/Tiny-2.1 http://t.cn/AXYsUXx ...
    0117 把日本抹去 发表于 6 天前 AI 硬件与部署
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部