订阅

AI 硬件与部署 今日: 7 |主题: 431|排名: 1 

  • llama.cpp 修复了 Laguna 模型在苹果 GPU 上处理长文本时输出崩溃的问题。
    llama.cpp 修复了 Laguna 模型在苹果 GPU 上处理长文本时输出崩溃的问题。 北京时间 10 月 27 日,llama.cpp 推出修正。此前 Laguna 系列混合专家模型在苹果设备上处理长输入时,字词分块达到 32 个就会因数值超出 65504 导致整段输出失效,此次更新在计算前引入了数值缩放。 据提交者在一小段 Laguna-XS-2.1 模型文件上 ...
    0267 小苹果的清甜 发表于 2026-10-27 AI 硬件与部署
  • 该重新开始制作关于 GPU 的内容了。
    0260 左右明 发表于 2026-10-26 显卡与算力
  • 70B的大模型真能塞进4GB显存的卡里跑?AirLLM给出的答案是能。
    70B的大模型真能塞进4GB显存的卡里跑?AirLLM给出的答案是能。 它走的思路叫分层推理:不把整个模型一股脑塞进显存,而是一层一层往里加载,算完一层就丢掉,硬是把巨无霸塞进了小破卡。 更妙的是它100%开源,白蹭警告。 链接:https://github.com/0xSojalSec/airllm ...
    2318 苦尽甘没来 发表于 2026-10-26 AI 硬件与部署
  • 本地想跑几百 GB 的大模型,普通电脑是不是直接就劝退了?
    本地想跑几百 GB 的大模型,普通电脑是不是直接就劝退了? colibri 换了个打法:显存、内存、硬盘一块儿用上,模型权重按需从硬盘流式加载。 纯 C 写的,零依赖,GitHub 上已经 2.5 万+ Star。 多种 MoE 模型都支持,官方还演示过用 CPU 流式跑 744B 级模型,常驻内存能压得很低。 更有意思的是它自带网页面板,连专家 ...
    0258 丫丫快递 发表于 2026-10-26 AI 硬件与部署
  • 社区用户在华硕设备实测,运行Qwen3.8-Flash-Next模型时gufo出字达42–49词元/秒,高于llama.cpp的20–23词元/秒。
    社区用户在华硕设备实测,运行Qwen3.8-Flash-Next模型时gufo出字达42–49词元/秒,高于llama.cpp的20–23词元/秒。 北京时间10月26日,有用户在社区发布测试,使用配置128GB统一内存的华硕ROG Flow Z13,对比了私有软件Halogen、开源引擎gufo与llama.cpp运行同一批模型文件的实际表现。 发帖人实测显示,出字速度上Haloge ...
    0256 卿本色人 发表于 2026-10-26 AI 硬件与部署
  • Notion 功能全但要联网、吃内存(300–600 MB),Obsidian 轻却缺数据库和任务管理
    Notion 功能全但要联网、吃内存(300–600 MB),Obsidian 轻却缺数据库和任务管理 Thought Desk 用 Rust + Tauri 2 做了个本地优先的中间路线,嵌套页面、块编辑器、八种视图的数据库、日历和闪卡全有,内存约 115 MB。 https://github.com/kusule1351-hue/thought-desk ...
    0257 冰点精灵 发表于 2026-10-26 AI 硬件与部署
  • 刚刷到一个开源项目,离谱程度让我愣了好几秒😳
    刚刷到一个开源项目,离谱程度让我愣了好几秒😳 PDF转Markdown这事儿,居然有人做到每秒100页,全程零收费,纯CPU跑满,GPU不沾、云不碰、API key都不用。 这货就是OpenDataLoader,各大跑分榜上横扫一片,榜首位置直接拿下。 几个对比摆出来你就明白了: 1️⃣ docling分数勉强能看,速度却被它甩开15倍 2️⃣ marker不 ...
    0245 随便看下 发表于 2026-10-26 AI 硬件与部署
  • 🔥 用 RTX 显卡跑本地 AI 的朋友注意!🔥
    🔥 用 RTX 显卡跑本地 AI 的朋友注意!🔥 最近开源项目 GPU-Unlock 解锁了 NVIDIA 对 GeForce RTX 卡的部分 AI 算力限制。 很多 RTX 20/30/40 系列卡(台式机+笔记本)在特定 Tensor 运算上出现了显著提升: RTX 2080 Ti:+36~64% RTX 3060:+78~99% RTX 3070:+72~81% RTX 3080:+68~73% RTX 3090 Ti:BF16 约 +80% RTX 40 ...
    2436 肉丸的幸福生活 发表于 2026-10-26 显卡与算力
  • 爆了!!!NVIDIA RTX 20、30、40 三代显卡的隐藏 AI 算力,居然都被民间大神破解了!!!🤯
    老黄锁了这么多年的 Tensor Core 算力,居然被人直接解锁了,部分显卡的计算吞吐量甚至原地翻倍! 而且最离谱的是,不需要更换硬件,不用刷 BIOS,也不用魔改 NVIDIA 官方驱动。 直接从底层解除部分 Tensor Core 运算的性能限制。 目前社区已经公布了多个型号的测试结果: 🔹 RTX 4090:165.6 → 331.6 TFLOPS,直接翻 ...
    1307 周师兄 发表于 2026-10-26 显卡与算力
  • 买了台 Mac mini,分享下我现在怎么用的。
    前两天合盖让 AI 写代码,MacBook 热得屏幕都黏上了 (强掰开),真怕再这么跑下去把电脑搞坏。 正好双 11,在京东蹲了个好价,买了台 Mac mini,分享下我现在怎么用的。 我维护的项目都在 GitHub 上,就给 MacBook 和 Mac mini 各弄了个脚本,每小时自动上传改动、拉取最新代码,换台电脑也能接着写,省得来回手动同步。 ...
    0257 暗了个夜 发表于 2026-10-26 AI 硬件与部署
  • 想象一下遇上“死亡红环”
    https://x.com/i/status/2114094955069133022
    0262 王宝珍 发表于 2026-10-25 AI 硬件与部署
  • 让opus5.5跑了两天两夜,成功把SteamOS移植到我的旧手机上了
    让opus5.5跑了两天两夜,成功把SteamOS移植到我的旧手机上了,看着它从内核开始,逐个搞定关键驱动移植,魔改上层系统,最后点亮屏幕,而我做的只是按几个组合键,插拔几下数据线,剩下的全由opus搞定。 目前在收尾阶段,后面我会开源该项目供大家参考 ...
    0257 小苹果的清甜 发表于 2026-10-25 AI 硬件与部署
  • 物理AI缺的不是模型,是四步数据闭环?
    物理AI要落地,卡点往往不在模型本身,而在数据怎么来、怎么信、怎么用。Vangrid提出的四支柱框架,把这件事拆成了四个动作。 第一根柱子是采集(Capture)。把物理世界的数据带进网格,靠的是人、手机和传感器。数据源头不局限于专业设备,普通终端也被纳入采集链路。 第二根柱子是验证(Verify)。确保数据的来源可追 ...
    0275 清旧入梦 发表于 2026-10-25 AI 硬件与部署
  • 看到这个消息诶 ​​​
    0250 小楚 发表于 2026-10-25 AI 硬件与部署
  • 一个月6度电、营业额4.5W+,我把工作室的MacMini变成了24小时运作的AI服务器…
    一个月6度电、营业额4.5W+,我把工作室的MacMini变成了24小时运作的AI服务器… 一台 Mac mini,如何变成 24 小时在线的本地 AI 服务器?本期视频小宇将带你完成基础设置,并部署 Hermes、Docker、UU 远程和 Tailscale,解锁远程办公与 AI 自动化! https://www.youtube.com/watch?v=l-bncHLXu_M ...
    0262 fredqiqi 发表于 2026-10-25 AI 硬件与部署
  • 说实话,我一开始也没搞懂英伟达到底凭什么横成这样——直到把这篇翻来覆去读了三遍。
    说实话,我一开始也没搞懂英伟达到底凭什么横成这样——直到把这篇翻来覆去读了三遍。 2018 年两位图灵奖得主当时撂下一句话:计算机架构要来一场寒武纪大爆发;今天回头看,这事还真就发生了。 GPU、TPU、LPU、NPU 各种架构全蹦出来,抢着做 AI 的算力买卖。 局面我捋了一下,大概是这么个情况: 1️⃣ 英伟达跑在最前 ...
    0274 换了头像再说话 发表于 2026-10-22 AI 硬件与部署
  • 本地大模型工具选择。在电脑端部署本地大模型,工具应该怎么选?Windows/MacOS 有什么不同?
    本地大模型工具选择。在电脑端部署本地大模型,工具应该怎么选?Windows/MacOS 有什么不同? 针对小白用户和技术极客,应该如何选择适合自己的工具? 每个工具在不同系统中速度对比如何? 我来为大家介绍主流的本地大模型工具的选择。 AI ​​​ ...
    0273 水坤 发表于 2026-10-22 AI 硬件与部署
  • Magpie 简直是神器,已经离不开了🥹
    @yetone 的 Magpie 简直是神器,已经离不开了🥹 用 ESP32-S3-Touch-AMOLED-2.16 给它做了一个仪表盘,顺手看调用情况、请求记录、会话统计、Token 用量信息
    0288 陈晓雪 发表于 2026-10-20 AI 硬件与部署
  • 另外再给大家同步个好玩的东西, 已经搞了一周了.
    另外再给大家同步个好玩的东西, 已经搞了一周了. 这个如果能做成功, 大家手里的Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.8-Flash-Next 的速度能在开启MTP的情况下再原地提升16%左右. 我会直接发一个llama.cpp / mlx 版本, 开箱即用. 祝我成功吧. ​​​ ...
    0269 农物星球 发表于 2026-10-20 AI 硬件与部署
  • 总价1400 元装机,本地跑 Qwen3.8-Flash-Next,实测 30~50token/s
    1400 元出头捡垃圾 X99 平台,搭配 P100 计算卡,完整装机 + Ubuntu 部署 Strata,本地跑 Qwen3.8-Flash-Next IQ3 量化版本。 实测平均 30+ token/s,峰值可达 50token/s,可以跑 AI Agent 任务,生成 3D 场景等。 客观说明:P100 的 prefill 速度偏弱,这套方案更适合 Strata,对其他大模型兼容性一般。 硬件清单:X99D3 ...
    0351 wx520 发表于 2026-10-19 AI 硬件与部署
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部