<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0">
  <channel>
    <title>一起港湾 - AI 硬件与部署</title>
    <link>https://17gw.com/forum-42-1.html</link>
    <description>Latest 20 threads of AI 硬件与部署</description>
    <copyright>Copyright(C) 一起港湾</copyright>
    <generator>Discuz! Board by Discuz! Team</generator>
    <lastBuildDate>Thu, 08 Oct 2026 03:23:34 +0000</lastBuildDate>
    <ttl>60</ttl>
    <image>
      <url>https://17gw.com/static/image/common/logo_88_31.gif</url>
      <title>一起港湾</title>
      <link>https://17gw.com/</link>
    </image>
    <item>
      <title>自托管或开发自己的软件，并不需要太多条件。</title>
      <link>https://17gw.com/thread-9040-1-1.html</link>
      <description><![CDATA[]]></description>
      <category>AI 硬件与部署</category>
      <author>twinsbbs</author>
      <pubDate>Tue, 06 Oct 2026 12:44:40 +0000</pubDate>
    </item>
    <item>
      <title>苹果统一内存卖得有多贵，大家心里都有数。</title>
      <link>https://17gw.com/thread-9023-1-1.html</link>
      <description><![CDATA[苹果统一内存卖得有多贵，大家心里都有数。

今天在 Reddit 刷到一个神级项目直接看傻了：

有人用一条 10 Gb/s 的 USB-C 线，把手里的 iPhone 变成了 24GB MacBook 的“副显卡”，用来跑本地 Qwen 27B 大模型，长文本速度暴涨 40%+！


 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>钱财随缘</author>
      <pubDate>Mon, 05 Oct 2026 14:09:37 +0000</pubDate>
    </item>
    <item>
      <title>自己搭个本地 AI 服务器，以前有多折腾你心里有数：Ollama、Open WebUI、n8n、ComfyUI 一个个装、一个个连，装到怀疑人生。</title>
      <link>https://17gw.com/thread-9018-1-1.html</link>
      <description><![CDATA[自己搭个本地 AI 服务器，以前有多折腾你心里有数：Ollama、Open WebUI、n8n、ComfyUI 一个个装、一个个连，装到怀疑人生。

如今有个玩意儿叫 ODS，一行命令全给你装妥、接好，还自动按你的硬件挑模型，装完打开 localhost:3000 直接开唠。

我觉得最爽的是这几点：
1 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>凉凉凉了</author>
      <pubDate>Sun, 04 Oct 2026 15:40:46 +0000</pubDate>
    </item>
    <item>
      <title>以防有人不知道 &gt; 12GB 显存的游戏电脑，已经能跑 125B 参数的大模型，最快每秒写 94 个 token 🫢</title>
      <link>https://17gw.com/thread-9013-1-1.html</link>
      <description><![CDATA[以防有人不知道 &gt; 12GB 显存的游戏电脑，已经能跑 125B 参数的大模型，最快每秒写 94 个 token 🫢

这个模型叫 Qwen3.8-Flash-Next，由一堆「专家」组成，每个 token 只用 6B 参数。开源推理引擎 Strata 把常用专家放显卡，全部专家放内存，显卡没有的让 CPU 同时算。

 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>密斯特真行</author>
      <pubDate>Sun, 04 Oct 2026 13:08:17 +0000</pubDate>
    </item>
    <item>
      <title>我的随身电脑是一台$50买来的旧Chromebook，2G内存，16G硬盘。</title>
      <link>https://17gw.com/thread-9007-1-1.html</link>
      <description><![CDATA[我的随身电脑是一台$50买来的旧Chromebook，2G内存，16G硬盘。它自己当然干不了什么活儿，但是装上Linux系统之后，在tailscale和我不限流量的手机套餐加持下，我可以随时随地远程桌面到家里的强劲机器，以及ssh到我的vps们上，想干啥就干啥。它只是个终端，而且它非常省 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>小米的爸爸</author>
      <pubDate>Sat, 03 Oct 2026 13:28:29 +0000</pubDate>
    </item>
    <item>
      <title>这东西一开始只有不到900块，前段时间1200买了6张，现在这东西快涨到1400+了，因为倒腾双卡2080ti的那群人发了几个视频评价/推荐T10 16G。</title>
      <link>https://17gw.com/thread-8984-1-1.html</link>
      <description><![CDATA[在边缘昏昏欲睡......
这东西一开始只有不到900块，前段时间1200买了6张，现在这东西快涨到1400+了，因为倒腾双卡2080ti的那群人发了几个视频评价/推荐T10 16G。

如果你还在想改32G和激活NVLink的事情，我只能说没证据不行，也没证据说一定行，还是需要实验。
它用的TU ...]]></description>
      <category>AI 硬件与部署</category>
      <author>一念法界</author>
      <pubDate>Fri, 02 Oct 2026 14:35:51 +0000</pubDate>
    </item>
    <item>
      <title>2B 参数的小模型，现在也开始能干活了？</title>
      <link>https://17gw.com/thread-8903-1-1.html</link>
      <description><![CDATA[2B 参数的小模型，现在也开始能干活了？

OpenBMB 的 MiniCPM5-2B，主打本地小硬件运行。有人把它接进 CI 修复 Agent，丢了一个“结算重试导致运费重复计算”的 Bug 给它。

模型自己复现问题、翻代码、定位原因，最后直接打补丁，18 个测试全部通过，而且全程本地运行 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>我爱榛子</author>
      <pubDate>Mon, 28 Sep 2026 15:15:17 +0000</pubDate>
    </item>
    <item>
      <title>2.78万亿参数，8GB内存，单颗CPU，这组合够离谱。</title>
      <link>https://17gw.com/thread-8882-1-1.html</link>
      <description><![CDATA[2.78万亿参数，8GB内存，单颗CPU，这组合够离谱。

kimi-k3-in-c 这个开源项目，愣是用 176KB 的可移植 C99 代码把超大 MoE 带了起来，CUDA、PyTorch、BLAS 一概不用，GPU 也免了。

1️⃣ 896 个专家里，每个 Token 仅激活 16 个
2️⃣ 权重存 NVMe，剩下的按需流式喂 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>茵梦湖</author>
      <pubDate>Mon, 28 Sep 2026 12:33:51 +0000</pubDate>
    </item>
    <item>
      <title>Gemini 制作的 M5Stack CardputerZero X SONY VAIO type P “M5 VAIO” 骨架版</title>
      <link>https://17gw.com/thread-8861-1-1.html</link>
      <description><![CDATA[]]></description>
      <category>AI 硬件与部署</category>
      <author>糖球球</author>
      <pubDate>Sun, 27 Sep 2026 12:29:08 +0000</pubDate>
    </item>
    <item>
      <title>以前我不太了解在 Linux 终端里能做这么多事情。  谢谢大家的指点（感谢那些热心人）。</title>
      <link>https://17gw.com/thread-8768-1-1.html</link>
      <description><![CDATA[]]></description>
      <category>AI 硬件与部署</category>
      <author>Rcpchina</author>
      <pubDate>Sat, 26 Sep 2026 11:25:46 +0000</pubDate>
    </item>
    <item>
      <title>以紧凑机身提供强劲工作站级性能，助您运行本地 AI、大语言模型（LLM）及创意类工作负载。</title>
      <link>https://17gw.com/thread-8736-1-1.html</link>
      <description><![CDATA[以紧凑机身提供强劲工作站级性能，助您运行本地 AI、大语言模型（LLM）及创意类工作负载。MS-S1 MAX 搭载 AMD Ryzen™ AI Max+ 395 处理器，具备高达 126 TOPS 的 AI 算力，并支持最高 128GB LPDDR5x 统一内存。使用优惠码 X45 即可额外立减 45 澳元。


 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>永不死机</author>
      <pubDate>Fri, 25 Sep 2026 13:48:08 +0000</pubDate>
    </item>
    <item>
      <title>🔥低成本本地部署方案，12GB RTX3060 跑通 MiMo-V2.6-Distill-Qwen-9B，262K 超长上下文本地推理。</title>
      <link>https://17gw.com/thread-8734-1-1.html</link>
      <description><![CDATA[🔥低成本本地部署方案，12GB RTX3060 跑通 MiMo-V2.6-Distill-Qwen-9B，262K 超长上下文本地推理。

采用 Q5_K_M 量化，搭配 Q8 KV 缓存、Flash Attention。
性能：解码约 47 tok/s，预填充约 1600 tok/s。
模型基于 Qwen3.5-9B 蒸馏，吸收大模型教师的推理能力，SWE-Pr ...]]></description>
      <category>AI 硬件与部署</category>
      <author>halczy</author>
      <pubDate>Fri, 25 Sep 2026 02:57:15 +0000</pubDate>
    </item>
    <item>
      <title>17美元、25分钟，微调出一个自己的 Jev 决策模型</title>
      <link>https://17gw.com/thread-8728-1-1.html</link>
      <description><![CDATA[17美元、25分钟，微调出一个自己的 Jev 决策模型

来自 
@togethercompute
 团队 
@nutlope
 的实操教程，基于 Qwen3.5 4B，花 17 美元、约 25 分钟，微调出一个自己的“Jev 式”决策模型并部署成 API。同时他们把自己训练好的成品模型 together/Tev1-4B-experimental  ...]]></description>
      <category>AI 硬件与部署</category>
      <author>情牵百子归柜</author>
      <pubDate>Thu, 24 Sep 2026 14:59:33 +0000</pubDate>
    </item>
    <item>
      <title>以前折腾 TTS，要么上 GPU，要么接付费 API。</title>
      <link>https://17gw.com/thread-8688-1-1.html</link>
      <description><![CDATA[以前折腾 TTS，要么上 GPU，要么接付费 API。

Kyutai 最近开源了 Pocket TTS，只有约 1 亿参数，主打直接在 CPU 上本地运行。

在 MacBook CPU 上，官方测试最高接近 6 倍实时速度，首个音频块大约 200ms 就能生成，而且只需要 2 个 CPU 核心。

它还支持语音克隆和 6  ...]]></description>
      <category>AI 硬件与部署</category>
      <author>车险小周</author>
      <pubDate>Thu, 24 Sep 2026 12:37:00 +0000</pubDate>
    </item>
    <item>
      <title>GPT 6 Luna 这价格真的神了</title>
      <link>https://17gw.com/thread-8661-1-1.html</link>
      <description><![CDATA[5.6 Luna： 输入：0.25 美元/M 缓存输入：0.02 美元/M 输出：1.2 美元/M

6 Luna: 输入：0.125 美元/M 缓存输入：0.01 美元/M 输出：0.5 美元/M

输入降幅 50%，输出降幅 58%。

AAI Index 单任务价格和 Token 效率看上去也是遥遥领先同类模型。


要是奥特曼能让 TPS  ...]]></description>
      <category>AI 硬件与部署</category>
      <author>淑女红红</author>
      <pubDate>Wed, 23 Sep 2026 14:22:40 +0000</pubDate>
    </item>
    <item>
      <title>不想把 AI 和数据交给云厂商，也不想折腾复杂部署？</title>
      <link>https://17gw.com/thread-8537-1-1.html</link>
      <description><![CDATA[不想把 AI 和数据交给云厂商，也不想折腾复杂部署？

Olares 提供了一种本地 AI 云方案：把计算、存储和应用管理放回自己的硬件上。

它支持：

一键部署本地 AI 模型
GPU 资源自动调度
搭建私有知识库
应用沙箱隔离
统一管理存储、数据库和备份
多设备访问与统一登录

 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>像昵</author>
      <pubDate>Mon, 14 Sep 2026 13:51:22 +0000</pubDate>
    </item>
    <item>
      <title>显存就这么多，怎么把字吐得更快？——从 MoE、KV Cache 到 DFlash 的本地部署全景拆解</title>
      <link>https://17gw.com/thread-8535-1-1.html</link>
      <description><![CDATA[“一张 16GB 显卡，也能跑 27B 大模型。”
看到这句话，先别急着下载权重。
你还需要知道：用了什么量化？上下文开了多长？模型是否全部放在显存里？所谓“快”，指开始回答快，还是回答时每秒生成的 token 多？
这些条件不同，“能跑”的含义可能相差很大。模型成功 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>丫丫快递</author>
      <pubDate>Mon, 14 Sep 2026 13:33:38 +0000</pubDate>
    </item>
    <item>
      <title>在着手编写这本手册之前，我自以为理解了 GPU 利用率的概念。</title>
      <link>https://17gw.com/thread-8518-1-1.html</link>
      <description><![CDATA[在着手编写这本手册之前，我自以为理解了 GPU 利用率的概念。

我曾一度将三个截然不同的概念混为一谈：内核（kernel）启动的任务、实际驻留在 GPU 上的任务，以及当前准备好发射（issue）的任务。它们并非同一回事。

以一个包含 240 个线程块（block）、每个块 256 个 ...]]></description>
      <category>AI 硬件与部署</category>
      <author>树叶人</author>
      <pubDate>Sun, 13 Sep 2026 14:42:00 +0000</pubDate>
    </item>
    <item>
      <title>有本事就来拿  未经注册的算力全天候运行着非法的中国产“叮当响”机器</title>
      <link>https://17gw.com/thread-8516-1-1.html</link>
      <description><![CDATA[有本事就来拿

未经注册的算力全天候运行着非法的中国产“叮当响”机器]]></description>
      <category>AI 硬件与部署</category>
      <author>善宣</author>
      <pubDate>Sun, 13 Sep 2026 14:36:38 +0000</pubDate>
    </item>
    <item>
      <title>有本事就来拿</title>
      <link>https://17gw.com/thread-8515-1-1.html</link>
      <description><![CDATA[]]></description>
      <category>AI 硬件与部署</category>
      <author>用户大弟</author>
      <pubDate>Sun, 13 Sep 2026 14:34:59 +0000</pubDate>
    </item>
  </channel>
</rss>