一起港湾 - AI技术分享社区

在边缘昏昏欲睡......这东西一开始只有不到900块，前段时间1200买了6张，现在这东西快涨到1400+了，因为倒腾双卡2080ti的那群人发了几个视频评价/推荐T10 16G。如果你还在想改32G和激活NVLink的事情，我只能说没 ...

0 226 一念法界发表于 2026-10-2 AI 硬件与部署

2B 参数的小模型，现在也开始能干活了？OpenBMB 的 MiniCPM5-2B，主打本地小硬件运行。有人把它接进 CI 修复 Agent，丢了一个“结算重试导致运费重复计算”的 Bug 给它。模型自己复现问题、翻代码、定位原因，最 ...

0 222 我爱榛子发表于 2026-9-28 AI 硬件与部署

2.78万亿参数，8GB内存，单颗CPU，这组合够离谱。kimi-k3-in-c 这个开源项目，愣是用 176KB 的可移植 C99 代码把超大 MoE 带了起来，CUDA、PyTorch、BLAS 一概不用，GPU 也免了。1️⃣ 896 个专家里，每个 Token ...

0 206 茵梦湖发表于 2026-9-28 AI 硬件与部署

0 251 糖球球发表于 2026-9-27 AI 硬件与部署

0 209 Rcpchina 发表于 2026-9-26 AI 硬件与部署

以紧凑机身提供强劲工作站级性能，助您运行本地 AI、大语言模型（LLM）及创意类工作负载。MS-S1 MAX 搭载 AMD Ryzen™ AI Max+ 395 处理器，具备高达 126 TOPS 的 AI 算力，并支持最高 128GB LPDDR5x 统一内存。使用 ...

0 135 永不死机发表于 2026-9-25 AI 硬件与部署

🔥低成本本地部署方案，12GB RTX3060 跑通 MiMo-V2.6-Distill-Qwen-9B，262K 超长上下文本地推理。采用 Q5_K_M 量化，搭配 Q8 KV 缓存、Flash Attention。性能：解码约 47 tok/s，预填充约 1600 tok/s。模型基于 ...

0 142 halczy 发表于 2026-9-25 AI 硬件与部署

17美元、25分钟，微调出一个自己的 Jev 决策模型来自 @togethercompute 团队 @nutlope 的实操教程，基于 Qwen3.5 4B，花 17 美元、约 25 分钟，微调出一个自己的“Jev 式”决策模型并部署成 API。同时他们把 ...

0 262 情牵百子归柜发表于 2026-9-24 AI 硬件与部署

以前折腾 TTS，要么上 GPU，要么接付费 API。Kyutai 最近开源了 Pocket TTS，只有约 1 亿参数，主打直接在 CPU 上本地运行。在 MacBook CPU 上，官方测试最高接近 6 倍实时速度，首个音频块大约 200ms 就能生成 ...

0 122 车险小周发表于 2026-9-24 AI 硬件与部署

5.6 Luna：输入：0.25 美元/M 缓存输入：0.02 美元/M 输出：1.2 美元/M6 Luna: 输入：0.125 美元/M 缓存输入：0.01 美元/M 输出：0.5 美元/M输入降幅 50%，输出降幅 58%。AAI Index 单任务价格和 Token 效率 ...

0 132 淑女红红发表于 2026-9-23 AI 硬件与部署

不想把 AI 和数据交给云厂商，也不想折腾复杂部署？Olares 提供了一种本地 AI 云方案：把计算、存储和应用管理放回自己的硬件上。它支持：一键部署本地 AI 模型GPU 资源自动调度搭建私有知识库应用沙箱隔离 ...

0 180 像昵发表于 2026-9-14 AI 硬件与部署

“一张 16GB 显卡，也能跑 27B 大模型。”看到这句话，先别急着下载权重。你还需要知道：用了什么量化？上下文开了多长？模型是否全部放在显存里？所谓“快”，指开始回答快，还是回答时每秒生成的 token 多？ ...

0 277 丫丫快递发表于 2026-9-14 AI 硬件与部署

在着手编写这本手册之前，我自以为理解了 GPU 利用率的概念。我曾一度将三个截然不同的概念混为一谈：内核（kernel）启动的任务、实际驻留在 GPU 上的任务，以及当前准备好发射（issue）的任务。它们并非同一回事 ...

0 185 树叶人发表于 2026-9-13 AI 硬件与部署

0 265 善宣发表于 2026-9-13 AI 硬件与部署

0 275 用户大弟发表于 2026-9-13 AI 硬件与部署