Strata v0.2.14,把prompt专家计算从llama.cpp切到自研原生GPU内核(NVIDIA CUDA + AMD HIP),Windows/Linux全覆盖,现有模型、聊天和配置零改动,速度直接涨。
🔥 消费级硬件实测亮点(vs 0.2.13)
🔹RTX 5090(32GB):32K prompt 7870 vs 6851 tok/s(+14.9%)
🔹RTX 4090(24GB):20K prompt 5.65s vs 6.11s(约快7.5%)
🔹RTX 5070 Ti(16GB):20K prompt 1408 vs 953 tok/s(+47.7%)
🔹双卡 RTX A6000:输出 75.88 vs 64.16 tok/s(+18.3%)
🔹Mac M5 Max(128GB):输出 94.7 vs 92.8 tok/s
⚡ 3步开跑
1️⃣下载桌面安装包(Win/Linux/Mac)或终端一键脚本
2️⃣启动后选模型(推荐Unsloth Dynamic quants),引擎自动拉取
3️⃣直接开聊或调用OpenAI兼容API,无需额外设置
详见:https://github.com/Niko1221/Strata/releases/tag/v0.2.14