查看: 17|回复: 0

调试了一会,目前谷歌A100运行Qwen Flash的速度(3000+ prefill, 90+ tps)已经比一般的商用API还要快了,偶尔短时重度并发使用可以放到Collab上去。

[复制链接]

9

主题

1

回帖

29

积分

新手上路

积分
29
发表于 昨天 22:08 | 显示全部楼层 |阅读模式
调试了一会,目前谷歌A100运行Qwen Flash的速度(3000+ prefill, 90+ tps)已经比一般的商用API还要快了,偶尔短时重度并发使用可以放到Collab上去。

为了节约大家的时间,我把在Collab上重建这个Qwen Flash的Recipe放到Github了,需要可以自取。

https://github.com/architectds/collabosm

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部