找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1|回复: 0

如何在A100上跑Qwen3.5 using vllm,要支持qwen3_5_moe架构,必须使用vllm的nightly build,用uv装

[复制链接]

5

主题

0

回帖

15

积分

新手上路

积分
15
发表于 3 小时前 | 显示全部楼层 |阅读模式
如何在A100上跑Qwen3.5 using vllm,要支持qwen3_5_moe架构,必须使用vllm的nightly build,用uv装:


uv pip install -U vllm --torch-backend=auto --extra-index-url http://t.cn/AXcpweMQ ​​​
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一起港湾 ( 青ICP备2025004122号-1 )

GMT+8, 2026-3-3 16:36 , Processed in 0.135717 second(s), 19 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表