AI港湾 › 人工智能 › 如何在A100上跑Qwen3.5 using vllm，要支持qwen3_5_moe架构，必须使用vllm的nightly build，用uv装

受伤的玫瑰 发表于 2026-3-3 12:58:28

如何在A100上跑Qwen3.5 using vllm，要支持qwen3_5_moe架构，必须使用vllm的nightly build，用uv装

如何在A100上跑Qwen3.5 using vllm，要支持qwen3_5_moe架构，必须使用vllm的nightly build，用uv装：


uv pip install -U vllm --torch-backend=auto --extra-index-url http://t.cn/AXcpweMQ ​​​

查看完整版本: 如何在A100上跑Qwen3.5 using vllm，要支持qwen3_5_moe架构，必须使用vllm的nightly build，用uv装