区区 4GB 显存，竟要硬跑 70B 的大模型，这还真叫 AirLLM 给办妥了。

区区 4GB 显存，竟要硬跑 70B 的大模型，这还真叫 AirLLM 给办妥了。

它使的招数叫分层推理：不把整个模型一口气灌进显存，而是逐层往里加载，算完一层便卸掉，生生把个庞然大物塞进了张小破卡里。

这项目百分百开源，
🔗 https://github.com/0xSojalSec/airllm