它使的招数叫分层推理：不把整个模型一口气灌进显存，而是逐层往里加载，算完一层便卸掉，生生把个庞然大物塞进了张小破卡里。
这项目百分百开源，
🔗 https://github.com/0xSojalSec/airllm
区区 4GB 显存，竟要硬跑 70B 的大模型，这还真叫 AirLLM 给办妥了。
区区 4GB 显存，竟要硬跑 70B 的大模型，这还真叫 AirLLM 给办妥了。
它使的招数叫分层推理：不把整个模型一口气灌进显存，而是逐层往里加载，算完一层便卸掉，生生把个庞然大物塞进了张小破卡里。
这项目百分百开源，
🔗 https://github.com/0xSojalSec/airllm
它使的招数叫分层推理：不把整个模型一口气灌进显存，而是逐层往里加载，算完一层便卸掉，生生把个庞然大物塞进了张小破卡里。
这项目百分百开源，
🔗 https://github.com/0xSojalSec/airllm