|
|
intel 拿新卡准备硬刚RTX Pro 4000?
牢英又要发新显卡了, 分别是ARC B70 和 B65, 两个卡都有 32G 256bit ECC GDDR6, 显存带宽达到了 608 GB/s.
说实话这个显存带宽不太够看的, 如果运行Qwen3.5-27B-8bit, 理论 bach_size=1 的话也就 22.5 token/s.
两张卡的差距主要在GPU性能上, B70 有 22.94 TFLOPS (FP32), 而 Int8 性能能达到 367 TOPS. 没错原生支持 int8 精度的.
而 B65 是 12.28 TFLOPS (FP32), Int8 性能是 197 TOP, 精准的对半刀法.
我看放出的消息是 B70 要卖 $949, 对标的是 RTX Pro 4000 (老黄卖 $1,899, 24 GB GDDR7, 显存带宽 672 GB/s ). 估计企业用户会喜欢, 个人用户这个性能不如买魔改3090了. 毕竟3090显存是GDDR6x, 能飙到 936.2 GB/s 的带宽. 而大模型推理几乎只需要看带宽了, GPU不是瓶颈. (话虽如此最近的应用场景略有不同, 比如龙虾这种上来就要prefill 20K token 的, 反而的确考验 GPU性能).
##
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|