Taalas引发争议：AI的端侧时代开启？最近在硅谷和华尔街，都在传一个数字：17,000。

bird034

Taalas引发争议：AI的端侧时代开启？最近在硅谷和华尔街，都在传一个数字：17,000。


不是道指、纳指，而是 Taalas 这家公司的芯片速度（基于Llama 3.18B）：

每秒 1.7 万个 Token。

比 NVIDIA 的主流方案快了接近 10 倍。 比已经很快的专用芯片 Groq 还要快 17 倍 以上。

而且不需要昂贵的HBM、以及高性能散热组件，成本只有 GPU 的几十分之一。

这很可能意味着，AI 迎来了一个全新的分水岭：端侧商业化普及。

Taalas是怎么实现的呢？

其采用了两个原则：

1、全面专业化：为每个独立模型定制最优化硅芯片；

2.、融合存储与计算：冯诺伊曼结构中，存储和计算分离，就导致二者之间数据交换存在隔阂；AI时代，这种隔阂限制了AI推理发挥。

Taalas则重新设计，基于存储与计算的融合和模型定制化，从底层重新设计硬件堆栈。

比如这一次就是把 Llama 3.18B大模型，直接“刻”在了硅片里。

这样做优势和劣处都很明显。

硬件和模型完全定制，不支持其他模型，甚至模型更新后也不一定能良好兼容。

那不是白费了吗？海外对Taalas的做法也很有争议。

我觉得有两个点：

1、对于场景清晰、需求明确、且 模型已经标准化/ 收敛路径清晰， 那Taalas的方案可以大幅降低成本，从而推动AI普及。

例如一些智能家居、AI小硬件产品。

2、Taalas在打造芯片定制设计平台，希望能实现快速、低成本的模型适配。

总体而言，NVIDIA 让 AI 变聪明了。而 Taalas 们，正在让 AI 变廉价。
价格是 AI 走进千家万户的关键。未来也是 端+云的配合。

Taalas的消息意味着，端侧AI、边缘计算又有了新催化。