一名独立开发者仅用7天就逆向工程破解了谷歌价值十亿美元的算法
一名独立开发者仅用7天就逆向工程破解了谷歌价值十亿美元的算法谷歌发表了一篇论文，导致全球内存股暴跌。然后，它却没有发布任何代码。
汤姆·特尼读懂了数学公式，打开终端，和克劳德一起搭建了整个系统——然后让它比谷歌承诺的还要快。
第 1-3 天：核心算法、141 个测试、Python 原型
第3-5天：将C语言代码移植到llama.cpp，Metal GPU内核
第 5-7 天：速度优化，从 739 tok/s 提升至 2747 tok/s
这是纯粹通过工程技术实现的 3.7 倍速度提升：
> fp32 → fp16 白
> half4 矢量化蝴蝶运算
图侧旋转
> block-32 存储布局
然后他又在此基础上补充了自己的研究成果：
稀疏 V：在长上下文中跳过 90% 的值解压缩
非对称键值对：保持键值精确，更严格地压缩值。
时间衰减：旧标记的精度会自动降低。
结果：35B 模型在 MacBook 上运行，缓存压缩倍数为 4.6 倍。
一周内获得 613 个 GitHub 星标。谷歌至今仍未发布自己的代码。
页:
[1]