紧急消息：英伟达证明，反向传播并非构建人工智能的唯一方法。他们训练了拥有数十亿参数的模型，却完全未使用任何梯度.
#人工智能#紧急消息：英伟达证明，反向传播并非构建人工智能的唯一方法。他们训练了拥有数十亿参数的模型，却完全未使用任何梯度.
您如今所使用的每一款人工智能都依赖于反向传播。这需要复杂的微积分、庞大的内存以及大规模的 GPU 集群。
与此同时，一种古老的、无需梯度的方法——称为进化策略（ES）——此前被认为无法扩展。直到现在。英伟达和牛津大学刚刚推出了 EGGROLL。他们不再为每次变异生成庞大的、满秩的矩阵，而是将其拆分为两个很小的矩阵。人工智能进行变异。它进行测试。它保留有效的部分。就像生物进化一样。但现在，它能够同时进行数十万次并行变异。处理速度现在与批量推理一样快。
他们完全从零开始使用仅简单的整数对模型进行预训练。没有反向传播。没有小数。没有梯度。我们原以为人工智能的未来需要无尽的高精度硬件集群。事实证明，我们只需要进化即可。
##
页:
[1]