LLM 为何很难处理好记忆？因为记忆不是简单的知识分类和存储，而是同原模型的融合进化

快乐购物

LLM 为何很难处理好记忆？因为记忆不是简单的知识分类和存储，而是同原模型的融合进化

可以做个想象类比，把我们每次输入的提示词看作一簇有无数触角的“信息结构”，它无法进行简单的归类存储，而是需要把这些触角同模型可以激活的思维部分链接，并消化因关联带来的层层涟漪（人类要通过睡眠来进行深层修剪），这个过程超级复杂，而现在的 LLM 只是预训练模型，机制上完全不同
人类的大脑是实时训练模型，记忆也是实时产生的

也可以这样类比，把我们每次输入的提示词看做一个“图层”，这个图层要叠加在原始模型的“母图层”之上，图层叠加后会涌现出新的“图案”，其中有意义（可被识别/强化）的部分就会自动形成记忆
从这个角度来说，提示词设计（skill 也算是）就是洞察图底关系