LLM 为何很难处理好记忆?因为记忆不是简单的知识分类和存储,而是同原模型的融合进化
可以做个想象类比,把我们每次输入的提示词看作一簇有无数触角的“信息结构”,它无法进行简单的归类存储,而是需要把这些触角同模型可以激活的思维部分链接,并消化因关联带来的层层涟漪(人类要通过睡眠来进行深层修剪),这个过程超级复杂,而现在的 LLM 只是预训练模型,机制上完全不同
人类的大脑是实时训练模型,记忆也是实时产生的
也可以这样类比,把我们每次输入的提示词看做一个“图层”,这个图层要叠加在原始模型的“母图层”之上,图层叠加后会涌现出新的“图案”,其中有意义(可被识别/强化)的部分就会自动形成记忆
从这个角度来说,提示词设计(skill 也算是)就是洞察图底关系