记忆工具如何让人工智能模型变得更糟

现代人工智能系统的最大卖点之一是它们适应用户的能力。每次人工智能助手为你执行任务时，它也会适应你的风格和偏好，这些都会被纳入未来任务的背景中。通过更多的背景信息和对用户更好的理解，模型在每次使用时都会变得更好——或者至少理论上是这样。

新的研究表明，模型的适应能力可能是喜忧参半。周三，人工智能公司Writer的研究人员发表了两篇论文，展示了主流的记忆系统如何使模型变得更糟，从而使模型陷入用户引入的误解或误解。随着用户输入填满模型的上下文窗口，模型会变得更加阿谀奉承，并且不太注重准确性。

“我们希望能够描述一个模型有效关注用户偏好的频率，以及给出潜在错误答案的频率，”负责撰写这篇论文的Writer人工智能主管丹·比克尔 (Dan Bikel) 说道。正如Bikel告诉TechCrunch的那样，“每额外存储并检索用户偏好，您就会面临越来越大的风险。”

在一次变体中，研究人员通过记录用户最喜欢的书是《第十一站》来测试人工智能模型，然后要求模型说出一本畅销的反乌托邦书籍。模特们更有可能在回答中提到第十一站，尽管问题与用户最喜欢的书无关。当使用Mem0和Zep等内存压缩工具时，这种趋势会增加。

正如论文所述，“所有记忆系统从根本上都难以区分相关背景和不相关锚点，严重破坏了多样性和创造力，并引入了可能限制系统效用的意想不到的偏见途径，”论文中写道。

第二篇论文展示了同样的动态如何主动降低绩效，向用户展示对财务的误解，然后挑战模型来分析公司的绩效。模型拥有的上下文越多，它的表现就越差。

帖子中写道：“在没有记忆或个性化的情况下，人工智能模型可以正确评估该公司是一家资本密集型企业，客户流失率很高。” “但打开这些功能后，它会很乐意改变答案以同意用户的错误，或者据对用户先前偏好的评估向他们提供错误的答案。”

值得注意的是，该研究没有关注Anthropic最近的Opus 4.8模型，该模型经过训练可以主动阻止输入错误，例如所提出的错误。研究人员发现的模式在不同的模型中都适用。它展示了人工智能环境可以达到多么微妙的平衡，以及如果工具打破这种平衡，有用的工具可能会产生意想不到的后果。