多年来，计算机科学家一直非常严格的视角看待人工智能。

当人工智能系统学习新任务或信息时，它会覆盖之前学到的一些内容，这种现象被称为“灾难性遗忘”。历史上这个领域一直把这当作一个缺陷，试图用诸如存储大量旧数据等变通方法来修补。

但在发表于《机器学习基础与趋势》的一篇新专题论文中，莱斯大学商学院运营管理助理教授刘岳阳与斯坦福大学的合著者提出，遗忘对人工智能而言并非单纯的故障。在现实场景中，这类系统面临着内存与算力的硬性约束，它们不能、也不应该试图记住一切。

相反，人工智能应该优先考虑“持久知识”。

人工智能如何持续学习用户

当音乐应用用户30岁时，12岁时最喜欢的歌手是谁可能已经无关紧要——至少对推荐新音乐的AI来说是这样。更重要的是，倾听中的模式很可能在未来依然适用。

图源：news.rice.edu

研究人员称之为“持久知识”：即信息能随着时间保持有用的价值。为了保留这些知识的空间，系统必须丢弃过时或低价值的数据。

传统机器学习通常假设训练最终会结束。在这些模型中，系统学习一个稳定目标——例如，一个训练用于识别照片中猫的图像分析仪——一旦达到该目标，训练就基本结束了。按照这个逻辑，灾难性的遗忘看起来就是灾难性的失败。

但刘教授及其合著者的研究出发点截然不同：世界始终在变化，因此人工智能必须持续适应才能保持效用。音乐或电影推荐系统不能假定用户的品味一成不变，如果它停止更新对用户的认知，就会失去推荐价值，因此它必须持续探索。

“作为人类，我们不会记住过去的每一个细节。” 刘教授表示，“一个持续学习的系统也必须做出相似的取舍，判断哪些信息值得留存。”

有限算力下的人工智能生存之道

为验证这一观点，刘教授与同事开展了模拟实验，测试不同算法在计算资源有限的条件下随时间推移的表现。

其中一项实验采用了改进版的置换 MNIST基准测试 —— 这是一套常用于手写数字分类任务的通用测试基准。在实验中，环境持续发生变化，迫使 AI 接连应对不断更迭的任务，而非专注于某一项固定任务。

研究人员比较了三种智能体：一种能够保存100万个过去样本；一种限制为1000个样本的小型智能体；以及一个“重置”智能体，其神经网络会定期被清除。

这些结果挑战了该领域的一些常规假设。在不会重复出现的任务上，小内存智能体的表现与大内存智能体不相上下，说明留存一次性数据并无长期收益。即便重置型智能体，只要重复任务的持续时间足够长，它也能通过重新学习掌握所需知识，跟上性能节奏。

最值得关注的是，当研究人员施加更严格的算力限制时，大内存系统的灵活性反而出现下降。它们遭遇了可塑性丧失问题：系统变得过于僵化，难以良好地吸收新信息。

刘说：“如果一个系统试图保留一切，它可能会失去适应能力。”“在真实限制下，选择性遗忘往往是让学习成为可能的关键。”

另一组在类推荐场景下开展的模拟实验也得出了相似结论：优先保留长期行为模式、而非短暂流行趋势的智能体，长期获得的奖励更高。

思考如何持续学习

这项研究为持续学习提供了一种更统一的思考方式，这一领域常被划分为记忆保持、快速再学习或计算效率等更狭窄的问题。刘和她的合著者认为，这些问题应通过统一的持续学习框架进行分析，以最大化在实际资源限制下的长期表现。

这一学科视角的转变，也重新定义了灾难性遗忘的意义：留存所有过往信息并非最优选择，选择性舍弃非重复性或低价值信息，或许正是帮助系统在漫长生命周期中持续学习的核心。

当然，这套框架并不能解决所有实际挑战。在复杂的现实环境中，精确的数学求解依然困难；而要实现更多能力，仍需要许多系统尚不具备的内存与算力支撑。但这篇论文为后续研究奠定了更清晰的基准。

对于研发终身学习人工智能的研究者而言，这意味着目标或许不再是追求完美的记忆能力，而是实现出色的判断力。一个智能的系统不需要记住多年前的每一个细节，它只需要留住仍有价值的内容，放下其余的一切。

本文由雷科技编译自news.rice.edu

原文链接：要打造终身人工智能，教它忘记 |Rice 新闻 |新闻与媒体关系 |莱斯大学