搜索
过去几年，大语言模型（LLM）的训练大多依赖于基于人类或数据偏好的强化学习（Preference-based Reinforcement Fine-tuning, PBRFT）：输入提示、输出文本、获得一个偏好分数。这一范式催生了 GPT-4、Llama-3 等成功的早期大模型，但局限也日益明显：缺乏长期规划、环境交互与持续学习能力。
近年来，生成式 AI 和多模态大模型在各领域取得了令人瞩目的进展。然而，在现实世界应用中，动态环境下的数据分布和任务需求不断变化，大模型如何在此背景下实现持续学习成为了重要挑战
根据麻省理工学院NANDA 计划最新发布的报告显示，企业开展的生成式 AI 试点项目失败率高达 95%。但最先进的企业并未完全放弃这项技术，而是开始尝试能够持续学习并接受监督的自主 AI 系统。
持续适应性学习，即指适应环境并提升表现的能力，是自然智能与人工智能共有的关键特征。大脑达成这一目标的核心机制在于神经递质调控（例如多巴胺DA、乙酰胆碱ACh、肾上腺素）通过设置大脑全局变量来有效防止灾难性遗忘，这一机制有望增强人工神经网络在持续学习场景中的鲁棒性。本文将概述该领域的进展，进而详述两项6月Nature发表的背靠背相关研究。
只靠强化学习，AGI就能实现？Claude-4核心成员放话「5年内AI干掉白领」，却被Karpathy等联手泼冷水！持续学习真的可能吗？RL的真正边界、下一代智能的关键转折点到底在哪儿？
未来，掌握持续提示工程技术的开发者，将主导下一代智能系统的进化方向。
最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验，验证了知识蒸馏在巩固记忆方面的有效性，并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。
随着 ChatGPT 掀起的 AI 浪潮进入第三年，人工智能体（AI Agent）作为大语言模型（LLM）落地应用的关键载体，正受到学术界和产业界的持续关注。
上海大学本科生研发的新框架能有效应对知识图谱补全中的灾难性遗忘和少样本学习难题，提升模型在动态环境和数据稀缺场景下的应用能力。这项研究不仅推动了领域发展，也为实际应用提供了宝贵参考。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。