搜索
根据麻省理工学院NANDA 计划最新发布的报告显示，企业开展的生成式 AI 试点项目失败率高达 95%。但最先进的企业并未完全放弃这项技术，而是开始尝试能够持续学习并接受监督的自主 AI 系统。
持续适应性学习，即指适应环境并提升表现的能力，是自然智能与人工智能共有的关键特征。大脑达成这一目标的核心机制在于神经递质调控（例如多巴胺DA、乙酰胆碱ACh、肾上腺素）通过设置大脑全局变量来有效防止灾难性遗忘，这一机制有望增强人工神经网络在持续学习场景中的鲁棒性。本文将概述该领域的进展，进而详述两项6月Nature发表的背靠背相关研究。
只靠强化学习，AGI就能实现？Claude-4核心成员放话「5年内AI干掉白领」，却被Karpathy等联手泼冷水！持续学习真的可能吗？RL的真正边界、下一代智能的关键转折点到底在哪儿？
未来，掌握持续提示工程技术的开发者，将主导下一代智能系统的进化方向。
最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验，验证了知识蒸馏在巩固记忆方面的有效性，并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。
随着 ChatGPT 掀起的 AI 浪潮进入第三年，人工智能体（AI Agent）作为大语言模型（LLM）落地应用的关键载体，正受到学术界和产业界的持续关注。
上海大学本科生研发的新框架能有效应对知识图谱补全中的灾难性遗忘和少样本学习难题，提升模型在动态环境和数据稀缺场景下的应用能力。这项研究不仅推动了领域发展，也为实际应用提供了宝贵参考。
Sutton 等研究人员近期在《Nature》上发表的研究《Loss of Plasticity in Deep Continual Learning》揭示了一个重要发现：在持续学习环境中，标准深度学习方法的表现竟不及浅层网络。研究指出，这一现象的主要原因是 "可塑性损失"（Plasticity Loss）：深度神经网络在面对非平稳的训练目标持续更新时，会逐渐丧失从新数据中学习的能力。
人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。
研究者表示，如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征，则可以进一步提升 System 2 表现不那么好的推理任务的性能。