搜索
序列建模是大语言模型、计算机视觉等领域的基础共性问题。当前通用的 Transformer 模型计算复杂度随序列长度平方增长，在长序列任务中面临显著的计算挑战。因此，研究者们一直在探索具有线性计算复杂度的高效序列建模方法。
近期，LLM 已经在 IMO 上取得了很好的成绩，在一些研究级数学上（如短程证明、组合构造）也有所进展。但如果真正让 LLM 去处理提出数十年的数学猜想，结果会是如何？
在联邦学习中，如何同时兼顾模型性能、数据隐私和通信开销，是一个亟需解决的挑战。
在大模型后训练中，数据不再只是 “越多越好”，而是要像人类学习一样，动态选择最合适难度的样本。华为提出的 EDCO 方法，将样本难度估计与动态课程编排引入领域大模型微调；数月后，由 Rutgers、Amazon、Google 等作者参与的 DARE 论文即引用 EDCO，并将其作为难度感知强化学习训练的重要对比基线。
DAG框架利用时间与通道双重相关网络，有效整合历史与未来外生变量信息，提升时间序列预测准确性。通过发现并注入相关关系，充分利用未来协变量，显著优于现有方法。
用过推理型大模型的人，大概率都熟悉这种体验：模型似乎在认真思考，但屏幕上长时间没有真正有用的内容；如果让它一开始就输出，又很容易出现仓促判断，后面的推理还要被早期错误牵着走。
早在2024年，人们还倾向于给Agent提供海量的工具（例如通过MCP协议连接的API、搜索引擎、代码解释器等）。但是，“拥有工具”并不等于“知道如何使用工具”。当任务变得复杂且长周期时，要求Agent每次都从头开始推理“该用哪个工具、何时用、怎么组合、出错怎么办”，会导致系统极度脆弱、延迟极高且不可靠。
生成模型的偏好对齐，可能正在进入一个新的阶段。
过去一段时间里，在围绕大模型推理能力增强的研究中，SFT 和 RL 是两类核心后训练范式 —— 前者稳定收敛快，能高效吸收高质量推理数据；后者更具探索性，有望推动模型实现复杂推理和分布外泛化。
近日，Meta AI 与香港中文大学颠覆性提出了一种全新的视觉推理范式 ATLAS，不用外部工具，不显式生成中间图像，没有视觉监督信号，只用一个离散 word，首次颠覆性地代替 Agentic 和 Latent Visual Reasoning。