世界模型评测的最大盲区，被新基准MemoBench捅破了

世界模型，真的拥有记忆吗？

如果你正把一杯水倒进玻璃瓶，然后扭头看了一眼窗外，再转回来，瓶子里的水位应该已经发生变化。这是任何一个三岁孩子都具备的常识：东西不在眼前，不代表它消失了，更不代表它会停止变化。心理学把这种能力叫做「物体恒存（object permanence）」，是人类最早建立起来的认知能力之一。

但对今天最先进的视频生成模型来说，这个任务却不简单。

过去一年里，「世界模型」成为视频生成领域最热的关键词之一。从 Sora 到国产的多款视频大模型，厂商们争相强调自己的产品不只是「生成好看的画面」，而是在「模拟真实世界的运行规律」。其中，世界模型是否具备类似人类「物体恒存」的认知能力，正成为衡量建模水平的核心标尺：当物体暂时离开视野、并在遮挡期间持续发生物理变化时，模型能否记住它的身份、推演它的状态，并在它重新出现时准确还原？

长期以来，业界评测始终未能精准检验这一能力：绝大多数基准只考核物体持续可见时的帧间一致性；少数涉及遮挡的测试，也多针对静态场景（物体消失期间环境没有任何变化），无法验证模型对动态世界的记忆与推演能力。

针对这个问题，来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一个新的诊断性基准：MemoBench。这是首个面向动态环境的「消失-重现」世界建模评测基准，并已被计算机视觉顶会 ECCV 2026 接收。其一作 Haoyu Chen 为哈佛大学计算科学与工程专业一年级硕士生，师从哈佛大学计算机科学助理教授 Yilun Du。

• 论文标题：MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
• 论文地址：https://arxiv.org/abs/2606.27537
• 项目主页：https://memobench-team.github.io/
• 代码：https://github.com/MemoBench-Team/MemoBench
• 数据集：https://huggingface.co/datasets/tonyc54/MemoBench

该基准以 360 段高质量真值视频为基础，搭配自动化指标与语义化 VQA 评估体系，系统测试了 10 个主流世界生成模型，清晰揭示了当前技术在记忆一致性上的核心短板：没有一个的「物体重现得分」超过 0.6（满分 1）。也就是说，没有一个模型能稳定地让消失的物体「记得住、认得出、变得对」。

这个结果也让研究团队给出了一个非常直接的核心判断：现有视频生成模型即使能生成视觉上完全连贯的画面，也几乎无法在物体重新出现时，正确恢复它在「消失期间」本该经历的状态变化。这一结论清晰揭示了「生成画面逼真」与「真正理解世界」之间的显著差距，也为下一代世界模型的研发提供了可量化的诊断标尺。

「记住」世界：世界模型的必答题

近年来，视频生成技术快速迭代，模型已经能够生成高分辨率、时序连贯的动态画面，也被越来越多地视作「世界模拟器」，为自动驾驶、机器人操纵、具身智能等场景提供环境推演能力。

但真实世界的运转，不会因视线离开而停止：冰块会持续融化、火焰会持续燃烧、行人会持续行走、触碰液体的纸张会被持续浸染……

MemoBench 数据集中一个来自真实世界的数据样本

一个真正合格的世界模型，应当具备类似人类「物体恒存」的认知能力：即便物体暂时离开视野，也能维持对它的身份、位置与状态的表征，并正确推演其在遮挡期间的变化。

这恰恰是当前评测体系的核心盲区。现有的视频生成基准大多只考核物体全程可见时的帧间一致性；少数涉及遮挡的测试，也多针对静态场景（物体消失期间环境没有任何变化）。因此只需还原原有外观即可通过测试，完全无法验证模型对动态世界的记忆与推演能力。

我们始终无法确认：当物体重新出现在画面中时，模型是真的「记住并更新了世界状态」，还是仅仅「重新生成了一个看起来合理的画面」？

MemoBench：补齐世界建模评测的新基准

核心设计：「可见-消失-重现」三段式范式

现有的视频生成基准（如 VBench、WorldScore 等）主要评估视觉质量、物理一致性或相机的运动控制。它们几乎只评估「持续出现在画面中」的物体，如果偶尔有物体移出画面，现有基准也多是在静态场景下进行评估，缺乏对遮挡期间动态变化的考察。

为了回答这个问题，MemoBench 建立了 Visible–Disappear–Reappear（可见-消失-重现，可缩写为 V-D-R） 的核心评测范式，用简洁的三段式结构，精准探测模型是否维持了对物体的持久状态表征。

每一个测试样本都严格遵循统一的物理逻辑：

1. 可见（Visible）：目标物体完整呈现在视野内，并且正处于持续的物理变化过程中，比如可能是正在行走的人物、正在融化的冰块、正在倾倒的粉末。模型可以观察到物体的初始状态与变化趋势。
2. 消失（Disappear）：相机通过平移、转头、U 型转弯等运动完全移开视线，目标物体彻底离开视野。在此期间，物理过程不会停止，会按照自然规律持续演化。
3. 重现（Reappear）：相机转回对应区域，目标物体重新进入画面。模型需要准确还原物体更新后的状态，包括位置、形态、物理变化进度等，与真实演化结果对齐。

MemoBench 概述。第 1–2 行展示了一段合成的「可见–消失–重现」序列及其相机轨迹；第 3–4 行展示了一段真实世界的状态变化序列（粉末倾倒）。MemoBench 包含 196 段合成剪辑和 164 段真实世界剪辑，通过自动化指标和 LLM 评判的 VQA 进行评估。

这个看起来简单的范式，考验的是世界模型的核心能力：模型不能只是在做逐帧的画面生成，而是必须在视野外维护一个持续演化的世界状态。

它同时考验视觉记忆、状态更新与动态推演能力，是对「真实世界建模水平」的直接检验。

数据构建：合成场景与真实素材双管齐下

基于这一范式，MemoBench 构建了合成与真实世界两条并行的数据流水线，共包含 360 段 1920×1080 分辨率的高质量 Ground-truth 视频，配上完整的几何标注与评测工具：

• 合成子集（196 段）：在虚幻引擎 5 中渲染生成，覆盖 5 大类环境、14 个子场景，包含 U 型转弯、前进移动、头部转动、垂直运动等多种复杂相机轨迹。每段视频都附带逐帧 RGB 图、度量深度图、相机内参与相机位姿，能够支撑几何层面的精准评估，重点测试大视角变化下的空间记忆能力。

合成数据：由虚幻引擎 5 渲染的 5 个类别下的 14 个场景。

• 真实世界子集（164 段）：在可控室内环境中实拍完成，覆盖 7 大类、30 种物理状态变化过程，包括溶解、燃烧热变、扩散吸收、化学反应、粘性流动、泡沫演化、力学形变等。这些依赖粘度、弹性、热传导等真实材质属性的过程，难以被游戏引擎精准模拟，专门用于检验模型对真实物理动态的记忆准确性。

真实世界数据：在受控室内环境中拍摄，涵盖 7 大类别的 30 种物理状态变化过程

所有样本都经过人工标注，精准标记了物体「完全消失」和「完全重现」两个关键帧，用以精确划分可见（V）、消失（D）、重现（R）三个阶段，作为后续所有评测指标计算的基础。

MemoBench 的数据整编流程

怎么打分：自动化指标 + VQA 双线评测

MemoBench 设计了自动化量化指标 + VQA 语义评估两套互补的评估方案，既看底层像素保真，也看高层语义正确，避免单一指标的片面性。

自动化指标覆盖三大维度，所有核心分数均归一化到 0-100 区间，考验世界模型的：

• 通用视频质量：包含视觉质量、运动平滑度、物体身份一致性、3D 几何一致性四项，衡量基础生成能力；
• 记忆专属指标：这是评测的核心。其中物体重现分数（ORS）通过 SAM-3 文本驱动分割模型，检测重现阶段目标物体的存在性与置信度，直接衡量模型能否让目标「正确回来」；同时包含分阶段的像素级保真度（PSNR、SSIM、LPIPS）与相机可控性指标，可精准定位性能退化的具体环节。
• 提示保真度：通过 ImageReward 衡量生成内容与文本提示的匹配程度。

VQA 语义评估则聚焦自动化指标难以捕捉的高层语义合理性，覆盖四个诊断维度：

1. 指令遵循：是否准确执行提示中的相机运动、物体轨迹与事件顺序；
2. 物体与背景一致性：前后景元素是否存在形态漂移、身份切换、场景突变；
3. 记忆连续性：物体消失期间，模型是否维持了它的身份、轨迹与状态，是与「消失-重现」范式最直接对应的维度；
4. 物理合理性：运动、重力、光影阴影是否符合物理规律。

VQA 评估流程。大语言模型根据提示词和首帧生成 24 个极性平衡的是/否问题（每个维度 6 个）。问题通过真实标注和失败片段评估进行筛选，再由人工审核验证。最终问题库应用于每个生成的视频，从而得出四个诊断维度各自的通过率。

为了保证评估的可靠性，所有问题都经过真值过滤、失败案例过滤与人工交叉验证三轮筛选。最终人工与 VLM 判断的整体一致性达 92.9%，Cohen's κ 系数为 0.85，评估结果具备很高的可信度。

当前世界模型的真实水平如何？

研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型，涵盖相机可控图生视频（CI2V）、显式 3D 视角合成、普通图生视频（I2V）三类技术路线，得到了一系列关键发现，清晰呈现了当前世界建模技术的能力边界。

MemoBench 给出的核心结论是：当前没有任何一个模型能可靠完成「消失-重现」的记忆任务。

所有被测模型的物体重现分数（ORS）均未超过 0.6；在真正执行相机轨迹、让物体实际离开画面的模型中，「记忆连续性」维度的语义得分最高也只有 55.6 分（满分 100，57.0 的 LTX-Video 因相机不动存在虚高问题）；也就是说，即便是最强的模型，针对记忆的提问也只能答对一半多一点。

在 MemoBench 上对 10 个世界生成模型的自动评估。模型分为 CI2V、基于 3D 和 I2V 三类。↑：越高越好；↓：越低越好。加粗：最佳；下划线：次佳。

在 MemoBench 上跨四个语义维度的 VQA 评估。每个维度评分范围为 0–100（↑：越高越好）。模型分为 CI2V、基于 3D 和 I2V 三类。粗体：最佳；下划线：次佳。

一旦物体离开画面，模型的「记忆」就开始快速退化。重现时的内容要么直接消失，要么被随机幻觉替代，要么外观还在、状态却完全不对。

研究团队把这些失败系统整理成六类：物体凭空消失、身份悄悄换人、状态被重置回初始、位置突然跳变、背景被幻觉填充、相机轨迹发生漂移。

LingBot-World 的失败分类。这里报告的计数并非互斥，因为一个生成的序列可能表现出多种失败类型。

其中，合成场景里最常见的失败是「背景幻觉」，即物体还在，但身后的世界已经面目全非；真实场景里最常见的则是「身份漂移」，即同一个物体，消失前后的样子判若两物。

这个大盘结论之外，评测还揭示了几组值得深入讨论的对照。

发现 1：「相机不动」会虚高一致性分数，传统指标存在盲区

最反直觉的发现出现在普通图生视频模型（I2V）身上。

LTX-Video 没有任何相机控制能力，但它在运动平滑度、3D 几何一致性、物体身份一致性三项指标上全部排名第一，物体重现分数也达到了 0.330。

单看数字，成绩相当体面，但研究团队发现，这份「好成绩」的来源非常可疑：LTX-Video 几乎不移动相机，目标物体从头到尾留在画面里，「物体从未消失」自然就「物体从未失忆」。它的高分是用「回避挑战」换来的，而非真正的记忆能力。

不同模型在冲泡咖啡任务上的生成表现

这暴露了一个重要的评测漏洞：传统视频质量指标无法区分「在真实视角变化中保持一致」和「靠静止镜头绕开一切挑战」这两种本质不同的情况。

MemoBench 专门设计了「相机可控性」和「指令遵循」两个维度来识别这种现象。而在这两项上，LTX-Video 的得分排到了最后一档。

发现 2：能控制相机，不代表记得住物体

既然静止镜头会「作弊」，那支持相机条件控制的模型，表现是否就一定更好？

答案是：不一定，而且差距相当悬殊。

同样接受相机轨迹作为输入，五个 CI2V 模型的物体重现分数从 0.266 到 0.582 不等，跨度超过一倍。HunyuanWorldPlay 以 0.582 的 ORS 领跑 CI2V 阵营，而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276；后两者的视觉画质评分反而更高。

这组数据说明：相机能跟着轨迹走和模型脑子里是否维护着「走开之前那个世界的状态」，是两件独立的事。镜头控制得再精准，也只是「知道该看哪里」，不是「记住了那里之前发生了什么」。

物体恒存不会作为相机条件生成的副产品自然涌现，它必须被显式地纳入训练目标。

发现 3：几何精确和画面好看，往往不可兼得

3D 类模型提供了最鲜明的能力分化样本。

• Stable Virtual Camera 直接以显式相机位姿驱动渲染，相机轨迹控制最为精准，像素级保真度在所有模型中也最高；但它的视觉质量评分偏低，画面中容易出现模糊边缘、拼接缝和深度修补错误，VQA 语义评分同样靠后。
• Matrix-Game 2.0 则完全相反：画面最锐利、视觉质量最高，但相机轨迹经常跑偏；同一段轨迹指令，它生成的视角和真实路径偏差巨大，导致像素保真度和 VQA 得分都落入低位。

这两个模型同时站在评测榜单的两个极端，共同说明一件事：几何准确和画面自然度，在当前技术框架下还没有对齐。用画质评分去推断几何精度，或者反过来，都会得出错误结论。

这也是 MemoBench 坚持多维度评测的核心原因：用任何单一指标，你都只能看见这张地图的一角。

发现 4：扩大模型，不如给它看第一帧

论文还披露了一项消融实验，结论相当出人意料。

研究团队对 Wan2.2 做了两组对照：一组把模型参数量从 5B 扩到 14B，另一组保持 5B 参数不变，但额外提供「可见阶段的第一帧」作为图像条件输入。

结果显示，加入第一帧条件使 PSNR 提升了约 4.2 dB，感知距离（LPIPS）下降了 0.20；而参数扩大近三倍，对这两项指标的改善微乎其微。也就是说，让模型清楚地「看见」物体的初始状态，比单纯堆参数量对记忆任务有用得多。

Wan2.2 初始状态条件化与骨干网络容量消融实验结果。基于 50 个片段。「V-frame」指将可见阶段的首帧作为图像条件。

这一发现指向了一个重要的设计方向：与其追求更大的模型，不如在「初始状态如何被编码和保持」这件事上下功夫。

十个模型同台竞技，四组发现从不同侧面共同指向同一个结论：让画面看起来连贯和真正记住世界的状态，是两件截然不同的事情。而后者才是世界模型走向真实应用必须跨越的核心门槛。

共建世界模型评测标尺

MemoBench 揭开的，不只是当前技术的短板，也是一个长期被忽视的研究方向「动态遮挡下的视觉记忆」第一次有了可量化、可对比、可追踪的评测基础。

对于研究者而言，这套体系在指出问题的同时，也暗示了改进路径：持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计，都是接下来值得深耕的方向。

目前，论文、代码、数据集与公开榜单均已开源，研究者可以直接使用评测工具测试自己的模型，并将结果提交至排行榜，与社区共享进展。

• 榜单地址：https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard

从「生成好看的视频」到「维护一个真实的世界」，这中间隔着的，正是 MemoBench 正在度量的那段距离。它不一定短，但现在至少有了刻度。

文章来自于微信公众号 “机器之心”，作者 “机器之心”