世界模型真的世界拥有「记忆」吗？

想象这样一个场景：你正将水倒入玻璃瓶，随后视线移向窗外。模型当你转回时，评测瓶中的最大盲水位理应已发生变化。这是区被三岁孩童皆具备的常识：不在眼前，不等于消失，个新更不等于静止。基准心理学将此称为「物体恒存（object permanence）」，捅破它是世界人类认知体系的基石。

然而，模型对于当前顶尖的评测视频生成模型而言，这却是最大盲一道难以逾越的鸿沟。

过去一年，区被「世界模型」成为视频生成领域的个新核心热词。从 Sora 到国产多款大模型，基准厂商们纷纷宣称其产品不仅是「生成画面」，更是「模拟物理规律」。在此背景下，世界模型是否具备类似人类的「物体恒存」能力，已成为衡量其建模水平的关键标尺：当物体暂时离开视野并在遮挡期间发生物理变化时，模型能否记住其身份、推演其状态，并在重现时准确还原？

长期以来，业界评测存在显著盲区：多数基准仅考核物体持续可见时的帧间一致性；少数涉及遮挡的测试也多针对静态场景（遮挡期间环境无变化），无法验证模型对动态世界的记忆与推演能力。

针对这一痛点，来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究团队提出了全新诊断基准：MemoBench。这是首个面向动态环境的「消失-重现」世界建模评测基准，已被计算机视觉顶会 ECCV 2026接收。一作 Haoyu Chen 为哈佛大学计算科学与工程硕士生，师从 Yilun Du 助理教授。

论文信息
* 标题：MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
* 地址：https://arxiv.org/abs/2606.27537
* 主页：https://memobench-team.github.io/
* 代码：https://github.com/MemoBench-Team/MemoBench
* 数据集：https://huggingface.co/datasets/tonyc54/MemoBench

该基准基于 360 段高质量真值视频，结合自动化指标与语义化 VQA 评估体系，系统测试了 10 个主流世界生成模型。结果清晰揭示了当前技术在记忆一致性上的核心短板：没有一个模型的「物体重现得分」超过 0.6（满分 1）。换言之，尚无模型能稳定地让消失的物体「记得住、认得出、变得对」。

这一结果印证了研究团队的核心判断：现有视频生成模型即便能生成视觉上连贯的画面，也几乎无法在物体重新出现时，正确恢复其在「消失期间」本该经历的状态变化。这清晰划定了「生成画面逼真」与「真正理解世界」之间的界限，为下一代世界模型提供了可量化的诊断标尺。

「记住」世界：世界模型的必答题

近年来，视频生成技术迭代迅速，模型已能生成高分辨率、时序连贯的动态画面，被视为自动驾驶、机器人操纵及具身智能等领域的「世界模拟器」。

但真实世界的运转不会因视线离开而停止：冰块持续融化、火焰持续燃烧、行人持续行走、纸张被液体持续浸染……

MemoBench 数据集中一个来自真实世界的数据样本

一个合格的世界模型，应具备类似人类的「物体恒存」认知能力：即便物体暂时离开视野，也能维持对其身份、位置与状态的表征，并正确推演其在遮挡期间的变化。

这正是当前评测体系的核心盲区。现有基准多考核全程可见物体的帧间一致性，或仅针对静态遮挡场景。因此，模型只需还原原有外观即可通过测试，完全无法验证其对动态世界的记忆与推演能力。我们至今无法确认：当物体重现时，模型是真正「记住并更新了世界状态」，还是仅仅「重新生成了一个看似合理的画面」？

MemoBench：补齐世界建模评测的新基准

核心设计：「可见-消失-重现」三段式范式

现有基准（如 VBench、WorldScore 等）主要评估视觉质量、物理一致性或相机运动控制，几乎只关注「持续出现」的物体。MemoBench 建立了 Visible–Disappear–Reappear (V-D-R)核心评测范式，通过简洁的三段式结构，精准探测模型是否维持了对物体的持久状态表征。

每个测试样本严格遵循统一物理逻辑：

1. 可见（Visible）：目标物体完整呈现，且处于持续物理变化中（如行走、融化、倾倒）。模型可观察初始状态与变化趋势。
2. 消失（Disappear）：相机通过平移、转头、U 型转弯等运动完全移开视线，目标物体彻底离开视野。期间物理过程依自然规律持续演化。
3. 重现（Reappear）：相机转回，目标物体重新进入画面。模型需准确还原物体更新后的状态（位置、形态、物理变化进度），并与真实演化结果对齐。

MemoBench 概述。第 1–2 行展示合成「可见–消失–重现」序列及相机轨迹；第 3–4 行展示真实世界状态变化序列（粉末倾倒）。包含 196 段合成剪辑和 164 段真实世界剪辑，通过自动化指标和 LLM 评判的 VQA 进行评估。

这一范式考验的是世界模型的核心能力：模型不能仅做逐帧画面生成，必须在视野外维护一个持续演化的世界状态。它同时考验视觉记忆、状态更新与动态推演能力，是对「真实世界建模水平」的直接检验。

数据构建：合成场景与真实素材双管齐下

基于 V-D-R 范式，MemoBench 构建了合成与真实世界两条并行数据流水线，共包含 360 段 1920×1080 分辨率的高质量 Ground-truth 视频，配备完整几何标注与评测工具：

• 合成子集（196 段）：在虚幻引擎 5 中渲染生成，覆盖 5 大类环境、14 个子场景，包含 U 型转弯、前进移动、头部转动、垂直运动等复杂相机轨迹。每段视频附带逐帧 RGB 图、度量深度图、相机内参与位姿，支撑几何层面的精准评估，重点测试大视角变化下的空间记忆能力。

合成数据：由虚幻引擎 5 渲染的 5 个类别下的 14 个场景。

• 真实世界子集（164 段）：在可控室内环境中实拍，覆盖 7 大类、30 种物理状态变化过程，包括溶解、燃烧热变、扩散吸收、化学反应、粘性流动、泡沫演化、力学形变等。这些依赖粘度、弹性、热传导等真实材质属性的过程难以被游戏引擎精准模拟，专门用于检验模型对真实物理动态的记忆准确性。

真实世界数据：在受控室内环境中拍摄，涵盖 7 大类别的 30 种物理状态变化过程

所有样本均经人工标注，精准标记物体「完全消失」和「完全重现」的关键帧，以精确划分 V、D、R 三个阶段，作为后续评测指标计算的基础。

MemoBench 的数据整编流程

怎么打分：自动化指标 + VQA 双线评测

MemoBench 设计了自动化量化指标与 VQA 语义评估两套互补方案，兼顾底层像素保真与高层语义正确，避免单一指标的片面性。

1. 自动化指标（核心分数归一化至 0-100）

• 通用视频质量：包含视觉质量、运动平滑度、物体身份一致性、3D 几何一致性四项，衡量基础生成能力。
• 记忆专属指标（核心）：
• 物体重现分数（ORS）：通过 SAM-3 文本驱动分割模型，检测重现阶段目标物体的存在性与置信度，直接衡量模型能否让目标「正确回来」。
• 分阶段保真度：包含像素级保真度（PSNR、SSIM、LPIPS）与相机可控性指标，精准定位性能退化环节。
• 提示保真度：通过 ImageReward 衡量生成内容与文本提示的匹配程度。

2. VQA 语义评估

聚焦自动化指标难以捕捉的高层语义合理性，覆盖四个诊断维度：

• 指令遵循：是否准确执行提示中的相机运动、物体轨迹与事件顺序。
• 物体与背景一致性：前后景元素是否存在形态漂移、身份切换、场景突变。
• 记忆连续性：物体消失期间，模型是否维持了其身份、轨迹与状态（与 V-D-R 范式最直接对应）。
• 物理合理性：运动、重力、光影阴影是否符合物理规律。

VQA 评估流程。大语言模型根据提示词和首帧生成 24 个极性平衡的是/否问题（每个维度 6 个）。问题通过真值标注和失败片段评估筛选，并经人工审核验证。最终问题库应用于每个生成视频，得出四个诊断维度的通过率。

为保证可靠性，所有问题经过真值过滤、失败案例过滤与人工交叉验证三轮筛选。最终人工与 VLM 判断的整体一致性达 92.9%，Cohen's κ 系数为 0.85，评估结果具备极高可信度。

当前世界模型的真实水平如何？

研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型，涵盖相机可控图生视频（CI2V）、显式 3D 视角合成、普通图生视频（I2V）三类技术路线，揭示了当前世界建模技术的能力边界。

核心结论：当前没有任何一个模型能可靠完成「消失-重现」的记忆任务。

所有被测模型的物体重现分数（ORS）均未超过 0.6；在真正执行相机轨迹、让物体实际离开画面的模型中，「记忆连续性」维度的语义得分最高仅为 55.6 分（满分 100，LTX-Video 的 57.0 分因相机不动存在虚高）。这意味着，即便是最强模型，针对记忆的提问也只能答对一半多一点。

在 MemoBench 上对 10 个世界生成模型的自动评估。模型分为 CI2V、基于 3D 和 I2V 三类。↑：越高越好；↓：越低越好。加粗：最佳；下划线：次佳。

在 MemoBench 上跨四个语义维度的 VQA 评估。每个维度评分范围为 0–100（↑：越高越好）。模型分为 CI2V、基于 3D 和 I2V 三类。粗体：最佳；下划线：次佳。

一旦物体离开画面，模型的「记忆」便开始快速退化。重现时的内容要么直接消失，要么被随机幻觉替代，要么外观仍在但状态完全错误。

研究团队将失败系统整理为六类：物体凭空消失、身份悄悄换人、状态被重置回初始、位置突然跳变、背景被幻觉填充、相机轨迹发生漂移。

LingBot-World 的失败分类。计数非互斥，因为一个生成序列可能表现出多种失败类型。

其中，合成场景最常见的失败是「背景幻觉」（物体在，但身后世界面目全非）；真实场景最常见的则是「身份漂移」（同一物体，消失前后判若两物）。

在此大盘结论之外，评测还揭示了四组值得深入讨论的对照发现。

发现 1：「相机不动」会虚高一致性分数，传统指标存在盲区

最反直觉的发现出现在普通图生视频模型（I2V）身上。

LTX-Video无相机控制能力，但在运动平滑度、3D 几何一致性、物体身份一致性三项指标上全部排名第一，ORS 达 0.330。单看数字成绩体面，但来源可疑：LTX-Video 几乎不移动相机，目标物体始终留在画面中，「物体从未消失」自然「从未失忆」。其高分是用「回避挑战」换来的，而非真正的记忆能力。

不同模型在冲泡咖啡任务上的生成表现

这暴露了评测漏洞：传统视频质量指标无法区分「在真实视角变化中保持一致」和「靠静止镜头绕开挑战」。MemoBench 专门设计「相机可控性」和「指令遵循」维度识别此现象，LTX-Video 在这两项上得分垫底。

发现 2：能控制相机，不代表记得住物体

既然静止镜头会「作弊」，支持相机条件控制的模型表现是否更好？

答案是否定的，且差距悬殊。

同样接受相机轨迹输入，五个 CI2V 模型的 ORS 从 0.266 到 0.582 不等，跨度超一倍。HunyuanWorldPlay以 0.582 的 ORS 领跑 CI2V 阵营，而 HunyuanGameCraft 和 FantasyWorld 的 ORS 仅为 0.266 和 0.276；后两者的视觉画质评分反而更高。

这组数据说明：相机能跟着轨迹走和模型是否维护着「走开之前那个世界的状态」是两回事。镜头控制精准仅意味着「知道该看哪里」，而非「记住了那里之前发生了什么」。物体恒存不会作为相机条件生成的副产品自然涌现，必须被显式纳入训练目标。

发现 3：几何精确和画面好看，往往不可兼得

3D 类模型提供了最鲜明的能力分化样本。

• Stable Virtual Camera：以显式相机位姿驱动渲染，轨迹控制最精准，像素级保真度最高；但视觉质量评分偏低，易出现模糊边缘、拼接缝和深度修补错误，VQA 语义评分靠后。
• Matrix-Game 2.0：画面最锐利、视觉质量最高；但相机轨迹经常跑偏，生成视角与真实路径偏差巨大，导致像素保真度和 VQA 得分均落入低位。

这两个模型站在榜单两极，共同说明：几何准确和画面自然度在当前技术框架下尚未对齐。用画质评分推断几何精度，或反之，都会得出错误结论。这也是 MemoBench 坚持多维度评测的核心原因：单一指标只能看见地图的一角。

发现 4：扩大模型，不如给它看第一帧

论文披露了一项出人意料的消融实验。

研究团队对 Wan2.2做了两组对照：一组将参数量从 5B 扩至 14B；另一组保持 5B 参数不变，但额外提供「可见阶段的第一帧」作为图像条件输入。

结果显示，加入第一帧条件使 PSNR 提升约 4.2 dB，LPIPS 下降 0.20；而参数扩大近三倍，对指标改善微乎其微。让模型清楚地「看见」物体的初始状态，比单纯堆参数量对记忆任务有用得多。

Wan2.2 初始状态条件化与骨干网络容量消融实验结果。基于 50 个片段。「V-frame」指将可见阶段的首帧作为图像条件。

这一发现指向重要设计方向：与其追求更大模型，不如在「初始状态如何被编码和保持」上下功夫。

十个模型同台竞技，四组发现共同指向同一结论：让画面看起来连贯和真正记住世界的状态，是两件截然不同的事情。后者才是世界模型走向真实应用必须跨越的核心门槛。

共建世界模型评测标尺

MemoBench 揭开的不仅是当前技术的短板，更让「动态遮挡下的视觉记忆」这一长期被忽视的研究方向，第一次拥有了可量化、可对比、可追踪的评测基础。

对于研究者而言，这套体系在指出问题的同时，也暗示了改进路径：持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计，都是接下来值得深耕的方向。

目前，论文、代码、数据集与公开榜单均已开源，研究者可直接使用评测工具测试模型，并将结果提交至排行榜，与社区共享进展。

榜单地址：https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard

从「生成好看的视频」到「维护一个真实的世界」，中间隔着的正是 MemoBench 正在度量的那段距离。它不一定短，但现在至少有了刻度。