智能AI
morning
HyperWorld：超图结构状态序列化改进了学习的文本世界模型
摘要
arXiv:2609.00002v1 Announce Type: new Abstract: World models enable language-model agents to predict environment dynamics and plan before acting. In text environments, the model must learn symbolic ac...
the
and
models
model
state
distribution
symbolic
action
but
serialization
2026-09-02
1 阅读
约1分钟阅读
Yun-Jian Zhang, Chen-Wei Liang, Tian-Yi Zhang, Jian Ding, Yi-Lun Wu, Ao-Bo Li, Wei-Cong Su, Saifullah, Hong-Yu An, Mu-Jiang-Shan Wang
字号:
arXiv:2609.00002v1 公告类型：新 摘要：世界模型使语言模型代理能够预测环境动态并在行动之前进行计划。在文本环境中，模型必须从序列化状态描述中学习符号动作效果，但序列化结构的作用仍未得到充分探索。我们提出了 HyperWorld，这是一项针对学习文本世界模型的状态序列化的受控研究。我们将原始观察结果与相同真实状态的三个符号序列进行比较：独立句子、成对三元组和以实体为中心的超边缘单元，它们围绕实体和关系对多个相关事实进行分组。所有变体都使用相同的训练目标：给定一个状态和一个动作，预测象征性效果或判断该动作不可行。在模型规模、数据预算以及分布内和分布外测试世界中，超边缘序列化为 0.5B--1.5B 模型和分布偏移提供了最明显的收益。较大的模型会减少差距，并且成对三元组可以在分布内精确匹配上匹配或稍微超过超边，但超边实现最强的分布外事实 F1 以及可行性检测和效果预测之间的最佳中小规模权衡。在下游贪婪规划中，超边缘世界模型在测试的表示中也获得了最高的成功率。这些结果表明，高阶状态组织对于学习的符号世界模型来说是一种简单但有效的归纳偏差，特别是当模型容量有限或测试环境与训练不同时。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱