MIT牵头破题：AI能模拟社会，但谁来验证它？

新智元报道 下一周，人们对iPhone、特斯拉等品牌的搜索关注会如何变化？ AI能在数据公布之前，预测这些关键词之间的相对热度吗？ 官网：https://socialsim.org/ GitHub：https://github.com/Social-Atoms/social-sim-arena 评测与接入文档：https://socialsim.org/docs.html 常见问题（FAQ）：https://socialsim.org/faq.html 这是Social Simulation Arena（SSA）的一类真实评测任务，参赛系统需要提前预测五个指定关键词之间的搜索热度分布，封存答案，再由随后公布的数据检验。 这个具体问题背后，是一个更广泛的研究目标： 社会模拟系统对人群行为的判断，能否经得起真实未来的检验？ 模拟越来越逼真 验证跟上了吗？ 社会模拟正在从学术研究走向商业应用。基于大语言模型的模拟系统，已被用于探索政策分析、公共卫生和计算社会科学等问题；Aaru、Simile等创业公司也在尝试构建虚拟人群，预演消费者、员工等群体在不同情境下的反应。 这类技术的吸引力在于：它有望帮助人们在采取现实行动之前，以更低的成本探索不同方案。而这一前景能否实现，取决于模拟对真实人群的刻画是否可靠。 目前，社会模拟的验证能力尚未跟上系统的发展速度。看似自然的对话、符合直觉的行为，以及接近真实数据的总体均值，都不足以证明系统准确刻画了人群差异与行为规律。 与此同时，不同研究采用各自的数据、任务和指标，使结果难以比较，能力上的进展也难以积累为可复核的共同认识。当这些系统开始参与商业或公共决策时，验证的缺位可能使看似可信的结果被赋予超出证据范围的信任。 因此，社会模拟需要在扩大规模、丰富交互之外，建立共享基准、开放数据和可复现的评测流程，明确系统在什么任务、什么人群和什么条件下有效。 随着模拟结果逐步成为现实决策的依据，一个基础问题也变得更加迫切：模拟结果在多大程度上能够反映真实人群，又应当通过怎样的共同标准接受检验？ SSA公开评测看板。左侧展示所选系统与基线的成绩随评测推进的变化，右侧列出得分及参评题目数量。Arena Score以沿用上一期结果的persistence基线为0分，以完全准确预测的理想Oracle为100分，负分表示低于基线。图中数据截至2026年9月24日。 SSA 让真实未来检验社会模拟 Social Simulation Arena（SSA）由MIT研究团队牵头发起，联合来自多所高校的研究者共同建设，旨在通过面向真实未来的公开评测，检验社会模拟系统的预测能力。 一轮评测如何连接社会模拟与真实世界 SSA的一轮评测分为三个阶段： 开放提交（Open）、预测封存（Locked）和完成评分（Resolved） 。题目提前公开，参与者在截止前提交预测；截止后，答案被固定，预测的哈希摘要汇入清单并提交OpenTimestamps，相关承诺通常在数小时后锚定至比特币区块链，形成可核验的时间证明；待第三方公布观测结果，平台按既定规则评分并公开记录。 SSA单轮评测流程。Open阶段接收并加密保存预测；Locked阶段固定有效提交并建立时间证明；观测结果公布、核验与评分完成后进入Resolved。具体时间安排与存证状态以各轮记录为准。 开放提交：提前出题，加密交卷。 题目通常在截止前一周公开，明确预测对象、目标人群、结果来源与评分规则。参与者按要求提交答案，并在概率预测任务中表达不确定性。提交后的预测通过Sealbox加密封存机制保存，其他参与者在提交窗口内无法查看预测明文。多数轮次在预定结果公布前48小时停止接收预测。 预测封存：固定答案，建立时间证明。 截止后，平台按规则解封并核验有效提交，将预测及冻结历史数据的哈希摘要写入清单，再提交OpenTimestamps。相关承诺通常在数小时后锚定至比特币区块链。 哈希相当于文件的数字指纹，能够帮助外部研究者检查公开内容是否与封存记录一致；时间证明则支持核验相应内容在所锚定区块形成之前已经存在。两者共同为预测的内容与存在时间提供可核验依据，具体证明范围以各轮记录为准。 完成评分：与现实对照，与基线比较。 观测结果公布并完成核验与评分后，题目进入Resolved状态，成绩更新至榜单。按照平台公布的安排，评分应在结果发布后六小时内完成。 Arena Score以两个参照点帮助读者理解成绩：0分对应persistence，即沿用上一期观测值的基线；100分对应预测损失为零的理想Oracle。正分表示优于persistence，负分表示低于这一基线。在数值预测任务中，SSA还提供线性趋势外推、指数加权移动平均（EWMA）和历史均值等统计对照，帮助研究者判断模型及其工作流提供了多少额外预测价值。 每轮结束后，预测、时间证明、观测结果与成绩共同形成可追溯记录。同一数据来源的下一次发布将对应一道新题，重新从Open开始，使评测随真实世界的变化持续进行。 Sealbox。 提交窗口内，参与者用私钥签名，平台核验后以age公钥加密，经GitHub App 写入sealed分支；窗口内无人可读明文。封存时刻，持有age私钥的工作流解密并复核签名，将明文预测与哈希清单写入main分支，清单经OpenTimestamps锚定至比特币区块。此后任何人可用ots verify与哈希比对独立核验：预测在区块之前已存在，且此后未改动。 从总体趋势到群体差异 SSA测什么？ SSA关注的是现实中的人群及其持续变化的态度与行为。不同数据源按照各自的周期，重复测量特定人群的状态，为模拟结果提供可持续对照的观测依据。 当前任务从三个方面检验预测能力：总体指标如何变化、不同群体之间有何差异，以及人们的关注流向何处。各类任务采用相应的答题格式与评分规则。 整体数值：总体状态是否同步。 题目要求预测即将公布的总体读数，如密歇根大学消费者信心指数、纽约联储家庭通胀预期和AAII散户情绪差。 参与者提交带不确定性的分布，以CRPS评分，同时考察预测位置与不确定性表达。题目会写明目标人群（成年人、登记选民或家庭户主），因为同一机构对不同人群的读数可能相差数个百分点。 不同群体：差异结构是否正确。 群体画像题要求同时预测按年龄、族裔、性别、学历等划分的16个群体，以能量分数（CRPS的多维形式）整体评分，并拆分为整体水平与群体间结构两部分。模拟器无法依靠猜中总体数字、同时系统性地误判某些群体来取得好成绩；把所有人模拟成「平均选民」的系统，会在这类题上暴露出来。 集体关注：注意力流向何处。 这类题关注行为痕迹而非态度表达：下一周英文维基百科阅读量前十的条目及顺序，以及若干品牌在Google搜索中的关注份额。前者按排名重合度评分，后者按份额分布评分。 SSA已完成评测的题目示例。每张卡片对应同一统计序列的一次数据发布，展示模型预测、上一期观测值与本期公布结果（绿线），便于比较不同轮次的预测偏差，并追溯具体题目与数据来源。 与已有的预测评测有何不同？ FutureX、Prophet Arena与SSA都通过尚未揭晓的真实结果检验预测能力，但各自的评测重点有所不同。 FutureX面向广泛领域的未来预