合成人物角色可以预测真实的受众反应吗？一项模拟真实研究，其中无角色基线击败基于角色的复制模拟

arXiv:2609.25010v1 公告类型：新 摘要：营销人员越来越多地使用大型语言模型 (LLM) 作为“合成角色”来预测受众在发布前对一份副本的反应，这受到了配置文件条件的 LLM 模仿人类样本的证据的鼓舞。但这种预测对于真实行为真的有效吗？角色机制有帮助吗？我们使用 Upworthy Research Archive 提出了一项从模拟到真实的有效性研究——对共享真实流量进行了数千个标题 A/B 测试，并测量了点击率——作为保留的基本事实。我们将基于真实受众人口统计数据的十角色面板与无角色零样本基线进行比较，该基线只是询问模型典型读者点击的可能性有多大。有两个发现很引人注目。首先，真实可靠性是约束条件：大多数 A/B 测试没有统计上可区分的获胜者，因此只能在可靠子集 (n = 399) 上测量有效性。其次，与人物模拟前提相反，人物调节会降低预测有效性：无人物基线对变体的排名明显优于人物面板（{\tau} = 0.084；top-1 34.6%）（Kendall {\tau} = 0.361，中等效果；top-1 准确度 49.2%），且置信区间不重叠。直接询问模型可以挖掘准确的群体水平先验；强迫它扮演特定角色会带来偏见和噪音。结果在三个独立的 Upworthy 分割中复制，在不同领域的新闻数据集上保持方向，并且对种子、提示措辞和模型选择具有鲁棒性 - 跨越三个 Gemini 层和不同的模型系列（OpenAI gpt-4.1，显着的配对差距）。要点：在预测总体参与度方面，普通的 LLM 排名器胜过角色模拟——合成角色不仅是一个弱预测变量，而且比不使用它们更糟糕。所有数字均从公共的、工件优先的复制包中重新生成。