智能AI
morning
大型语言模型的概率结构
摘要
arXiv:2609.25134v1 Announce Type: new Abstract: This paper presents a probabilistic perspective on large language models (LLMs), developed with the aim of bringing together, in a single self-contained...
the
stochastic
generation
and
models
LLMs
with
are
text
sequential
2026-09-23
1 阅读
约1分钟阅读
Adnan Aboulala\^a
字号:
arXiv:2609.25134v1 公告类型：新 摘要：本文提出了大语言模型 (LLM) 的概率视角，其开发的目的是将通常在文献中单独处理的工具汇集在一个独立的帐户中。 LLM 通过对标记序列集的概率度量进行描述，通过其自回归条件分布指定。训练被表述为最大似然估计问题，通过随机梯度方法解决，而文本生成被视为所产生的随机过程的顺序模拟。库尔贝克-莱布勒散度的不对称性在文本生成中的作用通过与诸如幻觉和统计合理性与真实性之间的区别等特征现象的关系来检验。作为同一观点的补充说明，我们还讨论了围绕评分函数构建的扩散模型，该模型将生成不是作为顺序令牌预测，而是作为将噪声转换为离散时间和连续时间数据的逆时随机过程的模拟。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱