CurveFP：语言模型的闭乘积的 Rational-Radix 对数数据类型

arXiv:2608.10010v1 公告类型：新摘要：低精度数据类型降低了语言模型成本，但大多数格式优化了标量保真度，同时保持其产品引发的算术不变。我们引入了 CurveFP，一个封闭产品码本系列，它在紧凑块尺度下将量化幅度分布在交错对数曲线上。有理基数根据局部分辨率调整动态范围，而统一曲线索引使每个非零乘积在代数上闭合。产品形成变成精确的符号异或和整数索引更新，并且导出的有限相计数确定累积时间表。我们将该代数实例化为用于训练的 CurveFP 8 E4C3/E5C2 和用于紧凑部署的 CurveFP 7 E3C3。在评估中，CurveFP 7 在四个 7B--9B 模型上以较少的元素位击败了张量 FP8 困惑度，并且保持在原始质量的 1.32% 以内。在所有 36 个配对的前向和后向 GEMM 比较中，CurveFP 使操作数 NMSE 降低 8 个。在三个匹配的 128.3M 参数三元组中，每种模式都为每个种子完成 3B 代币预训练； CurveFP 8 达到平均 BF16 推理困惑度 22.5366，而 FP8 为 22.5407，并且在所有三个种子中产生较低的格式引起的惩罚。 36 单元下游矩阵发现，在所有 12 个种子格式比较中，CurveFP 八个训练检查点的 WikiText-103 困惑度较低，其中混合了 PG-19 和任务增量。总之，这些结果将 CurveFP 确立为一种算术协同设计，结合了 FP8 级数值行为、七位推理和极其简单的产品路径。