打破三元法学硕士的 1.58 位障碍

计算机科学 > 人工智能 arXiv:2609.16338 (cs) [提交于 2026 年 9 月 14 日] 标题：打破三元法学硕士的 1.58 位障碍 作者：Evangelos Georganas、Alexander Heinecke、Pradeep Dubey 查看标题为打破三元法学硕士的 1.58 位障碍的论文的 PDF，作者：Evangelos Georganas 和另外 2 位作者查看 PDF HTML（实验）摘要：三元大型语言模型 (LLM) 将每个权重存储为三个符号 $\{-1,0,+1\}$ 之一，因此三元模型的成本通常参考信息论 $\log_2 3 \approx 1.585$ 位每个权重。流行的部署格式将五个三元权重打包到一个字节中（五次打包），并且由于实践中使用的两个组大小的幂，每个权重四舍五入为 1.625$ 位。此有效存储位宽将三个符号 $\{-1,0,+1\}$ 视为等概率。我们测量了 29 个三元 LLM 模型的实际符号分布，发现零占所有权重的比例高达 $51.5\%$。受这一发现的启发，我们引入了 BITCOS，这是一种简单的分布自适应布局，由密集的存在位图和压缩的符号向量组成，并且在模型权重中的密度为零的情况下，每个权重元素的成本为 2 - z$ 位。在 29 个测试模型中的 26 个模型中，BITCOS 存储的权重比 5-trit 包装更紧凑，并且在最稀疏的模型中每个权重达到 1.485 美元比特。 BITCOS 适合在现代处理器和 GPU 上进行高效解包，我们为 AVX-512、AVX2 和 Intel Xe2 GPU 提供了优化的解包序列。根据生产最先进的三元矩阵向量乘法内核进行测量，在零密度现实世界三元模型中，我们提出的布局所实现的增益高达 1.28 美元\次$。最后，我们展示了 5 个不同平台（客户端和服务器 CPU、集成和离散 Xe2 GPU）上的端到端 LLM 推理结果，其中 CPU 上的解码吞吐量提高了 1.18 美元，GPU 上的解码吞吐量提高了 1.27 美元。主题：人工智能（cs.AI）；机器学习 (cs.LG) 引用为：arXiv:2609.16338 [cs.AI]（或此版本的 arXiv:2609.16338v1 [cs.AI]） https://doi.org/10.48550/arXiv.2609.16338 arXiv 通过 DataCite 发布的 DOI（待注册） 提交历史记录 来自： Evangelos Georganas [ 查看电子邮件 ] [v1] 2026 年 9 月 14 日星期一 20:54:24 UTC (144 KB) 全文链接：访问论文：查看由 Evangelos Georganas 和其他 2 位作者撰写的题为“打破三元法学硕士的 1.58 位障碍”的论文的 PDF 查看 PDF HTML（实验性）TeX 源代码查看许可证 当前浏览上下文：cs.AI <上一页 |下一页 > 新 |最近 | 2026-09 更改为浏览方式：cs cs.LG 参考文献与引文 NASA ADS Google Scholar 语义学者正在加载... BibTeX 格式的引文正在加载... 数据提供者： 书签 书目工具 书目和引文工具 书目浏览器 切换书目浏览器（什么是浏览器？） 已连接论文 切换已连接论文（什么是已连接论文？） Litmaps切换 Litmaps（什么是 Litmap？）scite.ai 切换 scite 智能引文（什么是智能引文？）与本文相关的代码、数据、媒体代码、数据和媒体 alphaXiv 切换 alphaXiv（什么是 alphaXiv？）代码链接 切换 CatalyzeX 论文代码查找器（什么是 CatalyzeX？） DagsHub 切换 DagsHub (什么是 DagsHub？) GotitPub 切换 Gotit.pub (什么是 GotitPub？) Huggingface 切换 Hugging Face (什么是 Huggingface？) ScienceCast 切换 ScienceCast (什么是 ScienceCast？) 演示 演示 Replicate 切换 复制 (什么是 Replicate？) Spaces 切换 Hugging Face 空间 (什么是 Spaces？) Spaces 切换TXYZ.AI（什么是 TXYZ.AI？）相关论文推荐器和搜索工具链接到影响花影响花（什么是影响花？）核心推荐器切换核心推荐器（什么是核心？）作者场地机构主题关于 arXivLabs arXivLabs：与社区合作者的实验项目 arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。这篇论文的哪些作者是认可者？ |禁用MathJax（什么是MathJax？）