开发者生态
morning
Inkling-2-Mini,5.4 GB 内存
摘要
LookAtMyQuant is a quantization compiler. It measures how much each stored piece of a model hurts the output when compressed. It then picks a code for each piece so the whole model fits a size budget ...
the
and
The
with
code
solves
math
same
file
Qwen3
2026-11-22
1 阅读
约10分钟阅读
k__
字号:
LookAtMyQuant 是一个量化编译器。它测量模型的每个存储部分在压缩时对输出的影响程度。然后,它为每个部件选择一个代码,以便整个模型符合尺寸预算,并且损坏最小。在 Gemma 4 E2B 上,相同文件大小下,其 GGUF 的 KL 比 Q4_K_M 低 12 倍。方法和每个结果都在网站上。该代码已获得 MIT 许可。 LookAtMyQuant 2:1.2 GB 中的 Qwen3.5-4B LookAtMyQuant 2 将 Qwen3.5-4B 提升至 1.23 GB,每个权重 2.3 位。该文件解决了 540 个精确答案数学问题中的 330 个。 Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解决了 328 个问题,而原始解决方案解决了 359 个问题。其原始保留文本的 KL 为 0.45 nat,而 Bonsai 为 0.59 nat。秘诀是使用网格代码进行训练后量化,根据模型自己的数学解决方案进行校准,其中数字标记的权重为 10×,并且每行分配的位数由 Fisher 信息分配。接下来是 4,000 个蒸馏步骤,其中每一层都根据原始权重重新量化一次。该页面包含研究结果、完整配方及其成本(大约 34 美元的 GPU 时间)。配方的代码在这里,下一部分将运行它。 1.23 GB 文件本身是 lm2-qwen35-4b-1.2gb 版本,为 Apple Silicon 运行时打包。同样的方法将 Qwen3.8-27B 从 53.7 GB 提高到 7.2 GB,每权重 2.1 位,根据英语散文和聊天、代码和数学进行校准和提炼。该文件解决了 540 个数学问题中的 401 个,与原始问题一样多,Unsloth 的相同大小的 UD-IQ2_XXS GGUF 解决了 348 个。它在 HumanEval(73.8% 对 67.1%)、MMLU(78.8% 对 75.0%)和 GSM8K(94.5% 对 92.7%)上的得分也高于 GGUF。旁边是一个 4 位 DSpine 起草器(1.02 GB,从 tencent/Qwen3.8-27B-DSpine-b16 转换而来,带有 runtime_mlx/convert_dspine.py 并用 pack_draffer.py 打包),这大约使 Apple 芯片上数学和代码的解码速度提高了一倍。 5.4 GB 和 8.9 GB 中的 Inkling-2-Mini 相同的编译器和近端微调 ( SQYFR ),扩展到 26.4B 物理/5.4B 活动 3× 循环 MoE(L6–17 循环 3× = 48 次逻辑访问,128 个专家 top-8),将 Thinkingmachines/Inkling-2-Mini 从 18.89 GB 文本权重压缩到5.38 GB(1.63 位/权重)和 8.87 GB(2.69 位/权重),使用 4 KB SRAM 散列块向量网格代码 ( ht2 / ht3 )、行网格代码 ( rtr1 / rtr4 ) 以及尾部 lm_head 存储桶 ( head.7 ) 上的 tr2 层。在同一位 BF16 老师、openai/gsm8k ( test[:200] 、greedy、reasoning_effort="none" )、所有 164 个可执行 openai/openai_ humaneval 问题、4 个 Vision VQA 测试(使用未触及的 637 MB BF16 视觉塔)和 16+13 语言 TextMix 窗口上进行评估:模型文本 GB free_KL ( en/chat/code ) all13_KL GSM8K (200) HumanEval (164) 合并与教师原始 BF16 教师 18.89 0.0000 0.0000 147 / 200 (73.5%) 66 / 164 (40.2%) 100.0% LookAtMyQuant 5.4 GB ( SQYFR ) 5.38 0.0895 0.2871 134 / 200 (67.0%) 60 / 164 (36.6%) 91.2% 不懒惰 UD-IQ1_S 7.76 0.0808 0.1236 127 / 200 (63.5%) 46 / 164 (28.0%) 81.6% LookAtMyQuant 8.9 GB (SQYFR) 8.87 0.0208 0.0571 148 / 200 (74.0%) 58 / 164 (35.4%) 96.8% 不懒惰 UD-Q2_K_XL 9.14 0.0486 0.0811 132 / 200 (66.0%) 49 / 164 (29.9%) 85.3% Unsloth UD-IQ3_XXS 11.66 0.0189 0.0278 148 / 200 (74.0%) 68 / 164 (41.5%) 101.4% 5.38 GB 时,Inkling-2-Mini-LookAtMyQuant-5.4GB在 GSM8K 和 HumanEval 上,Unsloth 的 9.14 GB UD-Q2_K_XL 的得分小了 41%(高于未调整的 76/200 和 24/164)。在 8.87 GB 上,Inkling-2-Mini-LookAtMyQuant-8.9GB 与 GSM8K 上的 BF16 原始版本相匹配,并且在英语/聊天/代码上减少 KL 2.34 倍,在所有 13 种语言上减少 29.6%,低于 UD-Q2_K_XL 。两者都直接通过带有自定义 Apple Silicon Metal 内核的 lamq 和 runtime_mlx 运行,可选地与 178.9 MB 4 位 DSpark 起草器配对:在 M5 Max 上,5.4 GB 解码速度为 73.2 tok/s 串行和 125.2 tok/s 中位数(141.8 tok/s 数学、129.0 tok/s 推理、121.4 tok/s 代码、 102.3 tok/s 散文;T=512 时 1,037 tok/s 预填充,5.83 GB 活动 RAM),以及 63.1 tok/s 串行和 101.3 tok/s 中位数的 8.9 GB 解码(133.9 tok/s 推理,118.9 tok/s 数学;T=512 时 838 tok/s 预填充, 9.32 GB 活动 RAM)。安装和使用 Apple Silicon 运行时 在 Apple 芯片上,直接安装运行时包(这将安装 mlx 、 mlx-lm 、 numpy 和 Huggingface-hub ,而无需 PyTorch 编译器依赖项): pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git 从本地克隆中, pip install -e 。安装 lamq 命令,或运行 python -m runtime_mlx 而不安装。命令行。传递本地模型文件夹或 Hugging Face 存储库 ID: lamqgenerateshinmegamiboson/Qwen3.8-27B-L
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱