Llama-modchip：64GB RAM 上的 284B DeepSeek，无 GPU

TL;DR — llama-modchip 的 3 个打破范式的支柱：64 GB CPU 中的 🐋 284.33B Frontier MoE：将 DeepSeek-V4-Flash 从 76.87 GiB（在 64 GB Linux 上的 OOM 中崩溃）缩小到磁盘上的 56.56 GiB / 57.61–58.9 GiB VmRSS在完整的 256K 上下文中（44.36 tok/s 预填充，9.06–10.74 tok/s 纯 CPU 解码，11.5–14.7 tok/s 带 PVS），使用闭式分析 SwiGLU-H2 二阶 Hessian 压缩 + Fractal-64（Q2_0，3.75 bpw）MLA 转码 + 4 级寄存器 (ZMM AVX-512BW) + L1D (32 KB) + L2 (1 MB) + L3 (64 MB) 全模型平铺 + $L_2$ -正交 MoE 修剪。 ⚡ 纯 CPU 上的 GPU 速度为 30B MoE：在 14.35 GiB 中以 25.0–60.4 tok/s 的速度在 16 核 Zen 5 上运行 NVIDIA-Nemotron-3.5-30B-A3B（在 Threadripper 上为 111.6 tok/s，在 AMD Vulkan Hybrid 上为 80.8 tok/s，在 AMD Vulkan Hybrid 上为 44.97 tok/s） AWS Graviton3 ARM64) 通过 1.64 MB Stockfish-PVS v2 + RouteCrack L2/L3 Drafter ( 96.4% 接受度) 和 _MM_HINT_NTA L3 缓存隔离 ( HARPCache )。 🤖 零 API Claude 代码 ( ./modchip claude )：通过 /dev/shm Slot-0 KV 热恢复消除 45 秒 CPU 代理提示重新评估瓶颈（Nemotron-30B 上为 18.9 毫秒 / DeepSeek-284B 上为 13.1–32.6 毫秒），所有 40 个 Claude 代码工具均处于活动状态。 🐧 Linux 和 🍎 macOS（1 命令自动设置和聊天） git clone https://github.com/synchopate/llama-modchip.git cd llama-modchip ./modchip chat ⚡ 零编译直接运行（预编译 Linux x86_64 二进制 + Hugging Face .gguf ） ⚠️ 重要兼容性说明 ( GGML_TYPE_Q2_0 = 40 ）：我们的 Fractal-64 模型使用自定义 block-64 BF16 尺度格雷编码张量（ GGML_TYPE_Q2_0 ，类型 ID 40 ）和自定义 deepseek4 / Stockfish-PVS 内核。在未修补的 llama.cpp 、 Ollama 或 LM Studio 中打开它们将失败，并出现未知张量类型 40 。使用上面的 ./modchip 或直接捆绑在 Hugging Face 存储库和 GitHub 版本 v2.4.0 内的独立单文件预编译二进制文件（ llama-server-modchip-linux-x86_64 ，零 .so 依赖项）： # 1. 对于 30B Nemotron-3.5-A3B (14.35 GiB — 在 16-32 GB RAM 中以 25-60.4 运行tok/s): hf 下载 Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF \ llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir 。 chmod +x llama-server-modchip-linux-x86_64 ./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf -c 262144 -t 16 --port 8080 # 2. 对于 284B DeepSeek-V4-Flash (56.56 GiB — 适合 64 GB RAM，速度为 9.1–14.7 tok/s)： hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4 chmod +x ./dsv4/llama-server-modchip-linux-x86_64 ./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf -c 32768 -t 16 -fa on --port 8080 🪟 Windows 10/11（一键式混合 GPU + CPU MoE 包）打开 windows/ 并双击 windows/AVVIA_MODCHIP.bat（或在 Git Bash 中运行 ./modchip start）。它会自动检测您的 CPU 核心、可用 RAM 和 GPU VRAM ( nvidia-smi )，下载官方 llama.cpp CUDA 12.4 / Vulkan 二进制文件，计算最佳 --n-cpu-moe 分割，并打开 Web 聊天 UI ( http://127.0.0.1:8080 )。 ./modchip Command 它的作用 ./modchip chat 💬 与实时 tok/s 、TTFT 和 Stockfish-PVS 接受遥测进行交互式终端聊天 ./modchip web 🌐 打开暗模式网络聊天和实时遥测 HUD ( http://127.0.0.1:8787 ) ./modchip bench 📊 运行 30 秒 2 阶段速度测试并打印可共享的 CPU 基准记分卡 ./modchip claude 🤖 启动 Claude Code CLI（40 个工具），连接到本地 256K 引擎（18.9–32.6 ms 热恢复） ./modchip eval 🧪 运行可重现的 100 点质量、工具调用、编码和 8.5K Needle Gate ./modchip 量化 🗜️将 BF16 / Q4_0 / IQ2_XXS GGUF 转码为 Fractal-64 ( 3.75 bpw ) 或 Fractal-MXFP4 ( 4.25 bpw ) ./modchip status / stop 🔍 检查 CPU 就绪情况、2MB HugePages 和 /dev/shm IPC，或停止后台服务 🏆 你的 CPU 可以运行 284B 64 GB RAM 中的 Frontier MoE？ 2 秒内测试（零下载）：curl -sL https://ra