Show HN：在 48GB Mac 上运行 104GB Qwen3.8-Flash-Next，速度约为 12 tok/s

slotstream 在无法容纳的Mac上运行Qwen3.8-Flash-Next。该型号为 4 位 104 GB； slotstream 从 SSD 流式传输它，并在您提供的任何内存中运行它，最低计划内存为 8.1 GB。一种带有常用 Ollama 和 OpenAI 聊天/生成端点的 Swift 二进制文件。在 48 GB Mac 上 热解码 ~12 tok/s 冷启动到第一个令牌 ~3 s 峰值内存 32 GB（自动调整大小；您可以限制它） 磁盘上的重量 104 GB 它会在我的 Mac 上运行吗 磁盘是首先咬住的门。您需要大约 110 GB 的可用空间，因此无论 Mac 有多少内存，512 GB 的内存都是实际的最低配置。权重为一次性 104 GB 下载：快速连接下不到一个小时，慢速连接上则需要几个小时（下表）。内存预计低于 8.1 GB 下限 8 GB；医生警告说，它将分页 16 GB ~5 tok/s 估计 24 GB ~8 tok/s 估计 32 GB ~10 tok/s 估计 48 GB 及以上 ~12 tok/s — 并且自动停止在 33 GB 处，所以机器的其余部分仍然是您的 只有 48 GB 行是在真实硬件上测量的；其余的来自相同的测量曲线，较小的 Mac 也有较慢的 SSD。在下载任何内容之前，运行 slotstream doctor 来查看您的机器会得到什么，以及您是否有用于权重的磁盘。安装curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh 将预构建的二进制文件安装到 ~/.slotstream/bin 并将其放在您的 PATH 中。需要 Apple Silicon 和 macOS 14+。重新运行同一条线路进行升级；使用 rm -rf ~/.slotstream 卸载。版本是由 CI 从带有签名来源的标记提交构建的，因此您可以自己检查资产，而不是信任下载： gh attestation verify slotstream-arm64.tar.gz --repo carloslfu/slotstream 或者自己构建 - 命令行工具就足够了，不需要 Xcode： git clone https://github.com/carloslfu/slotstream && cd slotstream make build 104 GB 下载 二进制文件很小；重量不是。一次 103.8 GB，包含 24 个文件。 serve 和 run 会在第一次运行时提供下载，而 slotstream pull 会自行完成： slotstreamserve 无论哪种方式，它都会打印大小、目的地和可用磁盘，并在传输任何内容之前等待“是”，如果磁盘无法容纳它，它会直接拒绝。拥抱面子是瓶颈，而不是你的纽带。过去的四个连接都处于稳定状态：4、8、16 和 32 都落在相同的 36 到 57 MB/s 频段，Hugging Face 自己的最快客户端 hf_xet 也是如此，而同一个链接到普通主机的速度为 134 MB/s。因此，超过大约 400 Mbps，更多带宽没有任何意义：您的连接等待 400 Mbps 或更快 30-50 分钟 — Hugging Face 的一天，而不是您的链接 200 Mbps ~1 h 10 100 Mbps ~2 h 20 50 Mbps ~4 h 40 25 Mbps ~9 h 此处的实际安装需要 35 分钟；顶行很宽，因为 Hugging Face 自己的吞吐量在会话之间移动。它下面的行是在您的全额定速度下超过 103.8 GB 的算术值，因此请将它们视为最佳情况。中断是安全的：它会在停止时的确切字节处恢复，并且所有 24 个文件都会根据编译到二进制文件中的 sha256 哈希值进行检查，因此截断、相同大小或损坏的下载无法到达引擎。 pull --verify 在 10 秒内重新哈希现有副本 - 此处为 7.7 秒，并行哈希。使用它的服务监听端口 11434 并实现 Ollama 客户端和 OpenAI SDK 使用的聊天/生成子集：curl localhost:11434/api/chat -d ' { "model": "qwen3.8-flash-next:4bit", "messages": [{"role": "user", "content": "hello"}] } ' OLLAMA_HOST=http://localhost:11434 ollama run qwen3.8-flash-next:4bit Open WebUI、Ollama CLI 和 OpenAI SDK 已针对此子集进行测试。流、CORS 和常用采样选项（温度、top_p、top_k、min_p、presence_penalty、seed、num_predict、stop）均受支持。不支持的语义（例如工具、图像、JSON 模式输出、logprobs 和备用模型名称）会返回明确的 400，而不是被默默忽略。对话中的后续回合仅预填充新内容，因此随着聊天的增长，首次标记的时间保持平稳 - 在八个回合中测量，为 6.0 秒，而不是攀升至 25.8 秒。一个值得了解的结果是：重用该状态与重新计算它并不完全相同，因此在两个令牌几乎绑定的情况下，回复有时可能会有所不同。 --no-prefix-cache 如果您需要精确的再现性，请将其关闭。提示加完成的上限为 32,768 个标记 ( --max-context )。长提示是慢轴：预填充在 16 GB Mac 上以大约 50 tok/s 的速度运行，在 48 GB Mac 上以 125 tok/s 的速度运行，因此 8,000 个令牌的提示在第一个令牌之前等待大约一分钟到大约三分钟。每用户锁一次强制执行一个模型进程。没有标志的内存插槽流会根据您的机器调整自身大小并告诉您它选择了什么。这是一台 48 GB Mac - 它读取 52 GB，因为这里的所有内容都以十进制 GB 计数，而 Apple 销售与 48 相同的内存：slotstream 内存计划（自动）设备：52 GB RAM（现在可回收 36.0 GB），40.2 GB Metal 工作集目标：此过程的总计 33.0 GB（覆盖：--m）