在我的 RTX 4090 上运行 Qwen3.6 速度提升 6-11 倍，完整存储库。

Lightreason 是一个本地推理实验室和交互式工作室，用于在 RTX 4090 上更快地运行 Qwen。实验使用 Qwen2.5-3B-Instruct（3.09B 参数）的原始 BF16 权重和 Qwen3.6-35B-A3B（34.66B 参数）的文本模型。 3B · 63.0 → 139.6 tok/s 跨越六个提示。 LR CUDA 图和紧凑的 KV 匹配所有 30 次 Hugging Face 计时运行。它还匹配了 9/9 新对中的完整 Python、JavaScript 和 SQL 响应。单独的 PARD2 运行程序在完整匹配的天气响应上达到 58.3 → 525.2 tok/s，在最佳匹配的 128 代币斐波那契切片上达到 63.6 → 724.4 tok/s。性能 · 编码基准 35B · 7.93 → 51.08 tok/s（在上限 Python 提示符下）。 6.44× 比较在会话中使用相同的输入。输出首先与标记 116 处的 Scheduled 不同。打包配置将所有 20 对与其更接近的固定八位控制相匹配。性能 · 编码结果和输出检查较小的模型适合 GPU，其中重用准备好的 GPU 工作并一起检查多个令牌可以节省时间。较大模型的文本权重占用 64.56 GiB。 35B 跑步者将大多数专家权重保留在系统 RAM 中，并移动 Qwen 实际使用的权重。当草稿预测多个标记时，Qwen 会将它们一起检查，并可以在这些检查中重复使用权重。最初的 BF16 Qwen 目标做出了每一个最终的代币决定。我们构建并测量了 LR 标签配置。他们使用现有的技术和项目，包括 NVIDIA CUDA Graphs、AMD PARD2、Inco AI DFlash2 和 FlashML 的 FreeToken。实验历史归功于这些项目，详细说明了 Lightreason 的更改，并记录了哪些实验减慢或改变了输出。 Live Studio 是一种简单的交互式测试速度的方法。构建并预览网页，然后通过 Standard 和 Lightreason Exact 运行相同的提示来观察每个响应流并比较其时间。运行 3B Studio · 编码基准测试 · 实验历史记录 · 重现 35B · 移植到其他硬件 源代码和模型下载 GitHub checkout 包含源代码、固定下载清单和基准测试证据。它运送零检查点或适配器重量。在 GPU 机器上下载您需要的模型。如果您只需要 3B Studio，稀疏克隆会跳过 35B 源代码和基准档案。 git clone --depth 1 --filter=blob:none --sparse https://github.com/me-farza/lightreason.git git -C lightreason稀疏-checkout set demo_chat results3b 3B PARD2峰值数字是存档的研究测量结果。公共 PARD2 权重需要匹配的实验室适配器才能重现这些数字。仅目标 3B 结果仅使用公共 Qwen 下载。公共 3B Studio 快速入门使用带有 RTX 4090 的 Linux 和与 CUDA 12.8 兼容的驱动程序。 Standard 和 Lightreason Exact 仅使用 Qwen 目标。您的浏览器可以在不同的计算机上运行。 35B 运行程序使用单独的基准测试设置，具有更大的系统 RAM 要求。结账稀疏，请从下面的 cd lightreason 开始。 35B 安装安装 Python 3.12、其 venv 包和标头以及 Triton 的 C 编译器。在 Ubuntu 24.04 上，安装 build-essential python3.12-venv python3.12-dev 。在 GPU 计算机上运行 nvidia-smi 以确认驱动程序可以识别该卡。下载内容约为 6.2 GB，下载程序还需要 2 GiB 的可用空间。分别为 Python 包和编译缓存进行预算。 git clone --depth 1 https://github.com/me-farza/lightreason.git cd lightreason python3.12 -m venv .venv source .venv/bin/activate python -m pip install ' torch==2.9.1 ' --index-url https://download.pytorch.org/whl/cu128 python -m pip install -rrequirements.txt python -c ' 导入火炬;名称 = torch.cuda.get_device_name();打印（姓名）；在名称中断言“4090”，并且 torch.version.hip 为 None 且 torch.cuda.is_bf16_supported() ' python download_3b.py --destination model-3b python -m demo_chat.server --model-path model-3b 设置将 PyTorch 2.9.1 与 CUDA 12.8 和 Transformers 4.57.1​​ 固定。 download_3b.py 根据固定的下载计划检查官方对象。下载或使用模型之前，请阅读 Qwen 许可证。 Qwen 许可证 · 原始 v0.1.0 源 让服务器保持运行并打开 http://127.0.0.1:8765/ 。对于远程 GPU，首先在浏览器计算机上的单独终端中运行此隧道。 ssh -N -L 127.0.0.1:8765:127.0.0.1:8765 YOUR_GPU_HOST 等待 Qwen 加载。您可以使用 curl -fsS http://127.0.0.1:8765/api/status 检查 "ready": true 。打开“比较跑步者”，选择“Qwen·Lightreason Exact”，选择示例提示，然后单击“运行比较”。 Studio 首先在同一 GPU 上运行 Standard，然后运行 ​​Exact，并比较完整的标记序列。重复相同的提示即可看到温暖的表现。 Exact 自动准备图表，Studio 分别报告准备情况和生成情况。使用保存结果导出计时和比赛结果。使用 Ctrl+C 停止服务器。对于无头冒烟测试，请通过每个 CLI 引擎运行相同的提示和令牌上限。 JSON记录准备